Praxistest: 350 Testfälle mit Kimai*
Manuelle Softwaretests im Vergleich: 6 Claude-Code-Agenten an Kimai, einer Open-Source-Zeiterfassung. Bericht vom 5. Oktober 2026.
Stunden und Kosten
| Kennzahl | qa-signoff Pro (Agenten und Menschen) | QA-Engineer (Deutschland), 54,71 €/h |
|---|---|---|
| Stunden | 43,3 | 190,9 |
| Kosten | 2.155 € | 10.445 € |
| davon Tokens, Agenten im Einsatz: 11,1 Std. | 396 € | |
| davon menschliche Eingaben und Prüfung, 0,33 Std. | 18 € | |
| davon menschliches Entsperren blockierter Testfälle, 31,8 Std. | 1.741 € | |
| Spanne, 10. bis 90. Perzentil | 8.090 € bis 13.491 € | |
| Schneller | 4,4× | 1× |
| Günstiger | 4,8× | 1× |
* Gemessener Lauf: 55 abgeschlossen; 11 brauchten wegen Fehlern in der getesteten App einen Menschen, die Zeit ist in den Summen enthalten.
Die Summen für 350 Testfälle sind aus den 66 gemessenen hochgerechnet, durch 20.000-faches Resampling: insgesamt 43,3 Stunden, davon 11,1 Stunden Arbeit der Agenten und 32,1 Stunden menschliche Arbeit, mit einem 95-%-Konfidenzintervall von 42,2 bis 44,4 Stunden.
Was das beweist und was nicht
Ein gemessener Lauf an einer App. Die 66 gemessenen Testfälle waren die wichtigsten Prüfungen, die vor jedem Release bestehen müssen; die übrigen 284 sind aus ihnen hochgerechnet. Die Ersparnis kommt aus der ganzen Pipeline, das kostenlose Paket eingeschlossen, nicht aus Pro allein.