Testautomatisierung ohne eigenes Testteam: UI-Tests aus Sicht der Nutzer
Testautomatisierung ist die Ausführung deiner Tests durch ein Programm statt durch einen Menschen: Es klickt durch die App und meldet, was nicht mehr geht. Dieser Beitrag richtet sich an Produktteams und Agenturen, die oft ausliefern und vor jedem Release selbst durch die App klicken, weil niemand im Team testet. Wir haben das an Kimai erprobt, einer Open-Source-Zeiterfassung mit 350 Testfällen. Die Grundlage sind Regressionstests für Web-Apps: Beispiele und Automatisierung, also Tests, die prüfen, ob nach einer Änderung noch läuft, was vorher lief.
Inhaltsverzeichnis
- Was ist Testautomatisierung?
- Was ist ein UI-Test und was prüft er?
- Welche UI-Tests automatisiert man zuerst?
- Wie gelingen UI-Tests ohne eigenes Testteam?
- Testautomatisierung mit KI: was schreiben Agenten heute?
- Welche Testautomatisierung Tools gibt es und wann passt welches?
- Was bleibt nach dem ersten Test zu tun: Flaky-Tests und Wartung?
- Was hat die Automatisierung im Kimai-Test gekostet?
- Häufige Fragen zu UI-Tests
Was ist Testautomatisierung?
Testautomatisierung ist die Ausführung von Tests durch ein Programm statt durch einen Menschen. Das Glossar des ISTQB (Version V4.8.1, Stand 17. Oktober 2026) nennt sie „Die Umstellung von Testaktivitäten auf automatischen Betrieb.“ Das Programm startet die App, spielt Schritte ab, vergleicht das Ergebnis mit der Erwartung und meldet bestanden oder fehlgeschlagen.
Die Test-Pyramide ordnet das ein: Viele schnelle Unit-Tests prüfen einzelne Funktionen, weniger UI-Tests prüfen die ganze App im Browser. Dieser Beitrag handelt von der Spitze der Pyramide.
Der Nutzen ist weniger Handarbeit vor jedem Release: Dieselben Schritte laufen jedes Mal gleich ab, auch am Abend und ohne Ermüdung, und eine Regression fällt auf, bevor sie Kunden erreicht. Die Grenze: Jeder Test braucht Pflege, sobald sich die App ändert.
Was ist ein UI-Test und was prüft er?
Ein UI-Test bedient die App wie ein Mensch: Er öffnet eine Seite und prüft, was auf dem Bildschirm steht. Ein UI-Test aus Sicht einer Rolle findet, was Unit-Tests nicht sehen. Ein Button fehlt für die falsche Rolle, oder die Seite zeigt nach dem Logout noch Daten.
Was ist GUI-Testautomatisierung?
GUI-Testautomatisierung meint dasselbe wie UI-Testautomatisierung. „GUI“ betont die grafische Oberfläche, „UI“ die Nutzerschnittstelle insgesamt. Im Englischen heißt ein solcher Test „automated UI test“.
Wie laufen automatische UI-Tests pro Rolle und Gerät?
Bei Kimai laufen die Tests für drei Rollen: Super-Admin, normaler Nutzer und ohne Login. Jede Rolle läuft auf Desktop Chrome und auf einem iPhone 13. Das ergibt sechs Playwright-Projekte, und jeder Testfall nennt die Projekte, auf denen er läuft.
Eine Suite nur für den Desktop prüft das Handy-Layout nicht. Ein Verhalten, das nur auf dem iPhone auftrat, steht im Abschnitt zu Flaky-Tests.
Welche UI-Tests automatisiert man zuerst?
Man automatisiert zuerst, was bei einem Fehler am meisten kostet und bei jedem Release gleich abläuft. Die Reihenfolge unten ist unsere Einschätzung und kein Messwert. Sie beginnt bei Login und Rollen und endet bei der Breite. So schützt jeder Schritt zuerst das, was bei einem Fehler am teuersten würde.
- Login und Rollen: Wer darf was sehen, und was passiert nach dem Logout?
- Die Geld-Pfade: Bestellung und Zahlung, alles, was Umsatz auslöst.
- Die Pfade, über die sich Kunden schon beschwert haben.
- Die häufigsten Arbeitsschritte, die jeder Nutzer täglich ausführt.
- Formulare mit Validierung, weil dort die meisten Randfälle liegen.
- Die Breite: Listen und Einstellungen, auf jedem Gerät.
Schritt 1 klingt langweilig. Ein Beispiel zeigt, warum er an erster Stelle steht: Bei Kimai zeigte der Zurück-Button des Browsers nach dem Logout wieder das Dashboard. Die Weiterleitung nach dem Logout funktionierte, erst die Prüfung auf geschützte Inhalte fand den Fehler (TC-WEB-001 für den Nutzer, TC-WEB-002 für den Super-Admin).
Wie gelingen UI-Tests ohne eigenes Testteam?
Ein Entwickler oder Product Owner kann die Suite besitzen. Dafür braucht es keinen QA-Titel, aber feste Zeit und fünf Schritte. Jeder Schritt hat eine typische Falle, die wir dahinter nennen. Die Schritte brauchen jemanden, der sie bis zum Release durchhält.
- Beschreibe die App pro Rolle: Welche Seiten gibt es, was darf jede Rolle tun? Falle: Eine Rolle, die niemand beschrieben hat, wird nie getestet.
- Schreibe Testfälle aus Sicht des Nutzers. Eine Vorlage liefert der Testplan mit Vorlage. Falle: Testfälle, die den Bildschirm abschreiben, brechen bei jedem Redesign.
- Mach aus jedem Testfall einen Playwright-Test. Das erste Beispiel zeigt das Playwright-Tutorial auf Deutsch. Falle: Ein Test, der nur klickt und nichts prüft, wird nie rot.
- Führe die Tests vor jedem Release aus, am besten automatisch (CI/CD). Falle: Eine Suite, die nur auf Anfrage läuft, wird unter Termindruck übersprungen.
- Entscheide bei jedem roten Ergebnis: Ist die App kaputt oder der Test? Falle: Rote Ergebnisse, die offen bleiben, gewöhnen das Team daran, Rot zu ignorieren.
Zu Schritt 4: CI/CD heißt, dass ein Server die Tests bei jeder Änderung selbst startet, ohne dass jemand daran denkt. Für ein kleines Team genügt ein Lauf pro Pull Request und einer vor dem Release. Das Ergebnis steht dann im Pull Request, und das Team sieht Rot, bevor es ausliefert.
Die Entscheidung in Schritt 5 trifft immer ein Mensch. Auch die Kimai-Suite brauchte jemanden, der über jeden Fehler und jedes nicht erfüllte Kriterium urteilt.
Nicht jedes Team sollte jetzt starten. Wenn sich deine Oberfläche jede Woche sichtbar ändert, brechen die Tests schneller, als sie bestehen.
Schreibe dann zuerst die Testfälle auf und spiele sie vor dem nächsten Release von Hand durch. Das kostet wenig, und sobald die Oberfläche ruhiger wird, hast du die Vorlage für die Automatisierung schon in der Hand.
Auch ein Team ohne Zeit für Entscheidungen bei roten Tests sollte warten. Sonst liegen die Tests ungenutzt herum.
Testautomatisierung mit KI: was schreiben Agenten heute?
KI-Agenten schreiben heute viele Tests, ein Mensch entscheidet die schwierigen Fälle. Im gemessenen Lauf verarbeiteten sechs Claude-Code-Agenten 66 von 350 Testfällen in etwa 108 Minuten, auf Kimai 2.67.0 mit Playwright 1.49.0 und Chromium 131.0.6778.33. 55 Testfälle waren danach fertig, 11 (etwa 17 %) blieben für einen Menschen liegen.
Warum blieben sie liegen? Die Agenten stießen auf Fehler der App und auf Grenzen der Testumgebung, etwa auf Kriterien, die die App nicht erfüllt.
Ein Beispiel sind TC-WEB-001 und TC-WEB-002: Nach dem Logout zeigt der Zurück-Button wieder das Dashboard, weil die Antwort des Dashboards kein no-store trägt. Kein Test kann das Kriterium erfüllen, solange die App den Fehler hat.
Wie lange ein Mensch für die Entscheidung brauchte, wurde nicht erfasst. Für die Rechnung nehmen wir die geschätzten etwa 0,55 Stunden pro blockiertem Testfall.
Wer Testfälle mit KI erstellen will, braucht zuerst den geschriebenen Testfall. Aus ihm macht der Agent einen Test: Er liest die Schritte, öffnet die App, schreibt den Playwright-Test und lässt ihn laufen, bis er besteht oder bis er begründet, warum er nicht bestehen kann.
Playwright bringt eigene Test-Agenten mit. Laut der Playwright-Dokumentation zu Test-Agenten gibt es drei: den Planner, der die App erkundet und einen Testplan in Markdown schreibt, den Generator, der daraus Playwright-Tests macht, und den Healer, der fehlgeschlagene Tests ausführt und repariert. Den Start übernimmt npx playwright init-agents --loop=claude; vscode, codex und opencode stehen für andere Umgebungen.
Dieser Abschnitt beschreibt die Dokumentation für Playwright 1.56 und später, die Kimai-Suite lief auf Playwright 1.49.0, und die Playwright-Agenten waren nicht Teil des Laufs. Den ersten Test schreibst du im Playwright-Tutorial auf Deutsch.
Die Kimai-Zahlen stammen aus einer App und sind kein Versprechen für deine App.
Welche Testautomatisierung Tools gibt es und wann passt welches?
Das Werkzeug passt sich dem Team an, es gibt keine Rangfolge. Preise stehen bewusst nicht in der Tabelle, denn sie veralten schnell.
| Tool | Art | Sprachen | Passt zu |
|---|---|---|---|
| Playwright | Framework, Open Source | TypeScript, JavaScript, Python, Java, .NET | Teams mit Entwicklern, die moderne Browser testen |
| Selenium | Framework, Open Source | Java, Python, C#, JavaScript, Ruby | Teams mit bestehender Selenium-Suite |
| Cypress | Framework, Open Source | JavaScript, TypeScript | Frontend-Teams, die im Browser debuggen wollen |
| Ranorex, Tosca | Kommerzielle Suiten | Je nach Produkt, auch ohne Code | Große Teams mit eigenen Testern |
| KI-Agenten auf Playwright | Agenten über einem Framework | Wie Playwright | Kleine Teams ohne Tester |
Wer von Selenium kommt, findet bei „Testautomatisierung Selenium“ viele Anleitungen und kann seine Suite behalten. Für neue Projekte ohne Altlast nutzen wir Playwright, weil die Agenten-Werkzeuge, die wir einsetzen, auf Playwright aufsetzen. Eine Messung gegen die anderen Frameworks haben wir nicht gemacht.
Ranorex und Tosca sind Software für die Testautomatisierung in Teams mit eigenem Testteam, das sie täglich bedient. Ein kleines Team ohne Tester braucht diese Bedienoberfläche selten.
Was bleibt nach dem ersten Test zu tun: Flaky-Tests und Wartung?
Wartung kostet Zeit nach dem ersten Release. Wir haben sie bei Kimai nicht gemessen und nennen deshalb keine Zahl. Plane sie fest für jedes Release ein. Wie du Regressionen und Flaky-Tests über mehrere Läufe im Blick behältst, steht im Beitrag Regressionen und Flaky-Tests verfolgen.
Ein Flaky-Test besteht manchmal und scheitert manchmal, ohne dass sich die App geändert hat. Playwright nennt einen Test flaky, wenn er im ersten Lauf scheitert und beim Wiederholen besteht.
Bei Kimai gab es einen solchen Fall: TC-WEB-170, die Spaltenauswahl auf dem iPhone. Der Test bestand allein in 30 Wiederholungen und scheiterte einmal im vollen Lauf. Die Ursache: Auf dem Handy schickt Kimai das Formular ab und lädt die Seite neu. Ein Klick vor dem Neuladen traf ins Leere.
Was hat die Automatisierung im Kimai-Test gekostet?
Hochgerechnet auf alle 350 Testfälle schätzen wir die Gesamtkosten mit Agenten auf etwa 2.155 €. Sechs Agenten haben im gemessenen Lauf 55 von 66 Testfällen fertiggestellt. Ein QA-Engineer, der alles von Hand schreibt, käme auf etwa 10.400 €. Beide Zahlen sind Schätzungen aus einem Modell, die Rechnung mit allen Annahmen steht auf der Seite Testautomatisierung kosten: 350 Testfälle im Vergleich.
Methodik: Die Zahlen stammen aus dem öffentlichen Kimai-Bericht. Sie beruhen auf einer App, und die Spalte des Menschen ist eine Modellschätzung, keine Messung. Der letzte volle Lauf verfolgt 98 Zeilen, eine Zeile ist ein Testfall in einem Projekt. Dahinter stehen 55 verschiedene Testfälle von 350.
Häufige Fragen zu UI-Tests
Was kostet es, UI-Tests zu automatisieren?
Es kostet vor allem die Zeit der Person, die über rote Tests entscheidet. Im Kimai-Modell, hochgerechnet aus 66 Testfällen im gemessenen Lauf, sind es geschätzt etwa 2.155 € für 350 Testfälle mit KI-Agenten, inklusive der Zeit für blockierte Fälle, davon etwa 396 € KI-Nutzungsgebühren. Ein QA-Engineer, der alles von Hand schreibt, kommt auf etwa 10.400 €. Die Annahmen der Modellrechnung für diese eine App stehen auf der Seite Testautomatisierung kosten: 350 Testfälle im Vergleich.
Welche Tests sollte man zuerst automatisieren?
Zuerst kommen Login und Rollen, danach die Pfade, die Geld bringen, und erst dann die Breite. Der Grund: Ein Fehler in diesen Pfaden kostet am meisten, und die Tests laufen bei jedem Release gleich ab. Wer mit der Breite beginnt, schreibt viele Tests für Seiten, die kaum jemand braucht. Die ganze Liste steht oben im Abschnitt zur Reihenfolge.
Braucht man für UI-Tests ein eigenes Testteam?
Nein, ein Entwickler oder Product Owner kann die Suite besitzen, ein Tester im Team hilft nur. Er schreibt Testfälle aus Sicht der Nutzer und entscheidet bei roten Ergebnissen, während Agenten die Tests schreiben. Wichtig ist, dass jemand die Zeit dafür fest einplant. Sonst bleiben rote Tests liegen, und die Suite verliert nach wenigen Wochen ihren Wert.
Können KI-Agenten UI-Tests schreiben?
Ja, mit Grenzen: Bei Kimai haben sechs Agenten im gemessenen Lauf 55 von 66 verarbeiteten Testfällen fertiggestellt, 11 blieben für einen Menschen liegen. Die Agenten scheitern an Fehlern der App und an Grenzen der Testumgebung, etwa wenn die App ein Kriterium nicht erfüllt. Dort braucht es einen Menschen, der entscheidet, ob die App oder das Kriterium geändert wird. Ein Team, dessen Oberfläche sich jede Woche sichtbar ändert, sollte erst die Testfälle von Hand durchspielen.
350 Testfälle für eine echte Web-App: was die Automatisierung gekostet hat und wie lange sie gedauert hat.
Zum Praxistest mit Kimai