Regressionstest: Beispiele und Automatisierung für Webanwendungen
Ein Regressionstest wiederholt nach jeder Änderung an einer Software die Testfälle, die vorher bestanden haben, und zeigt dir damit, ob die Änderung bestehende Funktionen beschädigt hat, die du nicht angefasst hast, zum Beispiel eine Berechtigung, die plötzlich fehlt, oder ein Menü, das für die falsche Rolle erscheint. Dieser Beitrag richtet sich an Produktteams und Softwarehäuser oder Agenturen, die eine Web-App regelmäßig ausliefern. Du bekommst ein echtes Beispiel aus der Open-Source-App Kimai und eine Antwort auf die Frage, wann sich UI-Tests automatisieren, ohne eigenes Testteam lohnt. Wir sagen dir auch, wer besser noch von Hand prüft.
Inhaltsverzeichnis
- Was ist ein Regressionstest?
- Wie sieht ein Regressionstest aus? Beispiel: eine Web-App vor dem Release
- Wie unterscheiden sich Integrationstest und Smoke-Test von der Prüfung auf Regressionen?
- Was sollte die Testsuite gegen Regressionen zuerst abdecken?
- Wann lohnt es sich, Regressionstests zu automatisieren?
- Wie behält man Regressionen im Blick: Tracking und Release-Gate?
- Was sagt der ISTQB-Lehrplan zu Regressionen?
- Welche Fehler machen Teams am häufigsten beim Testen auf Regressionen?
- Weiterlesen: die Artikel dieser Serie
- FAQ
Was ist ein Regressionstest?
Ein Regressionstest ist laut ISTQB/GTB-Glossar eine Art des änderungsbezogenen Testens. Er soll feststellen, ob in unveränderten Bereichen der Software Fehlerzustände eingebaut oder freigelegt wurden. Der Test läuft nach einer Änderung, etwa nach einem neuen Feature oder einer Fehlerbehebung, und vergleicht das Verhalten mit dem Stand, der vorher bestanden hat.
Der Test beantwortet eine einzige Frage: Läuft noch, was gestern lief? Er schützt den Stand, den dein Team schon erreicht hat. Dafür braucht er Testfälle, die vor der Änderung bestanden haben.
Was bedeutet Regressionstest, und was ist eine Regression?
Eine Regression ist ein Rückschritt: Etwas, das vorher funktionierte, funktioniert nach einer Änderung nicht mehr. Du baust zum Beispiel einen neuen Filter in die Zeiterfassung, und ein normaler Benutzer sieht plötzlich das Admin-Menü. Ein Regressionstest ist der Test, der solche Rückschritte sucht.
Die Ursache liegt oft weit weg von der Stelle, die du geändert hast. Eine Berechtigungsregel oder ein Datumsformat reicht aus. Deshalb prüft ein Regressionstest die ganze App und nicht nur den geänderten Code.
Was ist ein Regressionstest einfach erklärt?
Stell dir vor, du versetzt in deiner Wohnung eine Steckdose. Danach funktioniert die Steckdose, aber das Licht im Flur ist aus, weil beide an einer Sicherung hängen. Ein Regressionstest ist der Gang durch die ganze Wohnung nach dem Umbau, bei dem du jedes Licht einschaltest, das vorher an war.
Wie sieht ein Regressionstest aus? Beispiel: eine Web-App vor dem Release
Ein Regressionstest für eine Web-App prüft die Oberfläche so, wie ein Benutzer sie sieht, und läuft nach jeder Änderung und vor dem Release. Als Beispiel nehmen wir Kimai, eine Open-Source-Zeiterfassung. qa-signoff, ein Werkzeug von uns, hat für Kimai ein Backlog mit 350 Testfällen geschrieben, und 55 davon laufen bisher als Playwright-Tests. Die Zahlen stammen aus dem Messbericht im öffentlichen Report-Repository.
Der Testfall TC-WEB-030 gehört zur Navigation. Er prüft, dass ein normaler Benutzer am Desktop seine Menügruppen sieht und keinen Eintrag, der nur für Admins gedacht ist. So sieht ihn die Person, die ihn ausführt:
- Rolle und Gerät: Benutzer (kein Admin) auf Desktop Chrome.
- Aktion: Die Zeiterfassung öffnen, die Menügruppen ansehen und einem Menülink folgen.
- Muss sichtbar sein: Die Menügruppen stehen inline in der Seitenleiste oder der oberen Leiste, und der Menülink öffnet seine Seite.
- Darf nicht sichtbar sein: Einträge für Administration, Rechnungen, Team-Zeiterfassung oder Berichte über alle Benutzer.
Hier steht der Testfall in der Datei, als Auszug:
## TC-WEB-030 - Desktop navigation shows the User's menu groups inline
**Projects:** user-desktop-chrome
**Act:**
1. Open the timesheet.
2. Look at the menu groups.
3. Follow one menu link.
**Assert:**
- [x] Menu groups are shown inline in the sidebar or top bar
- [x] A menu link opens its page
- [x] Absence check: No Administration, Invoices, Team timesheet or all-users report entries
Eine Regression ist der Tag, an dem genau dieser Test von bestanden auf fehlgeschlagen wechselt, ohne dass jemand den Test angefasst hat. Jemand ändert die Rechteprüfung für einen neuen Bericht, und das Menü zeigt einen Eintrag, den der Benutzer nicht sehen darf. Der Test war gestern grün und ist heute rot.
Die Kimai-Suite läuft in drei Rollen (Super-Admin, Benutzer, nicht angemeldet) auf zwei Geräten (Desktop Chrome und iPhone 13). Das ergibt sechs Playwright-Projekte. TC-WEB-030 läuft nur im Projekt Benutzer auf Desktop Chrome, weil der Testfall nur für die Desktop-Navigation gilt, in der das Menü inline steht, und die Rolle Benutzer prüft. Im letzten vollen Lauf gab es keinen Wechsel von bestanden auf fehlgeschlagen: Die Zahl der Regressionen stand bei 0.
Einen Fund gab es trotzdem. Die Testfälle TC-WEB-001 (Rolle Benutzer) und TC-WEB-002 (Rolle Super-Admin) prüfen einen Ablauf mit Anmelden, Arbeiten und Abmelden. Ein Absence-Check, also eine Prüfung, dass etwas nicht zu sehen ist, verlangt: Die Zurück-Taste des Browsers zeigt nach dem Abmelden keinen geschützten Inhalt.
Diese Prüfung besteht nicht. Die Zurück-Taste zeigt das Dashboard wieder, denn Kimai sendet für die Seite Cache-Control: max-age=0, must-revalidate, private ohne no-store, und der Browser zeigt die zwischengespeicherte Seite.
Die Prüfung hat nie bestanden, also liegt keine Regression vor. Der Fehler liegt in der App. Der KI-Agent, der die Tests schrieb, ließ das Kriterium offen und blockierte beide Testfälle.
Wie unterscheiden sich Integrationstest und Smoke-Test von der Prüfung auf Regressionen?
Ein Regressionstest fragt, ob nach einer Änderung noch alles läuft, was vorher lief. Ein Integrationstest fragt, ob Bausteine richtig zusammenarbeiten, ein Smoke-Test, ob die App nach dem Deployment überhaupt startet. Die Begriffe schließen sich nicht aus: Ein Test kann ein Integrationstest sein und als Regressionstest wiederholt werden, weil „Regression“ den Zweck beschreibt.
| Testart | Frage, die der Test beantwortet | Wann | Wer |
|---|---|---|---|
| Regressionstest | Läuft nach der Änderung noch, was vorher lief? | Nach jeder Änderung und vor jedem Release | Entwicklung oder Qualitätssicherung (QA), am besten automatisiert |
| Integrationstest | Arbeiten die Bausteine richtig zusammen? | Wenn Komponenten verbunden werden | Entwicklung |
| Smoke-Test | Startet die App, und gehen die wichtigsten Wege? | Direkt nach einem Deployment | Entwicklung oder Pipeline |
| Abnahmetest | Erfüllt die Software, was vereinbart war? Mehr im Beitrag Abnahmetest und Abnahmeprotokoll für Software. | Vor der Übergabe an den Kunden | Auftraggeber |
| End-to-End-Test | Klappt ein ganzer Weg durch die App? Mehr im Playwright-Tutorial: der erste End-to-End-Test. | Je nach Bedarf, oft im Release-Lauf | QA oder Entwicklung |
Ein Smoke-Test ist klein und schnell und sagt dir, ob sich ein Deployment lohnt. Der Regressionstest ist größer und dauert länger, dafür deckt er mehr ab.
Was sollte die Testsuite gegen Regressionen zuerst abdecken?
Die Testsuite sollte zuerst die Wege abdecken, deren Ausfall dich am meisten kostet. Die Breite kommt später.
So ordnest du die Reihenfolge:
- Login und Rollen. Wer sich nicht anmelden kann, nutzt nichts anderes. Prüfe jede Rolle einmal, auch „nicht angemeldet“.
- Die Wege, die Geld bringen. Bestellung und Abrechnung, also alles, wofür dein Kunde bezahlt.
- Die Wege, über die sich ein Kunde beschwert hat. Jeder gemeldete Fehler wird zum Testfall, damit er nicht wiederkommt.
- Die Breite. Seiten und Randfälle, so weit die Zeit reicht.
Wie du aus Anforderungen einen Plan machst, steht in Testplan und Testkonzept mit Vorlage.
Bei Kimai hat der Messbericht 66 Testfälle verarbeitet. 55 davon liefen danach als Playwright-Test, und 11 blieben für einen Menschen offen.
Wann lohnt es sich, Regressionstests zu automatisieren?
Automatisierte Regressionstests lohnen sich, sobald dieselbe Prüfung öfter läuft, als ein Mensch sie sinnvoll wiederholen kann. Bei einem Release pro Quartal kann eine Checkliste reichen. Bei wöchentlichen Releases wiederholt dein Team dieselbe Checkliste jede Woche von Hand.
Welche Regressionstests lassen sich automatisieren?
Automatisieren lassen sich Tests, die wiederholbar und stabil sind und bei jedem Release laufen. Eine Prüfung, deren Ergebnis von der Tageszeit oder von zufälligen Daten abhängt, taugt nicht. Mach vorher die Testdaten stabil.
Manche Teams sollten noch nicht automatisieren. Wer seltener als monatlich ausliefert und eine kurze Checkliste hat, spart mit Handarbeit mehr. Dasselbe gilt für eine App ohne feste Testdaten: Dort fallen Tests zufällig durch, weil sich die Daten zwischen den Läufen ändern.
Wie funktionieren automatisierte Regressionstests für die Oberfläche?
Automatisierte Regressionstests für die Oberfläche prüfen die App so, wie ein Benutzer sie sieht: im Browser, mit Klicks, auf dem Desktop und auf dem Handy. So fallen Rückschritte auf, die Unit-Tests nicht sehen, etwa ein Menü, das für die falsche Rolle erscheint.
Wie du so ein Setup aufbaust, ohne ein eigenes Testteam einzustellen, erklärt der Beitrag UI-Tests automatisieren, ohne eigenes Testteam. Dort steht auch, welche Werkzeuge es gibt.
Welche Werkzeuge und KI-Agenten helfen?
Als Regressionstest-Software nutzen wir Playwright, ein Open-Source-Framework von Microsoft, das Tests in echten Browsern ausführt. Den Einstieg beschreibt das Playwright-Tutorial: der erste End-to-End-Test.
Die Tests schreiben KI-Agenten. Bei Kimai haben sechs Claude-Code-Instanzen parallel gearbeitet, jede mit dem Modell Sonnet 5.5. Ein Mensch entscheidet, wenn ein Agent nicht weiterkommt: Das traf 11 von 66 verarbeiteten Testfällen, also etwa 17 Prozent. Das ist eine Messung an einer App.
Was kostet die Automatisierung, gemessen an einem Projekt?
Für die 350 Testfälle von Kimai schätzen wir den Weg mit Agenten auf etwa 2.155 €. Die Zahl rechnet 66 gemessene Testfälle auf das ganze Backlog hoch.
Ein QA-Ingenieur bräuchte nach dem Modell des Messberichts etwa 191 Stunden, das sind etwa 10.445 € (Spanne 8.090 bis 13.491 €). Niemand hat die Tests dieses Backlogs von Hand geschrieben, deshalb ist die Zahl für den Menschen ein Modell. Wie die Rechnung aufgebaut ist, zeigt der Praxistest: was die Automatisierung bei 350 Testfällen gekostet hat.
Wie behält man Regressionen im Blick: Tracking und Release-Gate?
Man behält Regressionen im Blick, indem man das Ergebnis jedes Testfalls über die Läufe hinweg vergleicht. Ein einzelner grüner Lauf sagt wenig, erst die Reihe zeigt, was kippt. Dafür brauchst du eine Liste, die zu jedem Testfall das Ergebnis, die Rolle, das Gerät und das Datum des letzten Erfolgs hält.
Wie sieht das Ergebnis pro Rolle und Gerät aus?
Die Statusliste hat eine Zeile pro Testfall und Projekt, und jede Zeile zeigt pro Lauf ✔ für bestanden, ❌ für fehlgeschlagen und ⏩ für teilweise bestanden, weil ein Check übersprungen wurde. Die Tabelle zeigt drei echte Zeilen der Kimai-Liste, ältester Lauf links:
| Testfall | Rolle | Gerät | Lauf 1 | Lauf 2 | Lauf 3 (neuester) |
|---|---|---|---|---|---|
| TC-WEB-030 | Benutzer | Desktop Chrome | ✔ | ✔ | ✔ |
| TC-WEB-170 | Benutzer | iPhone 13 | ❌ | ❌ | ✔ |
| TC-SEC-004 | nicht angemeldet | Desktop Chrome | ✔ | ⏩ | ⏩ |
Im letzten vollen Lauf standen 98 Zeilen in der Liste. Eine Zeile ist ein Testfall in einem Projekt, und hinter den 98 Zeilen stehen 55 verschiedene Testfälle. Alle 98 Zeilen bestanden, zwei davon nur teilweise: TC-SEC-004 überspringt die HTTPS-Prüfung, weil die Testumgebung über HTTP läuft. Die echte Datei liegt öffentlich im Report-Repository: tracking.csv.
Wann hat der Test zuletzt bestanden?
Zu einer Regression gehört das Datum, an dem der Test zuletzt bestanden hat. Es grenzt die Suche ein: Zwischen diesem Datum und dem ersten roten Lauf liegt die Änderung, die den Rückschritt ausgelöst hat. Ohne das Datum suchst du in der ganzen Historie.
Die folgende Tabelle ist ein gedachtes Beispiel und stammt nicht aus einem Kimai-Lauf. Sie zeigt, wie TC-WEB-030 aussähe, wenn eine Änderung am 2026-09-15 das Menü beschädigt hätte:
| Lauf am | TC-WEB-030 (Benutzer, Desktop Chrome) | Zuletzt bestanden |
|---|---|---|
| 2026-09-01 | ✔ | 2026-09-01 |
| 2026-09-08 | ✔ | 2026-09-08 |
| 2026-09-15 | ❌ | 2026-09-08 |
Die Regression liegt zwischen den Läufen vom 2026-09-08 und 2026-09-15. Die Spalte last_passed in der Kimai-Liste hält dieses Datum für jede Zeile fest. Für TC-WEB-001 und TC-WEB-002 gibt es keine Zeile in der Liste, denn der Absence-Check war von Anfang an rot und beide Testfälle sind blockiert.
Wie erkennt und markiert man Flaky-Tests?
Ein Flaky-Test ist ein Test, der im ersten Lauf fehlschlägt und beim Wiederholen besteht. Die Playwright-Dokumentation zu Retries teilt Tests in drei Gruppen. Als bestanden gelten Tests, die im ersten Lauf bestehen, als flaky solche, die im ersten Lauf fehlschlagen und beim Wiederholen bestehen, als fehlgeschlagen solche, die auch in allen Wiederholungen fehlschlagen.
Bei Kimai standen im letzten vollen Lauf 0 Tests als flaky in der Liste. Ein Test war trotzdem verdächtig: TC-WEB-170 lief in einem vollen Lauf in einen Timeout nach 30 Sekunden und in 30 einzelnen Wiederholungen nie. Die Ursache war ein Formular, das nach dem Senden die Seite neu lud und dabei den Dialog schloss. Wir haben den Test behalten und angepasst: Er wartet jetzt auf das Neuladen und öffnet den Dialog neu.
Markiere einen flaky Test sichtbar und behandle ihn getrennt. Er gehört nicht stillschweigend ins Release-Gate, sonst gewöhnt sich dein Team daran, rote Zeilen zu ignorieren.
Wann ist das Release-Gate PASS, wann BLOCKED?
Ein Release-Gate macht aus den Zeilen eine Entscheidung. Es steht auf PASS, wenn alle Regeln erfüllt sind, und auf BLOCKED, sobald eine Regel fehlschlägt. Die Regeln bei Kimai:
- Die Erfolgsquote beträgt mindestens 80 Prozent.
- Die Zahl der Regressionen ist 0.
- Kein Test muss neu automatisiert werden, weil sich sein Testfall geändert hat.
- Es gibt keine verwaisten, fehlenden oder falsch abgelegten Tests: Diese drei Zähler stehen bei 0.
Im letzten vollen Lauf stand das Gate auf PASS. Das gilt für 55 von 350 Testfällen auf einer App: Die Erfolgsquote beschreibt nur, was bisher einen Test hat. Den vollständigen Ausführungsbericht findest du im Report-Repository.
Methodik: Getestet wurden Kimai 2.67.0 mit Playwright 1.49.0 und Chromium 131.0.6778.33. Die Messung läuft an einer App. Die Zahl für den menschlichen Weg ist eine Modellschätzung, die Zahl für den Weg mit Agenten eine Hochrechnung aus 66 gemessenen Testfällen.
Regressionen pro Testfall, Rolle und Gerät verfolgen: qa-signoff Pro führt die Statusliste für dich und gibt vor dem Release ein PASS oder BLOCKED aus. Preise ansehen
Was sagt der ISTQB-Lehrplan zu Regressionen?
Der Lehrplan Certified Tester Foundation Level 4.0 behandelt den Regressionstest in Abschnitt 2.2.3 „Fehlernachtest und Regressionstest“. Die deutsche Ausgabe des German Testing Board (Version 4.0.1a) schreibt dort: „Der Regressionstest bestätigt, dass eine Änderung, einschließlich einer bereits getesteten Fehlerbehebung, keine nachteiligen Folgen hat.“ Das Glossar ordnet ihn dem änderungsbezogenen Testen zu.
Der Fehlernachtest ist das Gegenstück. Er bestätigt laut Lehrplan, dass ein ursprünglicher Fehlerzustand erfolgreich behoben wurde. Der Regressionstest prüft danach, ob die Behebung nebenbei etwas anderes beschädigt hat.
Zum Umfang rät der Lehrplan, zunächst eine Auswirkungsanalyse durchzuführen, die zeigt, welche Teile der Software betroffen sein könnten. Zur Automatisierung steht dort: „Regressionstestsuiten werden viele Male durchlaufen“, und deshalb eigneten sich Regressionstests sehr gut dafür.
Welche Fehler machen Teams am häufigsten beim Testen auf Regressionen?
Die meisten Fehler entstehen um den Test herum. Diese fünf halten wir für typisch (Einschätzung, keine Zählung):
- Nur den geänderten Code prüfen. Eine Regression sitzt selten dort, wo du gearbeitet hast.
- Flaky Tests im Gate lassen. Wer mit ihnen lebt, übersieht die echten roten Zeilen.
- Eine Suite, die niemand vor dem Release startet. Ein Test, der nicht läuft, schützt nichts.
- Tests, die nicht mehr zum Testfall passen. Ändert sich die Anforderung, muss der Test mit.
- Einen grünen Lauf für sicher halten, ohne zu prüfen, was er übersprungen hat. Bei Kimai zeigt TC-SEC-004 das: Die Zeile ist grün, aber die HTTPS-Prüfung wurde übersprungen, deshalb steht sie als teilweise bestanden in der Liste.
Ein Release, das durch einen dieser Fehler scheiterte, können wir nicht belegen.
Weiterlesen: die Artikel dieser Serie
Dieser Beitrag legt den Überblick, und vier weitere Beiträge vertiefen je ein Thema, das hier nur angerissen ist.
- Testplan und Testkonzept: Vorlage für Softwareprojekte: wie du aus Anforderungen einen Testplan machst und welche Abschnitte er braucht.
- Abnahmetest und Akzeptanztest: Abnahme von Softwareprojekten: was ins Abnahmeprotokoll gehört und was die Abnahme rechtlich bedeutet.
- Testautomatisierung für Webanwendungen: UI-Tests ohne eigenes Testteam: wie du Oberflächentests aufsetzt und welche Werkzeuge es gibt.
- Playwright Tutorial auf Deutsch: End-to-End-Tests mit KI erstellen: vom ersten Test bis zum Lauf mit Agenten.
FAQ
Was ist ein Regressionstest mit Beispiel?
Ein Regressionstest wiederholt bereits bestandene Tests nach einer Änderung, um Rückschritte zu finden. Ein Beispiel ist der Kimai-Testfall TC-WEB-030: Er prüft, dass ein normaler Benutzer die Menügruppen sieht und keine Admin-Einträge. Wechselt er nach einer Änderung von bestanden auf fehlgeschlagen, ist das eine Regression. Der Abschnitt mit dem Beispiel zeigt den Testfall und den Ablauf Schritt für Schritt.
Was sollte die Regressionstest-Suite zuerst abdecken?
Die Suite sollte zuerst Login und Rollen abdecken, dann die Wege, die Geld bringen, dann die Wege, über die sich ein Kunde beschwert hat. Die Breite kommt zuletzt. So schützt du zuerst, was am meisten kostet, wenn es ausfällt, und baust die Suite danach in kleinen Schritten aus. Wie du die Planung aufschreibst, erklärt Testplan und Testkonzept mit Vorlage.
Wann lohnt sich die Automatisierung von Regressionstests?
Die Automatisierung lohnt sich, wenn dieselbe Prüfung bei jedem Release läuft und deine Testdaten stabil sind. Wer seltener als monatlich ausliefert und eine kurze Checkliste hat, spart mit Handarbeit oft mehr. Bei Kimai schätzen wir den Weg mit Agenten auf etwa 2.155 € für 350 Testfälle. Die Rechnung steht im Praxistest: was die Automatisierung bei 350 Testfällen gekostet hat.
Was ist der Unterschied zwischen Regressionstest und Integrationstest?
Der Regressionstest fragt, ob nach einer Änderung noch alles läuft, der Integrationstest fragt, ob Bausteine richtig zusammenarbeiten. Ein Test kann beides sein, denn „Regression“ beschreibt den Zweck und „Integration“ die Technik. Ein Integrationstest läuft meist früher, ein Regressionstest wiederholt sich bei jeder Änderung. Die Tabelle mit allen Testarten stellt beide mit Smoke-Test, Abnahmetest und End-to-End-Test gegenüber.
Was ist ein Flaky-Test?
Ein Flaky-Test schlägt im ersten Lauf fehl und besteht beim Wiederholen. So definiert es auch die Playwright-Dokumentation. Markiere solche Tests sichtbar und halte sie aus dem Release-Gate heraus, bis die Ursache geklärt ist, sonst lernt dein Team, rote Zeilen zu überhören. Bei Kimai stand im letzten vollen Lauf kein Test als flaky in der Liste.
Wie oft sollte man Regressionstests ausführen?
Führe Regressionstests vor jedem Release aus, bei automatisierten Suiten auch bei jeder Änderung. Die Kimai-Suite läuft in etwa 6,1 Minuten, das lässt sich bei jedem Merge zumuten. Bei manuellen Tests richtet sich die Häufigkeit nach dem Aufwand: Je länger die Checkliste, desto seltener läuft sie. Ein Lauf vor jedem Release ist das Minimum, wie das Release-Gate es verlangt.
Regressionen pro Rolle und Gerät verfolgen und vor jedem Release ein PASS oder BLOCKED bekommen: qa-signoff Pro.
Pro-Preise ansehen