Testmanagement: Worauf kommt es an? Ein Erfahrungsbericht

„Wer misst misst Mist!“ heißt es in der Messtechnik und soll daran erinnern, dass es nie ein 100 Prozent richtiges Messergebnis geben kann, weil es immer einen – wenn auch vertretbaren – Messfehler gibt. Da ich ursprünglich aus der Hardwareentwicklung komme und mir dieser Merksatz sehr vertraut ist, habe ich ihn immer im Hinterkopf, wenn es um die Erstellung und der Auswahl von Testfällen geht. Denn auch hier kann es nie ein 100 prozentiges Testergebnis geben, weil es immer Fehler gibt, die nicht gefundenen werden. Hier gilt es, den wirtschaftlich vertretbaren Bereich zu finden.

Dieser wirtschaftlich vertretbare Bereich ergibt sich durch die Fehlerkosten auf der einen Seite, wie z.B. Personen- und Vermögenschäden sowie Zeit- und Imageverlust, und die Testaufwände auf der anderen Seite, also dem Finden und Beseitigen von Fehlern.

Testen braucht Erfahrung und analytisches Denken

Ich finde es immer sehr spannend, die Testszenarien unter den jeweiligen Randbedingungen zu konkretisieren. Denn nur so wird das Ziel, eine vertretbare Qualität zu liefern und die Kundenzufriedenheit zu erhöhen, erreicht. Aber wie ist das zu realisieren? Es gibt leider kein Rezept oder Template dafür, denn jedes Projekt hat seine spezifischen Eigenschaften und damit die unterschiedlichsten Herausforderungen. Deshalb sollte man über eine gute Portion Erfahrung über Fehlerarten, ein analytisches Denken, ein technisches Verständnis, das richtige Bauchgefühl und ein großes Maß an Kommunikationsbereitschaft verfügen.

Gerade in einem agilen Projekt, wo die meisten Prozesse fast gleichzeitig laufen, ist die ständige Abstimmung mit den Bereichen Anforderung, Design, Build, Schnittstellen und der Projektleitung eine Grundvoraussetzung. Nur so können innerhalb der vorgegebenen Zeitfenster die Stufen des Testmanagements erfolgreich absolviert werden.
Voraussetzung hierfür ist, dass reale Testdaten vorhanden und die Testfälle erstellt sind. Zudem muss der Testumfang in einem Dokument festgehalten sein. Nicht zu vergessen die Qualitätsziele, was- bzw. was nicht getestet wird und die Abnahmekriterien.

Gut gestaltete Testfälle sorgen für motivierte Tester

Wenn man das technische Verständnis mitbringt und sich das spezifische Fachwissen schnell aneignen kann, ist man durchaus in der Lage, den Testumfang zu reduzieren und die Testfälle zu optimieren.
Denn von den Testfällen hängt alles ab. Ich habe die Erfahrung gemacht, dass sie sich nach einer eher ruhigen Startphase rasant vermehren und leider auch sehr schnell unübersichtlich werden. Deshalb ist es sehr wichtig, sich vor Beginn eine entsprechende Logik für Selektionen und Zuordnungen zu überlegen und einen hierarchisch sprechenden Titel zu verwenden.

Warum ist das so wichtig? Gut gestaltete Testfälle sorgen dafür, dass die Tester motiviert bleiben. Der Tester muss den entsprechenden Testfall schnell und eindeutig finden, deshalb ist der Aufbau des Titels wichtig. Die Schritte müssen überschaubar und leicht lesbar sein und nicht zu viele Schritte beinhalten (Faustregel 10-15). Außerdem muss der Wiedererkennungswert gegeben sein, damit die Frage: „Was muss ich da jetzt tun?“ erst gar nicht mehr auftaucht. Darunter versteht man unter anderem die durchgängig gleiche Wortwahl (z.B. Schalter und nicht mal Button, mal Schalter, mal Knopf,…), und die Ablaufreihenfolge (z.B. „Im Fenster „Hinweis“ den Schalter „OK“ betätigen“ und nicht „Button „OK“ im Fenster betätigen“).

Die Testfälle werden damit schneller durchlaufen und führen zu einem Erfolgserlebnis beim Tester – unabhängig vom Testergebnis. Es hat sich auch als Vorteil erwiesen, die Testfälle in ausgedruckter Form zu haben, eventuell sogar mit Screenshots zur besseren Orientierung. Dadurch entfällt das „Fensterln“ zwischen Testumgebung und Testdokumentationssystem auf einem Bildschirm. Auch wenn das Testdokumentationssystem nicht zur Verfügung steht, ist die Papierform vorteilhaft, weil die Testdurchführung trotzdem stattfinden kann und keine spätere Ressourcenplanung notwendig ist. Oder einfach auch nur für Notizen in Form von Kommentaren oder Verbesserungen.

Zum Abschluss folgt das Reporting, der Nachweis über die erzielten Ergebnisse. Hier wirkt sich die Gestaltung der Testfälle natürlich auch aus. Gibt es viele Testfälle mit wenigen Schritten, können leichter Analysen durchgeführt und Entscheidungen über die weitere Vorgehensweise getroffen werden.

Testmanagement unterschätzen wird teuer

Leider habe ich immer wieder die Erfahrung gemacht, dass das Testmanagement „stiefmütterlich“ behandelt, zu spät eingesetzt und natürlich zu gering budgetiert wird. Das hat zur Folge, dass beim Testen Abweichungen gefunden werden, die teilweise wieder zurück zur Spezifizierung gehen. In diesem Fall müssen alle nachfolgenden Prozesse nochmals durchlaufen werden – was hohe Kosten verursacht.
Weitere Risiken für höhere Aufwände sind fehlende oder unvollständige Dokumentationen und unzureichend spezifizierte und getestete Schnittstellen. Auch nicht vollständig durchgeführte Modultests mit Eingabeabsicherungen und Felddefinitionen führen zu unnötigen Schleifen. Bei mehreren Teilprojekten ist eine frühzeitige Verknüpfung von z.B. Datenbereitstellungen, Routinen, Schnittstellen- und End-to-End-Tests notwendig. Auch die Aussage „Bugs kuscheln gerne“ kann ich nur bestätigen – dort wo schon mehrere Bugs gefunden wurden, lohnt es sich, den Testaufwand zu erhöhen.

Eine wichtige Schlüsselfunktion ist deshalb die Spezifikation. Hier müssen die Fachkenntnis der Anforderung und die Zusammenhänge der technischen Umsetzung in ein einheitliches Verständnis zusammenfließen und eindeutig mit messbaren Zielen dokumentiert werden. Deshalb ist es für den Projektverlauf wichtig, dass das Testmanagement bereits hier einen festen Platz hat.
Aber: Die wichtigste Grundvoraussetzung beim Testen ist, dass bei allen Beteiligten das gemeinsame Ziel im Vordergrund steht und dass mit gefundenen Fehlern, Abweichungen oder Problemen offen und auf sachlicher Basis umgegangen wird.

In den vielen Jahren Projekterfahrung mit verschiedenen Kunden und Testprojekten lerne ich immer wieder neue Aspekte im Testmanagement kennen. Daher ist das Testmanagement auch für mich nach wie vor ein sehr spannender Arbeitsbereich.