Riks column: De vijf pijnpunten van testen

Auteur: Rik Marselis ● Rik@Marselis.eu ● @rikmarselis

De afgelopen tijd heb ik weer heel wat workshops over exploratory testen mogen geven. En daarbij gebruik ik altijd twee boeken: Explore It! van Elisabeth Hendrickson en Exploratory Software Testing van James Whittaker. In dit laatste boek werd ik opeens weer gegrepen door James’ beschrijving van de pijnpunten van testen. Graag neem ik je mee langs deze pijnpunten en geef ik je er wat overpeinzingen van zowel James als mijzelf bij. Ik vertrouw erop dat jij met de pijn van anderen je eigen pijn kunt verzachten (of voorkomen) 😉
James beschrijft dat testen ervoor zorgt dat de maatschappij balans kan houden tussen innovatie en betrouwbaarheid. Maar testen als proces om de fouten binnen de perken te houden heeft enkele serieuze beperkingen. Die moeten we samen aanpakken om te zorgen dat software in de toekomst (nog) beter is dan nu.
Pijnpunt 1: Doelloosheid
Je kunt niet zo maar even wat gaan testen. Testen is een serieus vak waarbij planning, voorbereiding, strategie en toepasbare tactieken nodig zijn. Tests zonder doel zijn hoogstwaarschijnlijk zinloze tests. Als je geen idee hebt wat voor kwaliteitsaspecten je wilt onderzoeken, hoe kun je dan vaststellen of de kwaliteit aan de verwachtingen voldoet? Het aantal tests dat je kunt uitvoeren is dan wel oneindig, maar het aantal testdoelen is wel eindig. Bepaal dus eerst je testdoelen en ga dan voor de belangrijkste testdoelen tests bedenken. Bijvoorbeeld door charters te maken voor de testdoelen. En daarbij kan je een hulpmiddel als de ‘landmark tour’ gebruiken. Hierbij bedenk je welke stukjes functionaliteit je in ieder geval gezien wilt hebben. Tijdens het uitvoeren van je exploratory test ga je van de ene naar de andere ‘landmark’ en ondertussen kom je ook andere interessante dingen tegen.
Pijnpunt 2: Herhaalbaarheid
Het is zonde om goede testgevallen niet nog eens te gebruiken. Natuurlijk. Maar klakkeloos alle nieuwe testgevallen na afloop van de testrun doorschuiven naar de regressietestset levert vooral een grote regressietestset op, maar bepaald geen goede regressietestset. Bij elk testgeval dat je wilt hergebruiken moet je je afvragen wat de toegevoegde waarde is. In de zin van het vaststellen of een bevinding opgelost is, een bestaand stuk software nog steeds goed werkt en ook of je eventuele nieuwe fouten kunt vinden. Met name voor dat laatste is een herhalende testset meestal ongeschikt, zodat je altijd ook wat exploratory testing moet toevoegen. Het feit dat een herhalende testset geen nieuwe fouten vindt werd door Boris Beizer de ‘pesticide paradox’ genoemd, zoals elke ISTQB Foundation gecertificeerde nog herinnert, toch?
Pijnpunt 3: Kortstondigheid
Testers zijn altijd kortstondige gebruikers van een systeem. De echte gebruikers gaan er dag-in-dag-uit mee om. Daarom zullen gebruikers problemen tegenkomen die testers niet vinden, simpelweg omdat ze het systeem te weinig gebruiken. Toch kunnen testers iets tegen dit fenomeen van kortstondigheid doen. Bijvoorbeeld door testing tours te definiëren conform werkelijk gebruik van het systeem en door eindgebruikers al in de testfase te betrekken.
Pijnpunt 4: Monotonie
Testen is saai, dat vinden in ieder geval mensen die testen niet als hun hoofdvak hebben. En professionele testers zullen toegeven dat lang niet al het testwerk creatief werk is. Toch is het niet al te moeilijk om deze monotonie te doorbreken. Probeer nou eens echt te zorgen dat je tests maakt die optimaal aan de teststrategie voldoen. En varieer in de aanpak van je testen. Soms maak je met de hand testscripts. Soms gebruik je een testontwerptool om testgevallen te genereren. En voor andere testdoelen pas je exploratory testing toe. Of je doet het allemaal tegelijk, zolang je maar zorgt dat het aansluit bij het doel van je testen (zie pijnpunt 1 !!) Van testen een creatief vak maken heb je grotendeels zelf in de hand!
Pijnpunt 5: Geheugenloosheid
Veel testers plannen een test, specificeren en bereiden voor, voeren de test uit, analyseren en rapporteren. En vergeten het daarna zo snel mogelijk. Als ze enige tijd later hetzelfde systeem weer moeten testen, hebben ze geen idee meer wat er al eerder getest is en wat het resultaat was. Dus weten ze ook niet waar de problemen zaten en welke onderdelen om die reden, of vanwege het risicoprofiel, speciale aandacht verdienen. Ook het volkomen ontbreken van metrieken onderstreept deze geheugenloosheid. Testgevallen op zich zijn niet het geheugen van een test. Want ook de testresultaten en de analyses horen daarbij. Als dat samenhangend wordt vastgelegd, dan kun je op langere termijn het broodnodige inzicht krijgen.
Conclusie
Met een strategie en een handvol aanpakken, technieken en hulpmiddelen kunnen testers hun vak op een zinvolle manier uitvoeren waarbij de testdoelen de leidraad zijn. Ben jij ook geïnspireerd geraakt? Lees dan ook (nog) eens hoofdstuk 7 uit het boek van James. Of pak er eens een willekeurig ander boek over testen bij. Of een website met testkennis. Elke keer dat je wat over testen leest, levert je waardevolle inzichten en nieuwe inspiratie op. En daarmee maak je het testvak voor jezelf weer een stukje boeiender. Veel succes en plezier bij het bestrijden van de pijnpunten van het testvak!