Auteur: Kees Blokland ● kees.blokland@polteq.com
Recent kreeg ik de vraag ‘voor welke acceptatiecriteria er al bewijs was’. Ik antwoordde in mijn e-mail van 9 mei 2018, 13.21 (test summary report identifier): ‘Om te beginnen gaat testen geen bewijs leveren. Dat is fundamenteel: je kunt niet bewijzen dat het goed is. We doen ons best om het zo aannemelijk mogelijk te maken en melden of we weten van problemen die moeten worden meegewogen bij het besluit tot live-gang.’
Gesneden Koek
Voor de meeste testers is dit gesneden koek, maar verwacht dat niet automatisch van de mensen om je heen in je project. Wij moeten goed blijven uitleggen wat je van testen kunt verwachten. Verder vind ik dat het op ieder moment glashelder moet zijn hoe we er met testen voor staan. Het kostte mij weinig moeite om de vraag uit de inleiding, na mijn lesje ‘wat is testen’ van een antwoord te voorzien met informatie waar de vragenstellen mee geholpen was.
Inzicht
Ik gebruikte de acceptatiecriteria als agenda voor mijn summary. Het testverslag bevatte per criterium wat we hadden getest en wat de resultaten waren zo ver. Details, zoals welke tests zijn precies uitgevoerd en welke problemen zijn gevonden, zijn terug te vinden in overzichten die dagelijks worden bijgewerkt door de testers. Deze summary of results is door iedereen te allen tijde te bekijken. Dit omvat ook een actueel beeld van de dekking van de tests, de comprehensiveness evaluation.
Afwijkingen
Op diezelfde plaats vindt men ook de testplannen met daarin de teststrategie. Variances als gevolg van dingen die gebeuren en nieuwe inzichten die ontstaan vormen de input waarmee die testdocumentatie actueel wordt gehouden. Transparantie staat centraal. Ook bij de ontwikkelteams, waar de mensen die straks moeten beheren regelmatig op bezoek zijn en zo zien hoe de teams het systeem ontwerpen, bouwen en testen.
Vertrouwen in het proces
De stuurgroep, die het besluit tot live-gang neemt, stelt gedurende het lopende project vast of de informatie op basis waarvan men gaat besluiten, waaronder ‘mijn’ testrapportage geloofwaardig is. Hiermee verkrijg ik vooraf de nodige approvals voor mijn oordeel op basis van de testresultaten. Binnen het testteam overleggen we regelmatig over onze gevolgde werkwijze. Dat leidt tot een bijsturing of aanscherping. Dit proces van continue evaluation zorgt ervoor dat we de draad niet kwijtraken en gefocust blijven op het testen van de op dat moment belangrijke zaken.
Overzicht en transparantie; IEEE829 was zo gek nog niet …
|
|---|
IEEE829 is een standaard voor testdocumentatie, waarvan de versie uit 1998 bijgevoegde inhoudsopgave heeft voor een test summary report. Niet de minste namen uit de pioniertijd van testen hebben aan de standaard meegewerkt, zoals David Gelperin en Hans Schaeffer. Management werd met uitgebreide testrapporten geinformeerd om een goed vrijgavebesluit te kunnen nemen. De manier waarop we elkaar informeren is nu anders, maar de onderwerpen uit de originele outline zijn nog even actueel!