Redactie: Gerben de la Rambelje
Auteur: Derk-Jan de Grood ● DerkJandeGrood@valori.nl
Op 15 januari jongstleden hebben testnetters tijdens de TestNet thema-avond het nieuwe netwerk van het NBC getest. Het NBC heeft behoorlijk geïnvesteerd in een beter computernetwerk en met TestNet als vaste klant was er al snel een deal gesloten. TestNet stelt een aantal testers ter beschikking en het NBC levert zijn medewerking en het computernetwerk zelf. Op de avond zelf waren er circa 50 deelnemers, die stonden te popelen om actief en praktisch aan de slag te gaan. De deelnemers gingen uiteen in een aantal groepen, elk begeleid door een coach. Aan het begin van sessie legde elk van de coaches uit wat hij wilde gaan doen met zijn groepje. We hadden de volgende coaches en onderwerpen:
- Bart Knaack – Crowd knowledge & resource starvation
- Bert Vos – Testen van Netwerkbeschikbaarheid
- Bernd Beersma – End user experience en Streaming media
- Derk-Jan de Grood – Qualifiers & disqualifiers
- Onno Wierbos en Remco Blewanus – Performancetesten & monitoren
- Richard Ammerlaan – Stresstest of vandalisme
- Rik Marselis – Signaalsterkte en network bereik
- Ruud Teunissen – Coverage & Leakage
Voor mijn groep had ik ervoor gekozen om niet een aspect van het computernetwerk als uitgangspunt te nemen, maar samen met de deelnemers stil te staan bij:
- De persona’s: wie maken er gebruik van het netwerk;
- De qualifiers: wat maakt elk van deze gebruikers nu enthousiast over het netwerk;
- De disqualifiers: wanneer haken de gebruikers af en geven het een onvoldoende.
In principe is dit een effectieve manier om een teststrategie op te stellen die dicht aanligt tegen de beleving van de business. In mijn Column in de Bits en Chips magazine van november 2013 had ik over deze aanpak geschreven en de thema-avond leek me een goede situatie om deze aanpak in praktijk te brengen. De column legt het een en ander uit en deze kun je als je wilt downloaden op: http://djdegrood.files.wordpress.com/2011/05/bits-en-chips-magazine-teststrategie-rivisited-nov-2013.pdf
Tijdens de eerste sprint inventariseerde we de gebruikers van het netwerk. In de brainstorm kwamen we al snel op verschillende groepen gebruikers en ontstond er een besef dat verschillende gebruikers misschien wel heel andere verwachtingen hebben bij het netwerk. Voor een aantal groepen hebben we in kaart gebracht welke qualifiers en disqualifiers zij zouden kunnen hebben. Op basis van de geïdentificeerde qualifiers hebben we de positieve of hygiëne tests afgeleid. Dit zijn de testen waarmee we kunnen aantonen of het netwerk doet wat die moet doen, deze testen zou je ook de checks kunnen noemen. Essentieel, maar niet iets spannends. Spannender waren de Disqualifiers; de eigenschappen, omissies of fouten die leiden tot een negatieve ervaring van het netwerk. Als team moesten we per disqualifier een effectieve manier bedenken om te bewijzen dat het netwerk deze eigenschappen niet vertoonde, leuk en creatief werk.
In het begin was ik bang dat ons groepje niet aan testen zou toekomen. De andere groepen liepen al door het pand om de dekking te meten, of hadden hun load tools al opgestart, en wij stonden nog bij de flipover te brainstormen. Toch bleek dat uit de analyse een aantal zeer originele en relevante testideeën naar voren kwamen, die toch betrekkelijk eenvoudig te testen waren. Dus het lukte om naast de analyse toch nog wat testen uit te voeren en bevindingen te loggen.
Nadat alle teams hun testen gedaan hadden (of eerlijk gezegd, nadat de tijd op was) was het tijd voor de gezamenlijke debriefing. Hierbij was ook de manager van het NBC aanwezig. Hij vertegenwoordigde de business, dus een goede uitdaging: kunnen we als vertegenwoordiging van testend Nederland met onze resultaten overtuigen?
Elk team had wel een aantal bevindingen. Allemaal legitieme bevindingen die de ontvangende partij herkende en accepteerde. Maar toen gebeurde er iets moois. In de dialoog die ontstond, begonnen we de fouten te combineren. De analyse met qualifiers en disqualifiers, bleek een goed uitganspunt om de business uit te leggen dat de gerapporteerde bevindingen op zich zelf staand allemaal valide waren, maar dat de werkelijke impact veel groter was. We hebben met zijn allen een aantal scenario’s doorgesproken, waaruit bleek dat de fouten elkaar kunnen versterken. Hiermee hadden we de volledige aandacht van de business. ‘Verdorie’, zag je hem denken, ‘hier moeten we zeker wat mee.’
Ik geloof dat dit meerdere mensen getriggerd heeft om deze aanpak ook een keer te proberen en dat is mooi. Voor mij bevatte de avond een duidelijke les. Wees niet tevreden als je een aantal bevindingen hebt gevonden, maar sta ook stil bij de andere bevindingen die gevonden zijn. De duivel zit hem niet alleen in de details, maar juist ook in de combinaties. Onze taak om de impact hiervan uit te leggen aan onze stakeholders.