Ervaringen met de vernieuwde ISTQB Advanced syllabus

Auteur: Hans van Loenhoud ● hans.vanloenhoud@polteq.com ● @HansvanLoenhoud

Eind 2012 is er een nieuwe versie van de syllabus voor het ISTQB Advanced Level uitgekomen. Deze versie verving de versie uit 2007. Na een overgangsperiode van ruim een half jaar is de nieuwe versie definitief van kracht geworden. Alle ISTQB Advanced trainingen en examens zijn sindsdien gebaseerd op de nieuwe versie. Inmiddels heb ik al deze nieuwe trainingen een of meer keren mogen verzorgen. Tijd dus om eens de peilstok erin te steken en te zien wat we ermee zijn opgeschoten.

Wijzigingen
De opvallendste wijziging is de opsplitsing in drie delen. De 2007-versie was één document, dat bestond uit een gezamenlijk deel, dat voor alle advanced testers van belang was, en daar tussendoor aparte stukjes, die een eigen doelgroep hadden, te weten Test Manager, Test Analyst en Technisch Test Analyst. In die opzet was er nogal veel overlap tussen de doelgroepen, zodat het niet altijd direct duidelijk was welke stof nu voor welke groep was bedoeld.

De nieuwe versie heeft daar rigoureus een einde aan gemaakt. Eén van de hoofddoelstellingen van de nieuwe opzet was immers om de overlap tussen de verschillende doelgroepen zo veel mogelijk te beperken. Voortaan zijn er drie aparte Advanced syllabi, Test Manager, Test Analyst en Technical Test Analyst, samengesmeed door middel van een ‘dunne’ overview. Dat heeft ook zijn weerslag op de omvang van de verschillende trainingen en de zwaarte van de examens. Waren voor de 2007-versie alle trainingen even lang, namelijk vijf dagen, in de nieuwe opzet duurt alleen de Test Manager training nog vijf dagen. De Test Analyst is teruggebracht naar vier en de Technical Test Analyst zelfs naar drie dagen. Het Test Manager en het Test Analyst examen duren drie uur, terwijl het Technical Test Analyst examen in twee uur wordt afgerond (voor wie Engels niet als moedertaal heeft, komt daar nog 25% tijd bij).
Een andere wijziging (wat mij betreft verbetering) is het werken met zogeheten Business Outcomes. Een Business Outcomes is een beschrijving van wat een tester na het behalen van het ISTQB Advanced certificaat zou moeten kunnen, in termen die van belang zijn voor de business, die gebruikmaakt van de diensten van die tester. Als voorbeeld citeer ik de Business Outcomes voor de Test Manager.

‘An Advanced Test Manager can…

• Manage a testing project by implementing the mission, goals and testing processes established for the testing organization.
• Organize and lead risk identification and risk analysis sessions and use the results of such sessions for test estimation, planning, monitoring and control.
• Create and implement test plans consistent with organizational policies and test strategies.
• Continuously monitor and control the test activities to achieve project objectives.
• Assess and report relevant and timely test status to project stakeholders.
• Identify skills and resource gaps in their test team and participate in sourcing adequate resources.
• Identify and plan necessary skills development within their test team.
• Propose a business case for test activities which outlines the costs and benefits expected.
• Ensure proper communication within the test team and with other project stakeholders.
• Participate in and lead test process improvement initiatives.’

Je kunt je natuurlijk afvragen of een Advanced Test Manager dat allemaal direct kan, want daar komt niet alleen opleiding maar ook ervaring bij kijken. Het is in ieder geval een groot pluspunt dat de leerdoelstellingen van de opleidingen zijn afgeleid van wat een Advanced tester zou moeten kunnen in plaats van wat zij/hij zou moeten weten.
Een revisie van een opleiding is vaak een zaak van herformulering, verpakking van oude wijn in nieuwe zakken. Deze ISTQB Advanced Level upgrade is daar beslist een positieve uitzondering op. Het bleek nodig om alle  trainingen compleet te herzien teneinde aan de nieuwe exameneisen te kunnen voldoen. Ik schat dat we maar twintig procent van onze sheets en cases hebben hergebruikt voor de nieuwe versies van onze opleidingen, de rest is nieuw. Waarbij we uiteraard de gelegenheid hebben aangegrepen voor een algemene verversing en actualisering van het materiaal, naast en los van de ISTQB wijzigingen.
En wat levert dat nu op?
Vanaf het eerste moment dat ik me in de nieuwe syllabus verdiepte, was ik enthousiast. Na het geven van een behoorlijk aantal nieuwe Advanced trainingen is dat enthousiasme alleen maar toegenomen. De stof is echt duidelijk verbeterd en meer toegespitst op wat de specifieke doelgroep moet kennen en kunnen. De Test Manager moet nu vooral kunnen managen en de Test Analyst kunnen analyseren; de Technical Test Analyst gaat aan de slag met White Box testen en testautomatisering.
Daarnaast is er heel duidelijk sprake van een accentverschuiving: van kennen naar kunnen, van weten naar begrijpen, van reproduceren naar toepassen. Kon je in de 2007-versie nog een heel eind komen met het uit je hoofd leren van bijvoorbeeld de kenmerken van een bepaalde testtechniek, in de 2012-versie wordt van je verwacht dat je op basis van de business, de risico’s, de projectkenmerken, kortom de context, kunt beargumenteren waarom je die testtechniek wilt toepassen en welke alternatieven je daarbij kunt overwegen. En dan word je ook nog geacht dat in begrijpelijke termen aan alle betrokkenen te kunnen uitleggen. In de trainingen vertaalt zich dat naar veel meer aandacht voor cases. Cases, die niet de ‘waarheid’ verkondigen, maar aanleiding vormen voor een discussie tussen de deelnemers over de voors en tegens van een bepaalde aanpak. In de examens vinden we dat terug in uitgebreide scenario’s met vragen in de trant van ‘Which three alternatives are the best …’.
De ervaringen van onze cursisten zijn naar mijn stellige indruk positief. Niet dat ze het onderscheid kunnen maken tussen de huidige en de vorige versie, want de meesten volgen voor het eerst een Advanced training, maar hun reacties op de nieuwe stof zijn wel goed. In het algemeen vinden ze het bepaald niet gemakkelijk, maar erkennen ze wel dat dit het niveau is dat je van een Advanced training mag verwachten. Ze zien in dat dit soort opleiding fundamenteel verschilt van het Foundation niveau, juist vanwege accent op kunnen, begrijpen, toepassen. Het lastigst voor zowel de cursisten als mij in de rol van trainer is, dat er geen ‘waarheid’ bestaat. Je kunt het antwoord op vele vragen niet éénduidig vinden door opzoeken in de syllabus; je zult moeten redeneren en beargumenteren om tot een bevredigend antwoord te komen, in het besef dat in een andere context een ander antwoord wellicht beter kan zijn. Ik heb dus tijdens de trainingen heel wat uit te leggen…
Halleluia?
Het is niet allemaal ‘halleluja’ met de nieuwe Advanced syllabus. Sommigen zullen opmerken dat de ISTQB Advanced Level syllabi au fond een waterval-sfeertje met zich meedragen. Hoewel er op verschillende plaatsen wordt verwezen naar Agile ontwikkelingen, en bijvoorbeeld Test Driven Development, ademt het geheel nog steeds het idee van een sequentiële aanpak, waarbij voldoende tijd is om voorbereiding, analyse en uitvoering stap voor stap aan bod te laten komen. Veel testers uit sprint teams zullen zich daarin niet meer herkennen. Toch is dat naar mijn idee vooral een kwestie van perspectief. Een aantal van onze cases is expliciet gebaseerd op Agile, zozeer zelfs, dat sommige cursisten zich afvragen of ze in een ‘Introductie Agile’ training zijn beland. Dan blijkt dat ISTQB ook in een Agile omgeving prima toepasbaar is, als je maar even de moeite neemt om de juiste doorvertaling af te leiden.
Daarnaast levert het klakkeloos toepassen van de complete ISTQB-aanpak niet in iedere situatie het beste resultaat op. Een goede tester heeft oog voor de omgeving en kiest binnen de context van deze omgeving een geschikte aanpak om de testklus succesvol te voltooien. Daartoe heeft hij een goed gevulde gereedschapskist nodig met de juiste mix van aanleg, kennis en ervaring. Deze nieuwe Advanced syllabi zorgen ervoor dat een deel van die gereedschapskist wordt gevuld, maar men moet zich wel realiseren dat er meer (nodig) is.
Een andere ‘bezwaar’ is dat het wegpoetsen van de overlap tussen de verschillende doelgroepen wel érg goed gelukt is. Dat stuurt testers in de richting van specialismen, terwijl ons huidige tijdsgewricht juist generalisme vraagt van testers. Dat betekent dat een tester, die voluit op Advanced niveau wil functioneren, eigenlijk alle drie de trainingen moet volgen. Nou ja, dat moest misschien in de 2007-versie ook wel, dus de winst is dat je daar nu drie dagen minder voor nodig hebt 🙂
Een consequentie van de Advanced upgrade is, naar mijn smaak, dat het Foundation Level nu ook wel aan een opfrisbeurt toe is. De huidige Foundation syllabus is weliswaar van 2011, maar dat was geen fundamentele herziening, alleen een beetje oppoetsen ten opzichte van de eerdere versies. Foundation loopt nu duidelijk achter bij Advanced.
Mijn conclusie is duidelijk: het nieuwe ISTQB Advanced Level is een flinke stap voorwaarts. Wie een, of liefst meer, van deze modules met succes heeft afgerond, heeft een prima basis om de uitdagingen van een hedendaagse tester tegemoet te treden en, door het in de praktijk toe te passen en additionele ervaring op te doen, door te groeien naar een ‘echt’ Advanced Level.