Door: Gerben de la Rambelje
Auteur: Nathalie Rooseboom de Vries – van Delft ● funtestic.fanatic@gmail.com
In mijn vorige column repte ik over de duizendpoot en hoewel ik dat toen met name vanaf een zijlijn met enig sarcasme schreef, wordt me nu nog maar eens duidelijk, nu ik weer in de detachering ben beland, dat met alle inhuurdesks en brokers in de wereld die zich tussen opdrachtgever en opdrachtnemer hebben genesteld, de geschetste alleskunner ook daadwerkelijk wordt gevraagd.
Zo gebruiken deze inhuurbureaus een (vorm van) semantische test om te kijken of de benodigde gegevens worden geleverd en of de gevraagde kennis er is met – daar waar van toepassing – de overeenstemmende certificaten. Iedere tester weet uiteraard dat een semantische test bestaat om de geldigheid van invoergegevens te valideren en het betreft dus niet, zoals de naam wellicht doet vermoeden, een elementaire vergelijkingstechniek die er voor is om grondig en gedetailleerd functionaliteit te testen op basis van bijvoorbeeld pseudocode of vergelijkbare specificaties.
Ik hoopte met mijn enige jaren ervaring en opgedane kennis toch wel ergens te kunnen komen, maar niets is minder waar: geen certificaat, geen klus… dat werd dus weer leren om überhaupt te kunnen testen. Veel van de gevraagde certificaten zijn gebaseerd op kennis waarvan ik wel de ervaring had opgedaan en al testend van had geleerd in de praktijk (al testende leert men), maar dus (nog) geen officieel papiertje van had. Dat werd dus weer flink studeren, want praktijkervaring blijkt ineens een valkuil te zijn. Een examen bestaat uit vragen met antwoorden die één op één uit de theorie komen. Al snel kwam ik er met het doen van allerlei proefexamens achter, dat ik heel veel ging twijfelen over de antwoorden, omdat deze veelal in de praktijk niet zo zwart-wit worden toegepast of omdat in de praktijk bijvoorbeeld sprake is van een combinatie van antwoorden. Een examen wil graag ‘het best passende antwoord’, maar veelal in de praktijk is dat afhankelijk van de situatie…
Het loslaten van ‘dat werkt nu eenmaal zo’ ten gunste van ‘zo is de theorie beschreven’ is een eyeopener. Hoe vaak heb ik in een uitleg niet gezegd tegen iemand die net in begon als tester: ‘dat kan de theorie wel stellen, maar in de praktijk is het zo’. Nu is de situatie dus ‘dat kan de praktijk wel zijn, maar de theorie is zo’. En dan heb ik ook bij de proefexamens nog last van ‘ik denk dat het zo is in de praktijk, maar de theorie zal dat wel stellen’, waar dan bij het nakijken blijkt dat mijn praktijkgedachte toch wel de juiste is geweest. Het is een hele tour om datgene ik ooit geleerd heb in mijn begindagen (leren) na jaren van werk in de praktijk (het doen) weer op te halen (leren) om aan een toets te onderwerpen. Jong geleerd is dan wel oud gedaan, maar blijkbaar nog niet zo snel (weer) getest of getoetst.
Overigens nog zo’n eyeopener was dat ik dacht dat ‘SINO’ (SCRUM In Name Only) en dat dus SCRUM-misbruik veel voorkwam. Nou, dan moet je je eens in Prince2 verdiepen… ‘PINO’ (Prince2 In Name Only) en is hier dus misbruik van de naam in ernstiger mate aan de orde dan bij ‘SINO’ waarschijnlijk ooit het geval zal zijn. Wist je bijvoorbeeld dat testen en kwaliteit (jawel!) een geborgd deel is bij Prince2?… Hebben we ons als testers toch mooi in de luren laten leggen door die projectmanagers die al doende toch mooi dat testen vakkundig onder het tapijt wisten weg te moffelen. Zo ben ik maar zelden een exception report tegengekomen of heb ik nog nooit een regel in een risk log opgenomen zien worden; datgene dat Prince2 beschrijft dat opgeleverd moet worden aan de stuurgroep wanneer er een activiteit niet kan worden uitgevoerd volgens plan of wanneer er een verhoogde kans op risico’s is. Lees: wanneer er niet of niet voldoende getest kan worden. Tja… zo leer je nog eens wat.
Het komende jaar lijkt ‘leren’ ook de trend van de verschillende testconferenties. EuroSTAR komt met “Learning to Test, Testing to Learn” en ons eigen TestNet voorjaarsevenement heeft als thema “Verbreed je basis: nieuwe vaardigheden voor testers!”. Beiden snijden het belang van leren in de praktijk en het leren van vaardigheden aan. Ik durf nu al te wedden dat er één vaardigheid niet wordt belicht in deze twee, maar ook andere conferenties en dat is het daadwerkelijke leren zelf. Leren moet je leren! Je moet leren wanneer de theorie ophoudt in de praktijk te bestaan, wanneer je theorie toepast en wanneer je in de praktijk wel wat theoretische onderbouwing kunt gebruiken. Maar hoe je dat doet, dat leren ze je nergens.
In mijn ervaring wordt (het leren van) theorie steeds vaker als iets vies gezien, laat staan dat we die theorie ook nog testen met het doen van een examen en er ook nog een certificaat voor krijgen. Het certificaat zegt immers niks over de kunde van de betreffende tester stelt men. Toch vind ik dat een gekke, erg zwart-witte gedachte. Juist ‘wij testers’ kennen als geen ander het belang van verifiëren en falsificeren en we ronden het geheel (in veel gevallen) af met een rapportage. Als ik dat gelijk zou trekken, stel je dat het eind- of testrapport dus niks zegt over het betreffende systeem onder test en dat is natuurlijk quatsch. Zelf weten we immers prima dat het testen is uitgevoerd en hoe het systeem (niet) presteert, maar het rapport reflecteert datgene dat we hebben getest.
Leren en doen zijn onlosmakelijk aan elkaar verbonden en voor mij hoort daar ook het behalen van het certificaat bij. Ik zelf kan namelijk prima overtuigd zijn van mijn kunde en kennis, de toekomstige opdrachtgever wil dat wel graag zwart op wit zien met een certificaat. En zo komt het dat ook deze verifiërende en falsificerende duizendpoot op de koude en gure wintermaanden actief aan het leren is geslagen om de benodigde examens met glans te kunnen doorlopen. Ik test dus ik leer, ik leer dus ik test!
NieuwsMagazine
Een mooie samenvatting van mijn ervaring met basis-examens en certificering!
Een hoop boekenwijsheid die in bepaalde (traditionele) omgevingen best wat toevoegt voor een beginnende tester, maar met wat jaartjes ervaring buiten de ivoren toren kan je toch alleen maar een beetje glimlachen bij sommige vragen / antwoorden op een dergelijk Foundation examen.
Ik begrijp van de voorstanders / aanbieders (verkopers!) van certificering dat de meer advanced examens dichter bij de praktijk staan…ik ben wel benieuwd naar hoe dit ervaren wordt door colleage-testers met een jaartje of 5+ ervaring die dergelijke examens recent gedaan hebben (laat het vooral weten in een reactie!).
Een interessante gedachte bij dit soort testtheorie vind ik wel de parallel naar theorieën in de wetenschap. Als in de wetenschap een theorie wordt ontkracht door bewijs uit experimenten / waarnemingen in de praktijk, wordt deze theorie aangepast of geheel geschrapt. In hoeverre gebeurt dit met de theorie zoals die binnen de diverse boekjes onderwezen wordt?
Hallo Robin,
Zeer interessante vraag die je in je reply stelt; ik ben zelden een x-te of her-druk tegengekomen waarin heel duidelijk een referentie is gemaakt dat er wijzigingen zijn geweest naar aanleiding naar de praktijk.
Wel een beetje in de richting is het TMap HD waar een aanvulling is gemaakt op TMap Next en de gap tussen theorie en praktijk is getracht te dichten, maar het heeft niet in een herdruk van TMap Next geleid. Ik weet dat psychology in testing een ePub is dat regelmatig wordt aangevuld en bijgewerkt naar de recente inzichten. Er moeten er toch meer zijn?
Wie het weet … graag een reply! er zijn hopelijk wel voorbeelden van updates zoals bedoeld in jouw vraag…
Hoi Nathalie,
Een mooie vraag die je stelt over het verschil tussen een certificaat en een testrapportage. Bij beiden moet je je denk ik afvragen: wat wordt er getoetst/getest. In veel gevallen gaat het bij certificaten om het toetsen van de theorie. Dus een certificaat zegt wat mij betreft dat de betrokkene (ten tijde van het afleggen van de toets) een zekere hoeveelheid kennis had over de theorie. Of deze persoon ook de vaardigheden heeft om dit in de praktijk, kan (in theorie)geen uitspraak over gedaan worden. In de praktijk wordt een diploma vaak in een breeder kader geplaatst: er is een reden dat deze persoon een diploma behaald heeft: Het interesseert hem, hij had het nodig voor de uitvoering van zijn werk, etc.
Ik zie een certificaat als vergelijkbaar met een testrapportage over testen gedaan op een testomgeving door middel van het afvinken van een checklist/lijst testgevallen. Op het moment van testen was een zekere hoeveelheid functionaliteit aanwezig in de testomgeving. Dit zegt niet dat het systeem zal functioneren wanneer het live gaat.
En daar gaat de vergelijking mank: In de praktijk is een tester (iig ik) niet in staat om een checklist af te vinken, zonder breder te kijken… Check, ik krijg de inlogpagina te zien, maar pas na 5 minuten en het bedrijfslogo staat ondersteboven. Een testrapportage is opgesteld door een mens: er is dus verder gekeken dan bij een multiple choice vraag. Bij certificering wordt dit ondervangen een menselijke beoordeling: een assessment, een interview, een stage.
Maar eigenlijk is de vraag: is de voorspellende waarde van een certificaat t.o.v. een testrapportage? Zonder onderbouwing: Een mens is meer dan een system afhankelijk van de omgeving (en over het geschikt maken van de omgeving is minder bekend) en beter in staat om strategisch toetsen te doorstaan (met minimale kennis/kwaliteit) dan een system. Derhalve heeft (bij gelijke “kwaliteit”) een testrapportage meer voorspellende waarde dan een certificaat – de voorspelling gaat immers over een nieuwe omgeving..
Hallo Tjeerd,
Dank je voor de reactie. Ik stel echter niet zozeer de vraag wat het verschil is tussen een certificaat en testrapport, laat staan de voorspellende waarde er van; beiden geven naar mijn idee alleen een indicatie van een status (van kennis of anderzijds) op een bepaald moment in de tijd (en dan ook nog op een bepaalde plek vaak).
Mij gaat het er eigenlijk om dat de waarde van een certificaat veelal wordt afgedaan (let wel; ik generaliseer hier) als iets dat geen betekenis heeft; daar ben ik het niet mee eens; het hoort wel iets te zeggen over datgene waarvoor het certificaat wordt afgegeven. Wat wel een punt is, is de betekenis van een certificaat die er aan wordt gegeven door assessors; inhuurdesks die een certificaat soms zien als een bewijs van bekwaamheid, maar dat niet is. De crux is dan; moet de betekenis van een certificaat worden aangepast of moet de assessor worden opgevoed; ik pleit voor het eerste overigens.
Het meest bekende voorbeeld in mijn optiek is ISTQB-F. Het foundation certificaat zegt immers niks over kunde van de tester, daar is het overigens ook nooit voor bedoeld geweest. Het is een certificaat voor het behalen van het examen waarmee de persoon in kwestie kan aantonen dat deze het begrip heeft van het gebruikte jargon en terminologie in de software- en systeemtest discipline. Wat je echter ziet is dat bedrijven/ werkgevers een kunde-aspect toekennen aan houders van het certificaat, wat dus niet terecht is. Je kunt hier dus betere marketing naar de werkgever toe bedrijven door herhaaldelijk te blijven stellen dat het geen kunde, maar kenniscertificaat is OF je kunt de inhoud van het foundation certificaat aanpassen door aan de afgifte er van een kunde-component te koppelen met re-assessment (even afgezien van het feit hoe dit administratief te behappen).
Het ‘leuke’ is dat veelal de toenemende ervaring in de praktijk je steeds meer van de theorie af komt te staan door context, tijd etc. en dat – zoals ik nu ervaar- het lastiger wordt om een puur theoretisch examen te doen terwijl je dus wel ‘ouder en wijzer’ bent geworden …