Auteur: Peter van Tulder ● peter.van.tulder@bartosz.nl ● @Petervantulder
Een verslag van het voorjaarsevenement van 13 mei 2013, door de ogen van een evenementencommissielid annex testenthousiasteling.
Vanaf half negen in de ochtend verzamelen zich de eerste vroege vogels voor het voorjaarsevenement van 2013, ‘Test Automatisering & Tooling: silver bullets of testing?’. Ons doel als TestNet-organisatie is om de hele test community van 1600 leden aan te spreken en te boeien in de volle breedte van het testvak. Om die reden hebben we ons dit jaar welbewust gewaagd aan een onderwerp dat technischer van aard is dan voorgaande edities. Als ik ’s ochtends de ledenlijsten inspecteer, stel ik met plezier vast dat dit gelukt lijkt te zijn: Ik vind veel namen op de bezoekerslijsten terug die ik op eerdere evenementen weinig of niet gezien heb.
Nog even kort over de formulering van het thema: Een zilveren kogel is volgens de mythologie de enige mogelijke oplossing om een weerwolf te doden. Daarmee is de term ‘silver bullet’ een metafoor voor de meest logische en efficiënte oplossing van een probleem. De formulering van het TestNet-thema bevat bewust een vraagteken, omdat veel vakgenoten niet alleen positieve, maar ook negatieve ervaringen hebben bij de inrichting en toepassing van testautomatisering. Met dit thema riepen we jullie op om trends, praktijkverhalen en begripsdefinities te delen, maar zeker ook om de vraagstelling te beantwoorden. In de woorden van Ruud van Houwelingen: ‘Is testautomatisering nu een silver bullet (de oplossing), of is het zelf een weerwolf (het probleem)?’. En die vraag beantwoordden jullie massaal, sprekers en bezoekers gezamenlijk!
We trappen het evenement af met workshops. Het is alweer een jaar of vijf geleden dat we deze werkvorm geïntroduceerd hebben. Workshops, voor degenen die er nog nooit een hebben bijgewoond, zijn interactieve sessies van drie uur. In tegenstelling tot de reguliere tracks (drie kwartier) bieden workshops de mogelijkheid om een onderwerp meer in detail te behandelen, vaak ook met praktische werkvormen, waardoor je met toepasbare kennis huiswaarts keert. Wegens eerdere successen hebben we het aantal workshops dit jaar voor het eerst uitgebreid naar zes. Honderdvijftig geïnteresseerden melden zich om half tien voor de workshops: Geautomatiseerde productiesimulaties, http proxies, mobile testing, model based testing met open source tooling, visual basic als doe-het-zelf-tooling, en een introductie in de gratis tools Mantis en Testlink.
Als de workshops gestart zijn, is voor de evenementencommissieleden de eerste drukte voorbij. De echte hausse van bezoekers dient zich pas rond één uur ’s middags aan. Wel komen tussen negen en twaalf uur de meeste sponsoren en standhouders binnen. Het is leuk om te zien hoe de Event Hall zich gestaag vult met goed uitziende stands en om hier en daar zelf een handje te helpen bij het opzetten. Ook melden zich diverse trackchairs, die ik hun instructies geef. De laatste organisatorische open eindjes worden zo tijdens het evenement pragmatisch ingevuld, het is net een project!
Om exact twee uur, na de lunch, opent onze vice-voorzitter Rik Marselis het voorjaarsevenement officieel. Hij neemt op dit evenement de honneurs waar van voorzitter Michiel Vroon. Michiel is in het dagelijks leven testmanager van de systemen van de nieuwe Coentunnel. Laat die nou net vandaag open gaan! Daar kan Michiel echt niet bij wegblijven, dus is het de beurt aan de vice-voorzitter. Rik introduceert onze internationale gastspreker Alan Richardson, die de eerste keynote verzorgt. Alan geeft ons zijn antwoord op de vraag ‘Is testautomatisering een silver bullet?’.
Zijn antwoord is een opmaat voor wat de tendens van de gehele dag zal blijken te zijn: Testautomatisering kan een silver bullet zijn, maar dat is volledig afhankelijk van de context. Testautomatisering is nooit een generieke oplossing, elke context vraagt om een andere invulling, en sommige contexten vragen om iets anders dan testautomatisering. Hij en diverse andere sprekers constateren, dat wij als experts onze klanten moeten adviseren over de zin en onzin van testautomatisering. Te vaak vragen klanten ogenschijnlijk om testautomatisering, terwijl dat niet de oplossing voor hun probleem is. Een patiënt vraagt niet om een medicijn; die beschrijft zijn symptomen. Wij, de dokters, schrijven daarop het juiste medicijn voor. Daarom moeten wij op zoek naar de échte vraag van de klant. Waar zit de pijn? En is die pijn inderdaad op te lossen met testautomatisering? Alan wijst erop, dat die vraag niet alleen van tevoren, maar ook gaandeweg het testautomatiseringsproces voortdurend moeten worden gemonitord, zoals elke business case voortdurend getoetst moet worden. Wij testers moeten manieren vinden en ervaring opbouwen om afhankelijk van de context te bepalen of, en welke vorm van testautomatisering voor de probleemstelling de silver bullet is.
Na de keynote van Alan verspreiden de inmiddels ongeveer driehonderd gasten zich over vier parallelle tracks en één workshop. Ik neem plaats bij Derk-Jan de Grood in de Grand Hall, en daar heb ik geen spijt van. In zijn presentatie verwoordt hij namelijk een sentiment waarin ik mezelf herken en waar ik me nog niet van bewust was: Onder de generatie van testers die ruwweg tien jaar of meer in het vak zit, bestaat een soort angst voor testautomatisering. We zijn opgegroeid met handmatig testen, we zijn vaak onbekend met testautomatisering en we schrikken van de snelle ontwikkeling ervan om ons heen. ‘Maken wij onszelf niet overbodig?’ Derk-Jan signaleert dat testautomatisering, of we willen of niet, deel uitmaakt van onze toekomst. Hij waarschuwt deze generatie om de tendens te omarmen, omdat we anders onherroepelijk op een zijspoor belanden. Dat vereist een wijziging in mindset! Terwijl ik daarover nadenk belt er een trackchair. De wijn waarmee hij de spreker namens TestNet mag bedanken is kwijt. Dus… rennend naar boven en op zoek naar de missende flessen. Ze blijken er wel te staan, maar op een onverwachte plek. Het zijn de kleine rimpels in een verder fantastische dag.
Terug in de Grand Hall deelt Ruud van Houwelingen in zijn presentatie een aantal mogelijke motieven om te kiezen voor testautomatisering. Belangrijke stimulansen die hij (en anderen) noemt:
- Nuttig voor het uitvoeren van regressietesten, vooral als deze geregeld moeten worden uitgevoerd;
- Inzet voor activiteiten die mensen als ‘geestdodend’ ervaren (vergelijken van schermen, databasewaarden, enzovoort);
- Inzet op momenten dat mensen niet willen werken (avonden, weekenden);
- Verhogen van de uitvoeringssnelheid;
- Verbeteren van de uitvoeringskwaliteit (computers kunnen feitelijker waarnemen dan mensen);
- Uitvoeren van vele gebruikershandelingen tegelijk.
De perceptie dat geautomatiseerd testen per definitie goedkoper is en het aantal testresources per definitie omlaag brengt, wordt in dit rijtje gelukkig niet meer genoemd, of zelfs nadrukkelijk ontzenuwd. Dat geldt niet alleen voor de presentatie van Ruud, maar ook voor zijn collega-sprekers. We lijken het als vakgebied ondertussen eens dat we deze perceptie bij de klant niet moeten ondersteunen.
Scott Barber weidt hier zelfs zijn keynote aan. Hij stelt dat het ondoenlijk is om de return on investment van geautomatiseerd testen te berekenen, en dat uitlegbare waarde van geautomatiseerd testen dan ook niet in geld gezocht moet worden, maar in andere waarden als kwaliteit, herhaalbaarheid en businesscontinuïteit. Daarmee is geautomatiseerd testen wel te monetizen!
Het diner is, zoals altijd, uitstekend. Het blijft verbluffend hoe het NBC voor zoveel mensen tegelijk voedsel kan serveren van zulke hoge kwaliteit. Als ik later oud ben, hoop ik dat ze inmiddels een aantal verzorgingshuizen runnen! Opvallend is verder dat het eten niet alleen lekker is, maar dat ook aan de presentatie gedacht wordt. Kleine bakjes vruchtenyoghurt bij de lunch, los geserveerde miniloempiaatjes bij het diner, ijsjes toe, alles is leuk opgemaakt en geserveerd. En dan blijkt dat een heerlijk diner en een verzorgde aankleding eens te meer de ideale setting is voor een minstens zo interessant nevendoel van TestNet, netwerken en socializen. De Event Hall overziend zie ik op elke vierkante meter bekenden, van mijn eerste testcoördinator tot vele collega’s en teamleden waarmee ik in het verleden heb samengewerkt. TestNet is niet alleen leerzaam, TestNet is ook écht gezellig, een dag met oude bekenden waarop ik me steeds meer verheug.
De omroeper dirigeert ons naar het avondprogramma, en ik volg met plezier nog een aantal avondtracks. Een interessante bespiegeling die ik meeneem is, dat testautomatisering breder gezien kan worden dan ‘de tooling die testuitvoer van je overneemt’. Diverse sprekers omschrijven testautomatisering als ‘alle geautomatiseerde hulpmiddelen die je kunt inzetten om je handmatige werk te versnellen of te verbeteren’. Daarmee is testautomatisering bijvoorbeeld ook:
- Het klaarzetten van je uitgangssituatie met een record & playback tool;
- Het uitvoeren van checks op de database;
- Het inzetten van stubs en drivers voor het simuleren van aanpalende systemen;
- Het verzamelen van gebruiksgegevens en metrics in productie;
- Het inzetten van tools die voor ons een beslissingstabel of elementaire vergelijkingstechniek uitwerken in testgevallen;
- Het opnemen van een filmpje dat toont hoe een bevinding kan worden gereproduceerd.
Eigenlijk doen we het allemaal al jaren!
Tenslotte passeren ook veelgehoorde misvattingen over geautomatiseerd testen het voetlicht. Andreas Prins en Rogier van der Burg zetten onder andere uiteen, dat het onzin is dat:
- Als we een tool hebben, de testautomatisering dan vanzelf goed komt;
- Als de test geautomatiseerd is, alle testers hun congé kunnen krijgen;
- Eén tool in alle gevallen voldoende is om alle testautomatisering binnen een organisatie te doen;
- Testautomatisering zich binnen no-time heeft terug verdiend;
Vermeldenswaard vind ik nog de constatering, dat testautomatisering niet het uitsluiten van de menselijke fout is, maar het verplaatsen ervan van handmatige uitvoering naar het programmeerwerk. Een computer voert tenslotte precies uit wat een mens erin stopt.
Na de laatste sprekers borrel ik na met diverse testvrienden, waarbij het me opvalt hoe druk het nog is. Als ik om tien uur na een lange dag, maar nog vol energie naar huis rijd, mijmer ik verder over de aanblik van een wereld vol woest testende computers. Ik bedenk me, dat computers geen last hebben van verveling, en moeiteloos honderd keer achter elkaar dezelfde test met dezelfde kwaliteit kunnen uitvoeren. Maar ik bedenk me ook, dat er iets is waarin een computer het nooit van ons zal kunnen winnen: Intuïtie, die hem prikkelt om op een onderdeel in te zoomen op basis van waarnemingen, gevoelens of ervaringen. Ja, voldaan kom ik thuis met de overtuiging dat geautomatiseerd testen een onlosmakelijk deel zal vormen van mijn professionele toekomst, maar ook met de geruststelling dat testen, ook geautomatiseerd testen, in de basis een uitdagend intellectueel en creatief proces blijft, waarin een ervaren tester van vleesch en bloed bepaalt welke context om welke aanpak en tools vraagt. Ik heb nu al zin in het najaarsevenement…