De robots zijn in ontwikkeling, maar hoe testen we deze robots?

Auteur: Gerben de la Rambelje ● g.delarambelje@maxmin.eu

Afgelopen 9 november verzorgden Bart Knaack en Rik Marselis de workshop ‘De robots komen’. De beide heren zijn gepassioneerd robotfanaten, die deze avond met een werkgroep van circa twintig geïnteresseerden op onderzoek gingen, op welke wijze de robots het testvak de komende jaren gaan beïnvloeden. De centrale vraag gedurende deze avond was: ‘Hoe gaan we de robots testen?’.

 
Wat is een robot?
Om in de sfeer te komen hadden Rik en Bart de ruimte feestelijk ingericht met drie robots, die op basis van een patroon/kleur zich in de ruimte voortbewogen. Hiermee kwam al snel een aantal vragen aan de orde:

• Wat verstaan we onder een robot? Wat is het, hoe ziet een robot eruit?
• Is een robotarm waar chirurgen gebruik van maken, een robot?
• Of is een robot een zelfdenkend systeem die heel erg op de vorm van de mens lijkt?
• Of is een schoonmaak- en stofzuigrobot, die volgens een bepaald algoritme voortbeweegt een robot?

De zelfsturende Google-auto die inmiddels door Californië rijdt, werd in dit verband veelvuldig naar voren gehaald als zijnde de zelflerende robot van de toekomst. Volgens Bart zijn er metingen verricht waaruit blijkt dat de Google-auto nu al procentueel minder fouten maakt dan de mens. Dan zou je zeggen dat het niet meer lang duurt voordat we de eerste Google-auto in het verkeer zien verschijnen. Echter, zo gaf Rik aan, op dit moment is de aansprakelijkheid juridisch een heel moeilijk verhaal als de zelfsturende auto een fout maakt. Wie kan aansprakelijk worden gesteld als een ongeval plaatsvindt, is het de bestuurder of de fabrikant?
 
Het volgende filmpje geeft goede voorbeelden wat zoal onder een robot kan worden verstaan: 6 Things You WONT Believe ROBOTS Can Do

Robots en mensen
De robots komen eraan, maar wat is de impact op het bestaan van de mensheid? Is de robot een kans voor de mensheid of juist een bedreiging? Als het om precisie gaat, dan zijn robots veel beter dan mensen en kan de robot het leven van de mens verrijken. Echter, elk voordeel heeft ook weer een nadeel, want het zou ook heel goed kunnen dat robots onze banen afpakken en dat daarmee de werkgelegenheid onder druk komt te staan. Om te voorkomen dat de robot een bedreiging voor onze samenleving wordt, ontwikkelde Isaac Asimov een aantal gedragsregels waaraan robots behoren te voldoen; de zogeheten drie wetten der Robotica:

1. Een robot mag een mens geen letsel toebrengen of laten overkomen;
2. Een robot moet door mensen gegeven orders uitvoeren, behalve als die orders in strijd zijn met de eerste wet;
3. Een robot moet zichzelf beschermen, voor zover dat niet in strijd is met de eerste en tweede wet.

Hoe kan je er altijd zeker van zijn dat de beslissingen die een robot neemt, de mens geen letsel toebrengt? Het volgende filmpje geeft in ieder geval aan dat het met een zelfrijdende auto ook faliekant mis kan gaan, met een dodelijk slachtoffer als gevolg: Dodelijk ongeluk met zelfrijdende auto.
 
In de workshop werd er ook gediscussieerd over de morele dilemma’s van zelfsturende auto’s. Op moralmachine.mit.edu kun je een test doen wat er precies moet gebeuren als bijvoorbeeld de remmen van een  zelfsturende auto het niet meer doen en voetgangers oversteken. Moeten de voetgangers overreden worden of moet de auto, met inzittende, tegen een betonnen roadblock zich te pletter rijden?
 
Het testen van robots
In de testwereld is de meest bekende ‘kwaliteitsstandaard’ de ISO25010. Als we kijken wat de impact van de zelflerende robots op de mensheid is, dan zijn de volgende kwaliteitsattributen van de ISO25010 waarop getest moet gaan worden heel belangrijk, namelijk: betrouwbaarheid en beveiligbaarheid. Als we de betrouwbaarheid willen testen, dan kunnen we bijvoorbeeld kijken naar de ‘foutbestendigheid’ van de robot; werkt de robot zoals bedoeld, ondanks de aanwezigheid van hard- of softwarefouten. Gaan we de beveiligbaarheid testen, dan kan de ‘vertrouwelijkheid’ van de robot onder de loep worden genomen; kortgezegd in welke mate is de robot ‘hackbaar’.
 
Tijdens de workshop kwamen volgende bullets aan de orde als we zelflerende robots gaan testen:

• Wat is het verwachte gedrag (of: welk gedrag van de robot kunnen we verwachten)?
• In hoeverre beïnvloeden we zelflerende robots door ze te testen (de mens als trainer van de robot)?
• Invloeden vanuit de fysieke wereld?
• Testen van gewenst gedrag versus uitsluiten van ongewenst gedrag?

De vraag die in de workshop voornamelijk aan de orde kwam, was: hoe kun je van een zelflerende robot het gewenste gedrag gaan testen? Betekent dit dan dat we de input moeten gaan beperken om het gewenste gedrag beter te kunnen voorspellen of is dat domweg niet mogelijk? Hebben we altijd te maken met de ‘Unknown knowns’, waardoor we ons meer moeten gaan focussen op het uitsluiten van ongewenst gedrag van de robot? Hoe we een robot moeten gaan testen, leverde tijdens de workshop interessante discussies op met uiteenlopende ideeën en meningen. Eén ding werd mij wel duidelijk tijdens de sessie: over het op een adequate wijze testen van zelflerende robots is het laatste woord nog niet gezegd en geschreven.
 
Tot slot
Met de toename van het aantal robots in onze samenleving de komende jaren, staan we voor grote uitdagingen. Vraag is of wij als testersgilde tot een vorm van testen kunnen komen, zodat wij garantie kunnen geven of een zelflerende robot betrouwbaar en veilig is. Het zal een enorme uitdaging worden om dat voor elkaar te krijgen. Ik vond deze workshop heel erg boeiend en het heeft mij veel stof tot nadenken gegeven. Door de tip tijdens de workshop om de film Ex-machina te gaan kijken ben ik alleen nog meer gefascineerd geraakt voor dit onderwerp. Ten slotte voorspelde Rik dat robots binnen twintig à dertig jaar zelf robots kunnen maken. Hij en wij hopen dit nog te beleven, we zijn benieuwd!
 
Bedankt Bart & Rik voor deze inspirerende avond!
 
Presentatie Thema-avond ‘De robots komen’