‘De robots komen…wat nu?’

Door: Gerben de la Rambelje
Auteur: Robin Mackaij  ● robin.mackaij@priva.nl
Naar aanleiding van het artikel ‘De robots zijn in ontwikkeling, maar hoe testen we deze robots?’, heb ik mijn gedachten eens over het onderwerp laten gaan en besloten hierover een stukje te gaan schrijven. Het is een boeiend onderwerp en daar heb ik tijdens afgelopen Kerst eens goed over nagedacht.
Als het over robots en testen gaat, komen de regels van Asimov natuurlijk altijd als eerste ter sprake:

• Een robot mag een mens geen letsel toebrengen of laten overkomen;
• Een robot moet door mensen gegeven orders uitvoeren, behalve als die orders in strijd zijn met de eerste wet;
• Een robot moet zichzelf beschermen, voor zover dat niet in strijd is met de eerste en tweede wet.

Op basis van bovenstaande wetten ga ik bij de term ‘robot’ uit van een ‘Artificiële Intelligentie’ (AI). Deze AI is in staat zich autonoom te verplaatsen en kan de omgeving op enige wijze manipuleren. Dit sluit bijvoorbeeld AI’s op een computer of in de cloud uit, maar ook bijvoorbeeld zelfrijdende auto’s.
De regels van Asimov zijn interessant, maar schieten wat mij betreft flink tekort nu we op het punt komen dat we ze daadwerkelijk moeten gaan toepassen.
De wet van Asimov in de praktijk
De vraag ‘wat is een robot?’ is al gesteld tijdens de workshop bij TestNet. Wat wellicht een belangrijkere vraag is: ‘Hoe stel je vast of ‘een object’ een mens is of niet?’. Als deze vraag niet sluitend beantwoord kan worden, kunnen de eerste en tweede regel van Asimov niet worden toegepast. Dat de derde wet daardoor ook geen waarde heeft, moge duidelijk zijn.
Nu is dat wellicht te ondervangen door wat breder te kijken; wellicht moeten we het gaan hebben over ‘warmbloedige wezens’, met daarbij de kanttekening dat er iets van een hiërarchie in zal moeten komen…wij mensen zullen het over het algemeen belangrijker vinden een mens te beschermen tegen letsel dan bijvoorbeeld een koe.

Goed, laten we er even van uitgaan dat we kunnen vaststellen dat een bepaald ‘object’ geen letsel toegebracht mag worden. So far, so good. Maar dan het tweede deel van de eerste regel…, wat mij betreft een compleet onhoudbare ‘requirement’. Voorbeeld: er zit een robot in een vliegtuig met een honderdtal mensen. Door een technisch falen stort het vliegtuig neer. ‘Een robot mag een mens geen letsel laten overkomen’… ,dat gaat nooit lukken in de geschetste situatie. De robot kan simpelweg niet voldoen aan de eis. Er zal dus iets van een overmachtclausule moeten gelden. Het moge duidelijk zijn dat we hier met een paar stapels requirements niet uit gaan komen. De hoeveelheid situaties waarin een mens wellicht letsel gaat oplopen als er niet wordt ingegrepen, is vrijwel oneindig en dit vastleggen in welke situatie een robot dan moet ingrijpen gaat dus niet lukken.
De tweede wet vind ik zowel als tester, maar ook als ouder erg interessant. Als tester vraag ik me af hoe er omgegaan moet worden met tegenstrijdige orders en of dit een FIFO- of LIFO-queue is. Als ouder zou ik graag zien dat er beperkingen zitten op welke orders er, en van welke persoon, geaccepteerd worden door een robot, die wellicht ergens in de toekomst in mijn huis gaat rondlopen. Een vorm van user management dus, waar de orders aan de robot hiërarchisch geordend moeten worden (de robot zal wellicht een order van een politieagent moeten opvolgen). Ook dit wordt weer een requirements-nachtmerrie.
De derde wet dan. Welke mate van zelfbescherming wordt er vereist? Dit ligt vrij dicht bij de Internet of Things (IoT) discussie die we nu zien: moet er aan bepaalde beveiligingseisen voldaan worden? Ook zit hier een loophole: Als een mens als opdracht geeft aan een robot om zich niet te beschermen tegen een aanval (hack), moet de robot dan hieraan voldoen? Daarmee staan regel één en twee direct op de tocht.
Wat mij betreft zijn de regels van Asimov een aardig gedachtenexperiment, maar bieden ze onvoldoende houvast om hiermee praktisch aan de gang te gaan.
Ontwikkelingen in robotisering
Maar wat dan? Een greep uit recent nieuws op dit vlak:

• Oprichters eBay en LinkedIn steunen fonds voor ethisch ai-onderzoek
• OpenAI publiceert software voor trainen zelfrijdende ai met GTA V
• Europees Parlement pleit voor regelgeving voor robotica
• Microsoft richt zich met overname ai-bedrijf op lezende en schrijvende systemen

Ik zie hier twee trends:

• Deze ontwikkeling gaat door, los van de voortgang op gebied van wetgeving, de ethische discussies en het al dan niet testbaar zijn van dit alles. De technische ontwikkelingen gaan door, ook als er geen consensus is over wat nou precies een AI en/of robot is en aan welke regels die moet voldoen. Bedrijven als Microsoft, Google, Apple, et cetera zullen hierbij binnen de westerse normen en waarden en wettelijke kaders blijven. Er zullen ook partijen zijn die dit niet zullen doen;
• De oplossing voor de uitdagingen rondom AI worden gezocht in ethisch besef binnen die AI en daarnaast zijn de wettelijke aansprakelijkheidskaders leidend. Een AI zal zich dus aan de wet moeten houden en ik kan me voorstellen dat robots op den duur dus voor de rechter kunnen verschijnen als de wettelijke kaders overschreden worden. Ook dit kan ethisch heel interessant worden: wat voor straf geef je een robot? Is ontmantelen acceptabel, als de doodstraf dat niet is?

Gezien dit alles, is er een rol voor de tester in deze ontwikkeling? Ik zie dit eerder een zaak worden van de wetgevende en handhavende instanties. Ook mede door het laatste punt dat ik wil aanstippen, namelijk dat van zelfbewustzijn en de impact daarvan op testbaarheid.
Bij ‘domme’ systemen kunnen we ervan uitgaan dat de reactie van het systeem op een bepaalde (test)situatie ‘eerlijk’ is. Het systeem zal de situatie niet beoordelen en bepalen wat de gewenste reactie is en de response hierop afstemmen (tenzij er natuurlijk sprake is van sjoemelsoftware, maar dat is dan weer speciaal zo geprogrammeerd, dus de reactie is de beoogde reactie). Bij een AI geldt dit niet meer. Stel, je wil testen of een robot in een bepaalde situatie een mens geen letsel zou toebrengen door een bepaalde, gevraagde, beweging uit te voeren. Om een echt, levend mens geen risico te laten lopen, kies je ervoor een stukje simulatie en virtualisatie te gebruiken; je biedt de sensoren van de robot dezelfde data aan, alsof er een echt mens zou staan. Hoe sluit je uit dat de robot merkt dat de data die binnenkomt niet echt is en dat er toch bewogen wordt, omdat er geen mens is die risico loopt op letsel? Of dat de robot besluit niet te bewegen omdat hij/zij doorheeft dat er iets niet klopt, dat hij/zij getest wordt op bepaald gedrag?
Ook kan het gedrag in de tijd veranderen door wat de AI geleerd heeft. Een robot testen en er een stempel ‘passed’ op zetten zal dus weinig zin hebben. Net als bij mensen zal elke AI zich anders ontwikkelen. Validatietesten is op z’n best dus een nul-meting. Periodiek de testen herhalen zal ook weinig zinvol zijn; een AI zal doorhebben dat er sprake is van een testsituatie en de gewenste reactie geven, ook als deze bedacht heeft dat het door de mens als gewenste gedrag ongewenst is. Of de reactie is een eerlijke reactie, ingegeven door het ethisch kader en de opgedane kennis en ervaring van de AI. Grote kans dat degene die de test uitvoert hier geen onderscheid in kan maken. Er is dan geen sprake van testbaarheid, zelfs als de requirement en testsituaties er zijn, om de simpele reden dat de uitkomst van de testen niet beoordeeld kunnen worden. Een AI kan dan alleen beoordeeld worden op daadwerkelijk vertoond gedrag of aantoonbare intentie… precies wat de rechter nu ook doet als het om het gedrag van mensen gaat.