Tagarchief: Controlemechanismen

Algoritmes als een goochelshow; supergaaf maar onbegrijpelijk

(Blog verschenen in serie Beschaafde Bits op Website Rathenau Instituut op 18 mei 2018)

In het hilarische schoolreisje van Jochem Myjer uit zijn show Yeee-Haa! voert hij plattelandsjongen Harm ten tonele. Harm snapt er allemaal niet veel van: zijn leven is als een voorstelling van Hans Klok. Hij vindt het prachtig, maar begrijpt er niets van. Zijn standaarduitdrukking luidt dan ook: ‘Ik begrijp er niks van’.

Computerwetenschapper Joseph Weizenbaum schreef al in 1976 in zijn boek ‘Computer Power And Human Reason, from judgement to calculation’ dat wij kunstmatige intelligentie met te veel ontzag en geloof benaderen terwijl we het niet begrijpen. Hij kwam tot die conclusie na de reacties op zijn publicatie over zijn ELIZA-experiment, uitgevoerd tussen 1964 en 1966. Weizenbaum maakte iets dat we nu een chatbot zouden noemen: een programma waarmee een mens kon communiceren met de computer. Hij koos voor een parodie; de computer zou net als een ‘echte’ therapeut vragen herhalen of een tegenvraag stellen. Dat leidde bijvoorbeeld tot het volgende gesprek:

Men are all alike.

ELIZA: IN WHAT WAY

They’re always bugging us about something or other.

ELIZA: CAN YOU THINK OF A SPECIFIC EXAMPLE

Well, my boyfriend made me come here.

ELIZA: YOUR BOYFRIEND MADE YOU COME HERE

He says I’m depressed much of the time.

ELIZA: I AM SORRY TO HEAR YOU ARE DEPRESSED

Voor Weizenbaum was het overduidelijk dat alleen een persoon een andere persoon kan helpen met het oplossen van emotionele problemen. Maar tot zijn grote verbazing werd ELIZA door de buitenwereld zeer enthousiast ontvangen. Op diverse universiteiten werden kopieën gemaakt van het programma en het kreeg landelijke bekendheid. Groot was de schok van Weizenbaum dat juist psychiaters geloofden dat het computerprogramma uitgebouwd kon worden tot vrijwel volledig geautomatiseerde psychotherapie.

Weizenbaum observeerde ook iets anders: mensen die gebruik maakten van ELIZA raakten aan de gesprekken verknocht en dichtten het systeem menselijke eigenschappen toe; zelfs zijn secretaresse, die hem had zien bouwen aan het script, vroeg hem de kamer te verlaten om even privé te kunnen converseren. Terwijl Weizenbaum precies het tegendeel wilde bewijzen, zagen mensen in ELIZA het bewijs dat de computer onze taal kan begrijpen terwijl hij juist het tegendeel had proberen over te brengen.

Het bracht hem tot de observatie dat de mens, hoogopgeleid of laagopgeleid, overdreven kwaliteiten toedicht aan een technologie die hij niet begrijpt. Dit vond hij ernstig, omdat hij van mening was dat sommige dingen te belangrijk zijn om aan de computer over te laten.

Niet de ambtenaar bepaalt, maar de computer

Sinds de tijd van Weizenbaum gebruikt de overheid kunstmatige intelligentie (of AI, artificiële intelligentie) om besluiten te nemen. Niet de ambtenaar bepaalt het recht op een uitkering of de hoogte van de verkeersboete, maar de computer. Ik wilde onderzoeken hoe de wet wordt omgezet in instructies aan de computer. Maar als ik al stukken te zien kreeg dan begreep ik daar net als Harm, helemaal niets van.

Ik kwam daarom tot de conclusie dat bij het geautomatiseerd nemen van besluiten, niet duidelijk is hoe de overheid de wet heeft geïnterpreteerd. Ik kon niet onderzoeken of dit goed is gegaan en welke keuzes er zijn gemaakt. Hierdoor is de rechtsbescherming voor burgers afgenomen. De burger en ook de rechter weten niet waarom de computer tot zijn besluit komt.

Hoe sterk zijn controlemechanismen nog?

De essentie van de toets door de rechter is dat er een gesprek wordt gevoerd over de redenering die de overheid heeft gehanteerd. Dit mechanisme kennen we uit de analoge samenleving: als de overheid handelingen verricht (subsidies geeft, mensen fouilleert of een kapvergunning verleent) zijn deze onderwerp van tal van controlemechanismen. Mensen kunnen bezwaar maken, een klacht indienen, een stapje hoger zetten en hun zaak voorleggen aan de Nationale of gemeentelijke ombudsman en de rechter. Bovendien moet het dagelijks bestuur over de uitvoering van zijn taken verantwoording afleggen aan het democratisch gelegitimeerde bestuur, zoals de gemeenteraad of de Tweede Kamer.

Maar hoe sterk zijn deze controlemechanismen nog als er gebruik wordt gemaakt van algoritmes? De komende jaren zal dit een hele relevante vraag worden voor de relatie tussen overheid en burger, maar ook voor de relatie tussen de uitvoerende macht en rechtsprekende macht. Misschien moeten er nieuwe mechanismen gezocht worden of moeten algoritmes zichzelf gaan uitleggen, wie het weet mag het zeggen.

Het begint met het afstappen van ons geloof in een slim algoritme dat alleen maar goede dingen doet. Want wat als het allemaal toch niet zo slim is? Of als de black box volledig leeg blijkt te zijn? Om met de woorden van Weizenbaum af te sluiten; laten we stoppen met ‘sloppy thinking’ en ook dingen die we niet begrijpen kritisch bekijken.