Categorie archief: Artificiele Intelligentie

Algoritmes en besluiten bij de overheid. Wat heeft het Franse bestuursrecht wat wij niet hebben?

Openbrief aan de Tweede Kamer, commissie BZK-digitalisering, ook verschenen als blog op openrecht.nl  

De overheid moet met z’n tijd mee. Gezien de forse taakstellingen waar de overheid voor staat is het niet verwonderlijk dat reikhalzend wordt gekeken naar veelbelovende nieuwe technologieën.

Hierdoor verandert de uitvoering van wettelijke taken en ook de rechtsbescherming voor burgers. Het is mede aan u of u die verandering op zijn beloop laat of dat u wilt ingrijpen of bijsturen. Soms lijkt het erop dat het niet zozeer een kwestie lijkt van niet willen reguleren, maar meer een kwestie van niet weten hoe. Er wordt dan zeer bedenkelijk gekeken, met hoofden geschud en gezegd dat we daar nog maar eens over moeten nadenken of een onderzoek moeten afwachten.

Maar zo ingewikkeld hoeft het allemaal niet te zijn. Ik wil u graag wijzen op Frankrijk. Frankrijk heeft zich al gebogen over algoritmische rechtstoepassing door de overheid en de bescherming van burgers. Hier kunnen we ons voordeel mee doen. Misschien zelfs ook voor het domein buiten de overheid.

 

france-1936142_640

Wat is er geregeld?
Ten eerste geldt dat als de overheid een besluit neemt op basis van een algoritmische behandeling (sur le fondement d’un traitement algorithmique), dit moet worden meegedeeld aan de belanghebbende. Zie artikel L 311-3-1 Code des relations entre le public et l’administration, toegevoegd door artikel 4 van de Loi pour une Republique numerique, Loi n° 2016-1321.

Hoe deze mededeling moet luiden is nader ingevuld. Zo moet aan belanghebbende ook het doel worden benoemd dat wordt nagestreefd met het besluit en is bepaald dat belanghebbende recht heeft op informatie in begrijpelijke vorm over

– de mate waarin en de wijze waarop de algoritmen hebben bijgedragen aan de besluitvorming,

– welke gegevens gebruikt zijn en wat de bronnen daarvan zijn,

– wat de parameters zijn, hoe deze zijn gewogen en hoe deze in de situatie van de belanghebbende zijn toegepast en

– tot welke uitvoeringshandelingen de algoritmische behandeling heeft geleid.

Zie artikel R 311-3-1-2, Code des relations entre le public et d’administration, bij Décret van de minister-president, Décret n° 2017-330.

Vervolgens heeft de wetgever zich gebogen over de consequenties van artikel 22 Algemene verordening gegevens bescherming (AVG) voor het Franse bestuursrecht. Het wetsvoorstel dat daarover in de maak was, werd bediscussieerd en leidde tot het voorleggen van de geschilpunten aan de Conseil Constitutionel. Deze deed op 12 juni 2018 uitspraak, ECLI:FR:CC:2018:2018.765.DC.

De Conseil Constitutionel overwoog dat het voorstel in overeenstemming is met de Grondwet omdat de wet niet toestaat dat er regelgevende bevoegdheden aan de bestuursorganen wordt gegeven. Er wordt alleen toegestaan dat het bestuur een volledig geautomatiseerd besluit mag nemen dat gebaseerd is op regels en criteria die van tevoren door het bestuur zijn gedefinieerd (overweging 69).

De Conseil Constitutionel verduidelijkt vervolgens dat de verplichting dat het bestuur moet kunnen uitleggen hoe het algoritme werkt, ook een garantie vormt tegen het gebruik van ‘zelflerende’ algoritmen. Algoritmen dus die zelf de regels veranderen. Dit omdat de overheid die besluiten neemt enkel op basis van een algoritmische behandeling, deze algoritmen moet controleren en valideren (overweging 71).

Ook legt de Conseil Constitutionel uit dat als het bestuur in bepaalde gevallen een beroep mag doen op het geheimhouden van de werking van de algoritmes, dit ook betekent dat het bestuursorgaan het besluit niet alleen (meer) mag baseren op de algoritmische behandeling (overweging 70).

In artikel 21 van de Loi n° 2018-493 du 20 juin 2018 relative à la protection des données personnelles is vervolgens een belangrijke dimensie toegevoegd. Het ontbreken van de mededelingen op het besluit heeft een harde consequentie: het besluit verliest zijn geldigheid (à peine de nullité).

Ten slotte heeft de Franse wetgever bepaald dat wanneer de belanghebbende een rechtsmiddel inroept tegen een besluit (denk aan het maken van bezwaar) de behandeling en besluitvorming door de overheid niet alleen door een algoritme mag worden gedaan.

En daarmee doet Frankrijk iets waar ook in Nederland veel behoefte aan is; aanpassen en reguleren van nemen van besluiten door technologie via het algemeen bestuursrecht.

Frankrijk laat zien dat je er nog niet bent met alleen de AVG. Dit is ook logisch. Bestuursorganen nemen (eenzijdige) besluiten. Belanghebbenden die geraakt worden door een besluit genieten rechtsbescherming. Eigenlijk is het niet meer dan logisch dat de belanghebbende die een besluit krijgt dat op basis van een algoritmische behandeling is genomen, wordt geïnformeerd over de wijze van totstandkoming. Dit is veel specifieker dan de verplichtingen uit de AVG (artikel 13 en 14 AVG).

Overigens hebben we wel in Nederland richtinggevende uitspraken van de bestuursrechters, maar daarmee is het nog geen gemeengoed. Zie de Afdeling bestuursrechtspraak van de Raad van State 17 mei 2017, ECLI:NL:RVS:2017:1259 en Hoge Raad 17 augustus 2018, ECLI:NL:HR:2018:1316.

De ontwikkelingen gaan snel en de overheid zit niet stil. Frankrijk laat zien dat reguleren van het gebruik door wetgeving een optie is.

Het grote voordeel is de actieve informatieplicht per besluit en de verplichting om concreet te worden. Dit is nodig omdat het hier een toepassing betreft die juist als kenmerk heeft dat het zo verborgen is en onzichtbaar.

Het mooie van de Franse oplossing is bovendien dat het erop lijkt dat als het besluit weliswaar door een ambtenaar is genomen maar alleen doordat een algoritme deze persoon als een risicovolle burger heeft aangemerkt, dit ook moet worden meegedeeld.

Juridisch is dit te zien als het voorbereiden van een besluit. Maar omdat je als burger niet weet waarom jij in aanmerking komt voor een controle, weet je niet of dit wel in overeenstemming is met de regels.

Met deze oplossing, namelijk dat dit moet worden aangegeven op het besluit, kan de burger en de rechter deze voorbereidingshandelingen ook toetsen op naleving met de beginselen van behoorlijk bestuur en het verbod van discriminatie.

En het wordt nog beter: het Franse Etalab werkt aan de concrete adviezen voor Franse bestuursorganen. Ook deze zijn voor de Nederlandse bestuursorganen erg goed over te nemen.

Nu weet u ook wat het Franse bestuursrecht heeft, en wij niet. Het is immers aan ons mensen om te bepalen hoe wij technologie willen inzetten.

Advertenties

Algoritmes als een goochelshow; supergaaf maar onbegrijpelijk

(Blog verschenen in serie Beschaafde Bits op Website Rathenau Instituut op 18 mei 2018)

In het hilarische schoolreisje van Jochem Myjer uit zijn show Yeee-Haa! voert hij plattelandsjongen Harm ten tonele. Harm snapt er allemaal niet veel van: zijn leven is als een voorstelling van Hans Klok. Hij vindt het prachtig, maar begrijpt er niets van. Zijn standaarduitdrukking luidt dan ook: ‘Ik begrijp er niks van’.

Computerwetenschapper Joseph Weizenbaum schreef al in 1976 in zijn boek ‘Computer Power And Human Reason, from judgement to calculation’ dat wij kunstmatige intelligentie met te veel ontzag en geloof benaderen terwijl we het niet begrijpen. Hij kwam tot die conclusie na de reacties op zijn publicatie over zijn ELIZA-experiment, uitgevoerd tussen 1964 en 1966. Weizenbaum maakte iets dat we nu een chatbot zouden noemen: een programma waarmee een mens kon communiceren met de computer. Hij koos voor een parodie; de computer zou net als een ‘echte’ therapeut vragen herhalen of een tegenvraag stellen. Dat leidde bijvoorbeeld tot het volgende gesprek:

Men are all alike.

ELIZA: IN WHAT WAY

They’re always bugging us about something or other.

ELIZA: CAN YOU THINK OF A SPECIFIC EXAMPLE

Well, my boyfriend made me come here.

ELIZA: YOUR BOYFRIEND MADE YOU COME HERE

He says I’m depressed much of the time.

ELIZA: I AM SORRY TO HEAR YOU ARE DEPRESSED

Voor Weizenbaum was het overduidelijk dat alleen een persoon een andere persoon kan helpen met het oplossen van emotionele problemen. Maar tot zijn grote verbazing werd ELIZA door de buitenwereld zeer enthousiast ontvangen. Op diverse universiteiten werden kopieën gemaakt van het programma en het kreeg landelijke bekendheid. Groot was de schok van Weizenbaum dat juist psychiaters geloofden dat het computerprogramma uitgebouwd kon worden tot vrijwel volledig geautomatiseerde psychotherapie.

Weizenbaum observeerde ook iets anders: mensen die gebruik maakten van ELIZA raakten aan de gesprekken verknocht en dichtten het systeem menselijke eigenschappen toe; zelfs zijn secretaresse, die hem had zien bouwen aan het script, vroeg hem de kamer te verlaten om even privé te kunnen converseren. Terwijl Weizenbaum precies het tegendeel wilde bewijzen, zagen mensen in ELIZA het bewijs dat de computer onze taal kan begrijpen terwijl hij juist het tegendeel had proberen over te brengen.

Het bracht hem tot de observatie dat de mens, hoogopgeleid of laagopgeleid, overdreven kwaliteiten toedicht aan een technologie die hij niet begrijpt. Dit vond hij ernstig, omdat hij van mening was dat sommige dingen te belangrijk zijn om aan de computer over te laten.

Niet de ambtenaar bepaalt, maar de computer

Sinds de tijd van Weizenbaum gebruikt de overheid kunstmatige intelligentie (of AI, artificiële intelligentie) om besluiten te nemen. Niet de ambtenaar bepaalt het recht op een uitkering of de hoogte van de verkeersboete, maar de computer. Ik wilde onderzoeken hoe de wet wordt omgezet in instructies aan de computer. Maar als ik al stukken te zien kreeg dan begreep ik daar net als Harm, helemaal niets van.

Ik kwam daarom tot de conclusie dat bij het geautomatiseerd nemen van besluiten, niet duidelijk is hoe de overheid de wet heeft geïnterpreteerd. Ik kon niet onderzoeken of dit goed is gegaan en welke keuzes er zijn gemaakt. Hierdoor is de rechtsbescherming voor burgers afgenomen. De burger en ook de rechter weten niet waarom de computer tot zijn besluit komt.

Hoe sterk zijn controlemechanismen nog?

De essentie van de toets door de rechter is dat er een gesprek wordt gevoerd over de redenering die de overheid heeft gehanteerd. Dit mechanisme kennen we uit de analoge samenleving: als de overheid handelingen verricht (subsidies geeft, mensen fouilleert of een kapvergunning verleent) zijn deze onderwerp van tal van controlemechanismen. Mensen kunnen bezwaar maken, een klacht indienen, een stapje hoger zetten en hun zaak voorleggen aan de Nationale of gemeentelijke ombudsman en de rechter. Bovendien moet het dagelijks bestuur over de uitvoering van zijn taken verantwoording afleggen aan het democratisch gelegitimeerde bestuur, zoals de gemeenteraad of de Tweede Kamer.

Maar hoe sterk zijn deze controlemechanismen nog als er gebruik wordt gemaakt van algoritmes? De komende jaren zal dit een hele relevante vraag worden voor de relatie tussen overheid en burger, maar ook voor de relatie tussen de uitvoerende macht en rechtsprekende macht. Misschien moeten er nieuwe mechanismen gezocht worden of moeten algoritmes zichzelf gaan uitleggen, wie het weet mag het zeggen.

Het begint met het afstappen van ons geloof in een slim algoritme dat alleen maar goede dingen doet. Want wat als het allemaal toch niet zo slim is? Of als de black box volledig leeg blijkt te zijn? Om met de woorden van Weizenbaum af te sluiten; laten we stoppen met ‘sloppy thinking’ en ook dingen die we niet begrijpen kritisch bekijken.