Aandacht voor rechtsbescherming bij geautomatiseerde ketenbesluiten

Toen ik jaren geleden begon met mijn onderzoek naar Geautomatiseerde ketenbesluiten en rechtsbescherming, vertelde ik andere mensen natuurlijk enthousiast over mijn onderwerp. Vaak kreeg ik dan wat glazige blikken, een schouderklopje en de geruststelling ‘die is voorlopig even van de straat’. Juristen begrepen er nog het minst van. Ik denk dat dat komt om 2 redenen.

Mijn onderzoek ging over besluiten van een computer, een fenomeen waar men liever niet aan denkt. Dat sommige juridische beslissingen al sinds de jaren ’70 door computers werden genomen en dat de overheid hierdoor compleet veranderd is, speelt nauwelijks een rol in de juridische beleving van de praktijk. Dit komt ook omdat juristen vaak alleen geconfronteerd worden met conflicten. Als een burger het niet eens is met een besluit gaat hij in bezwaar of dient hij een klacht in, en juist dan komt er weer een mens aan te pas. Daardoor blijft de start, het computerbesluit, vaak wat onzichtbaar.

Ten tweede gaat mijn onderzoek over besluiten die gaan over geld. Rechtsbescherming en geld ligt altijd wat gecompliceerd. Het omhakken van een verkeerde boom, onterecht een verblijfsvergunning weigeren zijn handelingen die onomkeerbaar zijn en die vervolgens ter genoegdoening in geld worden uitgedrukt. Daarvan weet iedereen dat het maar een ‘next best’ oplossing is. Beter was de fout niet gemaakt.

Maar geld is al geld, dus als er iets fout gaat, ach, dan verrekenen we het, en is alles weer goed. Inmiddels weten we dat dit anders ligt, ook voor conflicten tussen de overheid en de burger. De tv-serie Schuldig en het werk van Jesse Frederik maken dat we zicht hebben gekregen op de ontwrichtende werking van geld, of beter het ontbreken daarvan. Iemand die een tijd lang ten onrechte geen geld krijgt en na een half jaar weer wel, wordt vaak niet gecompenseerd voor alle neveneffecten die optreden. Het niet kunnen betalen van de huur, het oplopen van schulden en de extra incassokosten. Het idee dat geschillen over geld minder boeiend zijn, zien we ook terug in de Algemene wet bestuursrecht. Er gelden minder zware voorbereidingseisen voor de overheid bij besluiten over geld (artikel 4:12 Awb).

En toen: was het onderzoek af!

Het was dan ook een vreemde gewaarwording om na al die tijd van relatieve inhoudelijke eenzaamheid, te zien dat er aandacht kwam voor het onderzoek en voor de conclusies. Er werden zelfs kamervragen gesteld over mijn proefschrift en er kwamen Antwoorden !

Maatschappelijke aandacht voor de resultaten van je onderzoek is niet de reden waarom je een wetenschappelijk onderzoek verricht, maar het is wel mooie mazzel als het gebeurt. Hoe mooi zou het zijn als de rechtsbescherming ook nog daadwerkelijk verbetert!

Hier een overzicht van het onderzoek in de media:

agconnect

Katholiek Nieuwsblad 16 februari 2018 pagina 7

 

in iBestuur

Prof. Prins over mijn onderzoek in NJB Vooraf

SC: Document_uit_27547259-2

Op Univers.nl en een interview in iBestuur

In artikel van NRC 

en  Financieel dagblad 

Advertenties

Algoritmes als een goochelshow; supergaaf maar onbegrijpelijk

(Blog verschenen in serie Beschaafde Bits op Website Rathenau Instituut op 18 mei 2018)

In het hilarische schoolreisje van Jochem Myjer uit zijn show Yeee-Haa! voert hij plattelandsjongen Harm ten tonele. Harm snapt er allemaal niet veel van: zijn leven is als een voorstelling van Hans Klok. Hij vindt het prachtig, maar begrijpt er niets van. Zijn standaarduitdrukking luidt dan ook: ‘Ik begrijp er niks van’.

Computerwetenschapper Joseph Weizenbaum schreef al in 1976 in zijn boek ‘Computer Power And Human Reason, from judgement to calculation’ dat wij kunstmatige intelligentie met te veel ontzag en geloof benaderen terwijl we het niet begrijpen. Hij kwam tot die conclusie na de reacties op zijn publicatie over zijn ELIZA-experiment, uitgevoerd tussen 1964 en 1966. Weizenbaum maakte iets dat we nu een chatbot zouden noemen: een programma waarmee een mens kon communiceren met de computer. Hij koos voor een parodie; de computer zou net als een ‘echte’ therapeut vragen herhalen of een tegenvraag stellen. Dat leidde bijvoorbeeld tot het volgende gesprek:

Men are all alike.

ELIZA: IN WHAT WAY

They’re always bugging us about something or other.

ELIZA: CAN YOU THINK OF A SPECIFIC EXAMPLE

Well, my boyfriend made me come here.

ELIZA: YOUR BOYFRIEND MADE YOU COME HERE

He says I’m depressed much of the time.

ELIZA: I AM SORRY TO HEAR YOU ARE DEPRESSED

Voor Weizenbaum was het overduidelijk dat alleen een persoon een andere persoon kan helpen met het oplossen van emotionele problemen. Maar tot zijn grote verbazing werd ELIZA door de buitenwereld zeer enthousiast ontvangen. Op diverse universiteiten werden kopieën gemaakt van het programma en het kreeg landelijke bekendheid. Groot was de schok van Weizenbaum dat juist psychiaters geloofden dat het computerprogramma uitgebouwd kon worden tot vrijwel volledig geautomatiseerde psychotherapie.

Weizenbaum observeerde ook iets anders: mensen die gebruik maakten van ELIZA raakten aan de gesprekken verknocht en dichtten het systeem menselijke eigenschappen toe; zelfs zijn secretaresse, die hem had zien bouwen aan het script, vroeg hem de kamer te verlaten om even privé te kunnen converseren. Terwijl Weizenbaum precies het tegendeel wilde bewijzen, zagen mensen in ELIZA het bewijs dat de computer onze taal kan begrijpen terwijl hij juist het tegendeel had proberen over te brengen.

Het bracht hem tot de observatie dat de mens, hoogopgeleid of laagopgeleid, overdreven kwaliteiten toedicht aan een technologie die hij niet begrijpt. Dit vond hij ernstig, omdat hij van mening was dat sommige dingen te belangrijk zijn om aan de computer over te laten.

Niet de ambtenaar bepaalt, maar de computer

Sinds de tijd van Weizenbaum gebruikt de overheid kunstmatige intelligentie (of AI, artificiële intelligentie) om besluiten te nemen. Niet de ambtenaar bepaalt het recht op een uitkering of de hoogte van de verkeersboete, maar de computer. Ik wilde onderzoeken hoe de wet wordt omgezet in instructies aan de computer. Maar als ik al stukken te zien kreeg dan begreep ik daar net als Harm, helemaal niets van.

Ik kwam daarom tot de conclusie dat bij het geautomatiseerd nemen van besluiten, niet duidelijk is hoe de overheid de wet heeft geïnterpreteerd. Ik kon niet onderzoeken of dit goed is gegaan en welke keuzes er zijn gemaakt. Hierdoor is de rechtsbescherming voor burgers afgenomen. De burger en ook de rechter weten niet waarom de computer tot zijn besluit komt.

Hoe sterk zijn controlemechanismen nog?

De essentie van de toets door de rechter is dat er een gesprek wordt gevoerd over de redenering die de overheid heeft gehanteerd. Dit mechanisme kennen we uit de analoge samenleving: als de overheid handelingen verricht (subsidies geeft, mensen fouilleert of een kapvergunning verleent) zijn deze onderwerp van tal van controlemechanismen. Mensen kunnen bezwaar maken, een klacht indienen, een stapje hoger zetten en hun zaak voorleggen aan de Nationale of gemeentelijke ombudsman en de rechter. Bovendien moet het dagelijks bestuur over de uitvoering van zijn taken verantwoording afleggen aan het democratisch gelegitimeerde bestuur, zoals de gemeenteraad of de Tweede Kamer.

Maar hoe sterk zijn deze controlemechanismen nog als er gebruik wordt gemaakt van algoritmes? De komende jaren zal dit een hele relevante vraag worden voor de relatie tussen overheid en burger, maar ook voor de relatie tussen de uitvoerende macht en rechtsprekende macht. Misschien moeten er nieuwe mechanismen gezocht worden of moeten algoritmes zichzelf gaan uitleggen, wie het weet mag het zeggen.

Het begint met het afstappen van ons geloof in een slim algoritme dat alleen maar goede dingen doet. Want wat als het allemaal toch niet zo slim is? Of als de black box volledig leeg blijkt te zijn? Om met de woorden van Weizenbaum af te sluiten; laten we stoppen met ‘sloppy thinking’ en ook dingen die we niet begrijpen kritisch bekijken.

Automated administrative decisions and the law.

The execution of laws is in many countries in the ‘hands’ of computers. Instead of civil servants, it is the computer that applies rules, calculates and executes the decision. I would like to share information on these executions and the legal regulations all over the world. That’s why I am busy with a new website. Do take a look and contribute! We can build our own network of experts and exchange valuable information!

https://automatedadministrativedecisionsandthelaw.wordpress.com

Stellingen Marlies van Eck bij proefschrift

Stellingen behorend bij proefschrift Geautomatiseerde ketenbesluiten & rechtsbescherming, B.M.A. (Marlies) van Eck

  1. De juistheid van de gegevens die worden vastgelegd in basisregistraties zal eerder verminderen dan verbeteren op het moment dat de administratieve weergave van de feiten belangrijker wordt dan de feiten zelf.
  2. Het is een merkwaardige omissie in de Nederlandse geschiedenislessen dat de Franse revolutie wel wordt onderwezen, maar de exclusiviteit van de rechten en vrijheden voor mannen en de daartegen strijdende Olympe de Gouges volkomen worden genegeerd.bird-feather-2505307_1920
  3. Iedereen die denkt dat het systeem er is voor de mens, zou eens zes weken als patiënt in een ziekenhuis moeten doorbrengen.
  4. Een ketensamenwerking brengt de plicht met zich mee om ook samen te werken aan een oplossing voor burgers die last ondervinden van de samenwerking.
  5. Gelet op de moeite die Word heeft met plakken, voetnotennummering, verschillende werkomgevingen en versies, zijn geautomatiseerde ketenbesluiten een technologisch wonder.
  6. Het onthouden van pijnbestrijding aan barende vrouwen is een schending van de mensenrechten.
  7. Dat een computer geen onderscheid kan maken als dat niet is geïnstrueerd, is zijn grootste kwaliteit en tegelijk zijn grootste nadeel.
  8. De overheid die belastingwetgeving inzet om bepaald gedrag te stimuleren moet zich niet beklagen over calculerende burgers.
  9. Het alomvattende gebruik van informatietechnologie door de overheid en de daardoor veranderde machtsverhoudingen, lijkt anno 2018 nog altijd niet doorgedrongen tot de bestuursrechtwetenschap.
  10. Gezien het gezegde dat het betalen van belastingen een van de twee zekerheden is in een mensenleven, is het vreemd dat in het belastingrecht niet de rechtsbetrekking centraal staat.
  11. Om de rechtsbescherming voor burgers tegen geautomatiseerde ketenbesluiten te verbeteren is het nodig dat de instructies aan de computer, tegelijk met het besluit bekend worden gemaakt en toegankelijk zijn.
  12. Omdat niet kan worden overzien welke gevolgen het doorwerken van een geautomatiseerd ketenbesluit bij een ander bestuursorgaan heeft voor de individuele burger, zou er door alle betrokken bestuursorganen standaard een alternatief moeten worden geboden.

Muziek over computerbesluiten van de overheid

Veel artiesten hebben zich al laten inspireren door computerbesluiten van de overheid, automatisering en keteninformatisering. Dit zijn zonder twijfel de belangrijkste nummers uit de muziek:

1. DE smartlap over automatisering staat op naam van Marc Winter met ‘De overwegwachter‘ ‘Toen kwam een korte brief waarin hij las, dat hij niet langer nodig was. Hij werd vervangen door een automaat, en zo stond hij toen plotseling op straat.

marc winter

2. Jamiroquai neemt de popmuziek voor zijn rekening met Automaton.

3. Over keteninformatisering waarschuwde Diana Ross al voordat het bestond in Chain Reaction

4. Katy Perry houdt ons met Chained To The Rhythm een spiegel voor omdat we eigenlijk allemaal vastzitten in onze ketens.

4. De steeds terugkerende problemen voor mensen die te maken krijgen met een onjuist computerbesluit, zijn bezongen door Lenny Kravitz in It Ain’t Over Till It’s Over

Geautomatiseerde ketenbesluiten & rechtsbescherming

Op 9 februari 2018 zal ik mijn proefschrift Geautomatiseerde ketenbesluiten & rechtsbescherming verdedigen. Dit proefschrift gaat over computerbesluiten die de overheid neemt en de vraag of de burger genoeg bescherming krijgt als hij het niet eens is met het besluit. Iedereen krijgt wel eens een computerbesluit; over kinderbijslag, AOW, toeslagen, inkomstenbelasting, WOZ en motorrijtuigenbelasting en natuurlijk de boetes voor te hard rijden. Deze besluiten gaan vaak over geld. Een ander belangrijk kenmerk van deze uitvoering is dat de overheidsinstanties gebruik maken van informatie van ándere overheidsorganisaties. Dat is handig, want dan heeft iedereen hetzelfde overzicht. Maar soms pakt dit heel nadelig uit voor de burger: bijvoorbeeld als een gegeven onjuist is geregistreerd.( afbeelding Jiska de Waard)

Ik heb eerst in kaart gebracht welke normen we zouden kunnen gebruiken om te bepalen of de burger genoeg rechtsbescherming heeft. Hiervoor gebruik in Nederlandse beginselen en Europese, zoals het recht op ‘good administration’. Daarna heb ik onderzocht wat we uit andere onderzoeken al weten over deze praktijk. Vervolgens heb ik empirisch onderzoek verricht naar de praktijk van de overheid. Daarbij kon ik reconstrueren hoe de overheid het proces heeft geregeld en hoe men omgaat met problemen of ‘bureaucratische kortsluitingen’.

Uiteindelijk kon ik de conclusie opmaken. Die verklap ik natuurlijk nog niet.

Geautomatiseerde overheidsbesluiten, 22 AVG en 40 Wetsvoorstel Uitvoeringswet AVG

Geautomatiseerde overheidsbesluiten kennen we al jaren en staan niet al te zeer in de belangstelling. Toch ziet het naar uit dat de AVG een boost geeft aan (bestuursrecht)juristen om de vulpennen en hun papieren wetboeken even weg te leggen en te gaan nadenken over technologie. Privacyjuristen denken daar al jaren over na, maar zoals de Afdeling advisering van de Raad van State onomwonden duidelijk maakt: de uitvoering en naleving van privacywetgeving is van oudsher een probleem.

Op Privacy Paradise Island is alles koek en ei want afgedicht met wettelijke bepalingen, maar een teen in het water en dan blijken de zeedieren er heel anders over te denken. Er moet fraude worden bestreden, achterstanden (werkvoorraden) moeten worden weggewerkt en dienstverlening geoptimaliseerd. Daarbij speelt de Wbp nauwelijks een rol. Ook de belemmeringen die worden opgeworpen door bestuursrechters worden niet gegrond op de Wbp maar op artikel 8 EVRM (Hoge Raad over ANPR), verbod van discriminatie (CRvB over risicoprofielen) of op equality of arms (Afdeling bestuursrechtspraak van de Raad van State over AERIUS).

Dit geldt ook voor geautomatiseerde overheidsbesluiten. Al eerder vertelde ik dat het huidige artikel 42 Wbp een slapend bestaan leidt. Ik vermoed dat dit niet gaat veranderen door de komst van artikel 22 AVG in relatie tot het voorgestelde artikel 40 van het wetsvoorstel Uitvoeringswet AVG. Dat is ook niet erg. Rechtsbescherming tegen geautomatiseerde overheidsbesluiten moet ook los van privacywetgeving gegarandeerd worden.

Het is interessant dat de regering in reactie op het advies van de Afdeling Advies van de Raad van State (Kamerstuk 34851, nr. 4) en de Memorie van Toelichting (Kamerstuk 34851, nr. 3) daar al een paar voorzetten voor geeft. Hieronder ga ik in op de actuele stand van zaken over geautomatiseerde overheidsbesluiten in relatie tot 22 AVG en artikel 40 van het Wetsvoorstel Uitvoeringswet AVG (Kamerstuk 34851, nr.1-2). Daarna zal ik de door de regering geopperde waarborgen bij geautomatiseerde overheidsbesluiten bespreken.

Artikel 22 Avg en artikel 40 wetsvoorstel Uitvoeringswet AVG

In artikel 22 AVG is bepaald dat een betrokkene het recht heeft om niet te worden onderworpen aan een geautomatiseerd besluit, waaronder profilering. Hierop mag een uitzondering worden gemaakt als het besluit is toegestaan bij lidstaatrechtelijke bepaling die op de verwerkingsverantwoordelijke van toepassing is en die ook voorziet in passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene (artikel 22, tweede lid, onder b, AVG).

De Nederlandse wetgever wil invulling geven aan deze mogelijkheid met artikel 40 Uitvoeringswet AVG. De kerngedachte hiervoor is dat bij geautomatiseerde besluiten, anders dan die op basis van profilering, geen generieke kenmerken van een groep aan een persoon worden tegengeworpen. Er kan ook sprake zijn van geautomatiseerde individuele besluitvorming op basis van strikt individuele kenmerken, ‘bijvoorbeeld bij gebonden besluitvorming in het kader van het toekennen van bepaalde toeslagen.’ Ook geeft de wetgever aan dat voor alle overheidsbesluiten, ‘ook voor overheidsbesluiten op basis van geautomatiseerde besluitvorming’, de gebruikelijke bestuursrechtelijke rechtsbescherming openstaat.

De Afdeling advisering van de Raad van State heeft geen kritiek op deze keuze en het onderscheid tussen geautomatiseerde besluiten en geautomatiseerde besluiten gebaseerd op profilering, maar vindt het te mager om te constateren dat er rechtsbescherming openstaat. Volgens de Afdeling advisering is het de vraag of daarmee wordt voldaan aan 22, tweede lid, onder b, AVG dat vereist dat er alleen een uitzondering mag worden gemaakt als wettelijk is voorzien in passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene.

Als reden noemt de Afdeling dat in een geautomatiseerd besluitvormingsproces bepaalde persoonlijke omstandigheden doorgaans niet meegewogen kunnen worden. Ook kunnen de aan geautomatiseerde besluitvorming inherente automatismen onder omstandigheden leiden tot disprortionele gevolgen. Dit is een zeer terechte constatering.

Pikant is wel dat de Afdeling advisering verwijst naar de problematiek rond automatische boetes voor onverzekerde voertuigen en de onmogelijkheid die in dergelijke gevallen vaak bestaat om fouten met terugwerkende kracht terug te draaien. Het was immers die andere Afdeling van de Raad van State (Afdeling bestuursrechtspraak) die deze werkwijze lange tijd acceptabel achtte en pas door de rechtszaak van Romet bij het EHRM gedwongen werd tot een ander oordeel.

Mijn hart maakte een sprongetje door het gebruik van het woord onbillijk in het advies: ‘in die gevallen kunnen geautomatiseerde besluiten, anders dan de regering lijkt te veronderstellen, onbillijk uitvallen voor betrokkenen.’ Donner kon niet weten dat ik in mijn proefschrift over geautomatiseerde ketenbesluiten en rechtsbescherming, een grote plek heb ingeruimd voor het beginsel van fair play. Dit beginsel heeft een stevige Europese kant waarbij ‘fair’ soms wordt vertaald met ‘billijk’. Door meer te kijken naar fairness in de fase voorafgaand aan het besluit, kan ook rechtsbescherming worden geboden. Doorgaans spelen redelijkheid en billijkeid geen rol in het bestuursrecht, maar na de billijkheid komt de Afdeling ook nog met deze zin: ‘Naar het oordeel van de Afdeling kan een redelijke en zorgvuldige besluitvorming niet afhankelijk gemaakt worden van het al dan niet instellen van bezwaar of beroep.’ Small step? We zullen het gaan zien.

Voorzetten van regering voor waarborgen bij geautomatiseerde overheidsbesluiten

In reactie op het advies van de Afdeling advisering schrijft de regering dat de bescherming voor de burger die een geautomatiseerd overheidsbesluit krijgt, ook ligt in het zorgvuldigheids- en evenredigheidsbeginsel. Volgens de regering geldt ook los van de AVG de plicht om bij de inrichting van het geautomatiseerd proces grote zorgvuldigheid te betrachten. Dit kan bijvoorbeeld door ‘alle mogelijke scenario’s vooraf in kaart te brengen en waar nodig menselijke tussenkomst te borgen en hoe dan ook een nood(rem)voorziening te treffen voor onvoorziene gevallen waarin menselijke tussenkomst onverwacht toch nodig blijkt om de disproportionele gevolgen waar de Afdeling advisering op doelt te voorkomen’.

In de Memorie van Toelichting wordt de verwijzing naar het zorgvuldigheids-en evenredigheidsbeginsel herhaald met de opmerking dat betrokkene altijd (zij het achteraf) tegen een besluit kan opkomen. Ook wordt aangegeven dat de AVG al regelt dat het bestuursorgaan op grond van artikel 13, tweede lid, onderdeel f, onderscheidenlijk artikel 14, tweede lid, onderdeel g, van de verordening, aan de betrokkene ‘nuttige informatie’ moet verstrekken over ‘de onderliggende logica’ van de verwerking alsmede over het belang en de verwachte gevolgen van de verwerking voor de betrokkene in een vroeg stadium. Dit zal de uitvoering van bestuursorganen nog veel kopzorgen brengen.

Tot slot geldt voor geautomatiseerde individuele besluitvorming dat deze niet mogen worden gebaseerd op bijzondere categorieën van persoonsgegevens, tenzij dit geschiedt met uitdrukkelijke toestemming van de betrokkene of noodzakelijk is om redenen van zwaarwegend algemeen belang, en er passende maatregelen ter bescherming van de gerechtvaardigde belangen van de betrokkene zijn getroffen (artikel 22, vierde lid, van de verordening).

Persoonlijk ben ik zeer verheugd op de nadruk die de Raad van State en de regering leggen op de Awb als bron van passende waarborgen. Ik vermoed dat dit de bescherming van de individuele burger beter dient dan bepalingen in privacywetgeving, mede vanwege het geconstateerde gebrek aan belang van deze wetgeving in de dagelijkse uitvoeringspraktijk. Het zal niet genoeg zijn, maar daarover meer na het verschijnen van mijn proefschrift Geautomatiseerde ketenbesluiten & Rechtsbescherming op 9 februari 2018.

Extra waarborgen voor burgers bij het vervangen van ambtenaren door computers.

Bij veel (vooral massale, routineuze financiële) overheidsbesluiten neemt de computer het besluit in plaats van de ambtenaar. Dit gebeurt al sinds de jaren ’70. De explosieve toename van het autobezit bijvoorbeeld plaatste de belastingdienst voor de taak om de uitvoering van de motorrijtuigenbelasting aan te passen aan deze nieuwe realiteit. Door automatisering kon de motorrijtuigenbelasting alsnog snel en goed uitgevoerd worden. Soms ook wordt wetgeving ontworpen met het doel dat de computer de wet kan uitvoeren. Het eerste voorbeeld van deze manier van wetgeven, in Duitsland ‘Automationsgerechtigkeit’ genoemd speelde in 1958 (Bing 2004, p.203). Zouridis liet in 2000 zien hoe ICT het juridische werk bij de overheid verandert en Marga Groothuis ging in 2004 in op mogelijke waarborgen bij geautomatiseerde besluiten vanuit het bestuursrecht en het privacyrecht.

clip-art-computer-clipart-1

figuur: WorldArtsMe

Nieuw zijn geautomatiseerde overheidsbesluit dus allerminst. Bovendien heeft iedere burger te maken met geautomatiseerde overheidsbesluiten: of hij nou AOW of kinderbijslag ontvangt, huurtoeslag of een WOZ moet betalen, een aanslag inkomstenbelasting krijgt opgelegd of een gemeentelijke kwijtschelding van belastingen ontvangt. Desondanks staat het fenomeen niet erg in de bestuursrechtelijke belangstelling. Dit is niet alleen een Nederlands fenomeen. Bing gaf hiervoor de verklaring dat juristen doorgaans niet zo geïnteresseerd zijn in dit soort beslissingen. Exotische, academisch interessante besluiten krijgen meer aandacht dan de huis-, tuin- en keukenbesluiten waarvan men ook nog het idee heeft dat deze goed zullen zijn en van gering belang. Zie bijvoorbeeld de wetsgeschiedenis behorend bij artikel 4:12 Awb.

Toch is het belangrijk om stil te staan bij geautomatiseerde overheidsbesluiten. De beslisregels (algoritmen) bijvoorbeeld waarmee een besluit wordt genomen, worden ook wel ‘verborgen pseudo-wetgeving’ genoemd. Elke bestuursrechtjurist denkt nu natuurlijk direct aan beleidsregels, vroeger ook pseudo-wetgeving genoemd. De tijd is daar ook naar, algoritmen en robotisering staan sterk in de belangstelling.

Om wat voor soort besluiten gaat het? 

Met geautomatiseerde overheidsbesluiten bedoel ik hier besluiten in de zin van artikel 1:3, eerste lid, van de Awb  die zonder directe menselijke tussenkomst tot stand komen. Het gaat om besluiten die tot stand komen doordat de computers door mensen daartoe zijn geïnstrueerd (beslisregels of business rules). Het gaat mij hierbij dus niet om resultaten van machine learning. In die gevallen immers zijn de algortimes niet meer door mensen gemaakt, maar leert de computer zichzelf iets aan. Ik ken geen bestuursorganen die machine learningstechnieken toepassen om besluiten te nemen.

Bovendien gaat hier het om besluiten die als tweede belangrijke element hebben dat zij tot doel hebben het besluitvormingsproces van het uitvoeren van een juridische vraag over te nemen. Dit kan gezien worden als een algortime als ALS X + C – D DAN Z. Het gaat hier dus niet over besluiten die op basis van profilering worden genomen, zogenaamde kansberekeningen op basis van gegevens over gedragskenmerken. Voor zover mij bekend maakt de Nederlandse overheid wel gebruik van profileren, maar niet als grondslag voor een besluit in de zin van artikel 1:3, eerste lid, van de Awb.

Extra bestuursrechtelijke waarborgen bij geautomatiseerde overheidsbesluiten

In deze blogpost ga ik in op de vraag of deze manier van uitvoering andere of extra bestuursrechtelijke waarborgen vraagt ter bescherming van burgers die een geautomatiseerd overheidsbesluit ontvangen. De bespreking hiervan gebeurt langs twee lijnen:

1. via de bestuursrechtelijke rechtsbescherming tegen een besluit of beschikking.

2. via de bescherming die de Algemene Verordening Gegevensbescherming biedt.

1. Bestuursrechtelijke rechtsbescherming tegen een besluit of beschikking.

De geschiedenis van het vaderlandse bestuursrecht is vrij overzichtelijk als het gaat om uitspraken waarin de bestuursrechter zich uitlaat over een computerprogramma waarmee een besluit wordt genomen. Grofweg hebben we CBBS van het UWV dat ter discussie werd gesteld bij de CRvB en AERIUS van de minister van EZ dat besproken is bij de Afdeling bestuursrecht van de Raad van State.

Het CBBS is een claimbeoordelings-en borgingsstysteem dat gebruikt wordt bij de beoordeling of iemand arbeidsongeschikt is te achten en zo ja, in welke mate. In 2004 had de CRvB drie bedenkingen bij de inzet van dit systeem door het bestuursorgaan. Deze hadden met elkaar gemeen dat minder goed dan voorheen inzichtelijk en verifieerbaar was hoe de schattingen en belastbaarheid werden vastgesteld. Na het bespreken van de bedenkingen, oordeelde de CRvB dat hierdoor geen sprake was van een toereikend niveau van transparantie, verifieerbaarheid en toetsbaarheid van besluiten die met dit computerprogramma zijn genomen. Totdat deze onvolkomenheden hersteld werden zouden de besluiten in aanmerking komen voor vernietiging wegens strijd met de artikelen 3:2 en/of 7:12 van de Awb. Daarom oordeelde  de CRvB dat er hogere eisen aan deze besluiten gesteld moesten worden met betrekking tot de verslaglegging en motivering van de in een concreet geval ten grondslag gelegde verzekeringsgeneeskundige en arbeidskundige uitgangspunten.

Na twee jaar deed de CRvB opnieuw uitspraak, dit keer over de wijzigingen die zijn aangebracht in CBBS naar aanleiding van de eerdere uitspraak. Volgens de CRvB had het UWV de onvolkomenheden naar tevredenheid hersteld.

We kunnen dus concluderen dat als een computerprogramma besluiten neemt, dit niet ten koste mag gaan van de verifieerbaarheid en controleerbaarheid van het besluit. Dat mag op zich geen verbazing wekken, ware het niet dat de bestuursrechter zich in deze uitspraken intensief over de werking en uitkomst van het systeem heeft gebogen en niet is gestopt bij verweer over de betrouwbaarheid of zorgvuldigheid van het systeem. Bovendien is het systeem daadwerkelijk aangepast door het bestuursorgaan. Daarmee is voor alle betrokken burgers een verbetering aangebracht en niet alleen voor de burgers die zich tot de rechter hebben gewend.

De tweede vorm van bestuursrechtelijke waarborgen is geboden in een recente uitspraak van de Afdeling bestuursrechtspraak van de Raad van State. Het gaat hier om AERIUS.

AURIUS is een systeem dat lokale overheden verplicht moeten gebruiken bij het nemen van een besluit over een vergunning die te maken heeft met de uitstoot van stikstof. Volgens de bestuursrechter ABRS heeft de (deels) geautomatiseerde besluitvorming het risico in zich dat de besluitvorming niet inzichtelijk en controleerbaar is vanwege een gebrek aan inzicht in gemaakte keuzes en de gebruikte gegevens en aannames. De verwachtingen van de wetenschap uit de jaren ’90, namelijk dat de transparantie juist zou toenemen door geautomatiseerde besluiten blijkt niet te zijn uitgekomen. In de overwegingen 14.3 en 14.4 staat dat er een ongelijkwaardige procespositie voor partijen ontstaat als zij niet kunnen controleren op basis waarvan een bepaald besluit is genomen:

Ter voorkoming van deze ongelijkwaardige procespositie rust in dit geval op genoemde ministers en de staatssecretaris de verplichting om de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken op een passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. Deze volledige, tijdige en adequate beschikbaarstelling moet het mogelijk maken de gemaakte keuzes en de gebruikte gegevens en aannames te beoordelen of te laten beoordelen en zo nodig gemotiveerd te betwisten, zodat reële rechtsbescherming tegen besluiten die op deze keuzes, gegevens en aannames zijn gebaseerd mogelijk is, waarbij de rechter aan de hand hiervan in staat is de rechtmatigheid van deze besluiten te toetsen.’ 

Vervolgens gaat de ABRS per inhoudelijk punt na of het systeem voldoet aan het eerder geformuleerde kader. En die toets ziet er gedetailleerd uit. Een onderbouwing die is gegeven voor de verwachte economische groei wordt als onvoldoende inzichtelijk beoordeeld, bepaalde aannames zijn niet inzichtelijk geworden en ook stellingen die onbewezen blijven worden als onvoldoende inzichtelijk beoordeeld.

Zowel het kader als de invulling die de bestuursrechter in deze rechtszaak heeft gegeven, maakt dat bestuursorganen tekst en uitleg moeten bieden over het concrete besluit en de wijze waarop de computer dit heeft gegenereerd. Het gaat daarbij niet alleen om het kunnen controleren van het besluit als resultaat met (hopelijk) een deugdelijke motivering. Het gaat juist om het kunnen controleren van het proces waarmee dit besluit tot stand is gekomen; hoe is de wet geïnterpreteerd, hoeveel gewicht is toegekend aan een variabele, welke keuzes er zijn gemaakt bij het verfijnen van de ‘talige’ wet in de enen en nullen van het rekenkundig softwaresysteem, en waarom aan bepaalde gegevens de doorslag is gegeven en aan welke niet?

De eisen, die dermate algemeen zijn geformuleerd dat zij ook voor andere besluiten opgaan, bieden extra waarborgen voor burgers, ook voor burgers die geen rechtsmiddelen hebben ingezet.  Belangrijk is ook dat het volgens de ABRS gaat om inzicht dat ter beschikking is van belanghebbenden voordat deze beslissen of hij rechtsmiddelen indient.

2. Bescherming die de Algemene Verordening Gegevensbescherming biedt.

En dan hebben we natuurlijk nog artikel 22 van de AVG. Deze bepaling ziet er op het oog zeer ingrijpend uit; in de relatie burger – overheid betekent dit dat een betrokkene niet mag worden onderworpen aan een besluit in de zin van artikel 1:3, eerste lid van de Awb tenzij dit is toegestaan bij Unierechtelijke of lidstaatrechtelijke bepaling. Zoals we hiervoor zagen wordt er binnen de Nederlandse overheid nogal veel gewerkt met geautomatiseerde besluiten. Dit is dan waarschijnlijk ook de reden dat in artikel 38 van het voorstel Uitvoeringswet AVG waarvan de consultatie is afgerond, wordt voorgesteld dat artikel 22 AVG niet geldt als geautomatiseerde besluitvorming als hier bedoeld noodzakelijk is om te voldoen aan een wettelijke plicht of noodzakelijk is ter uitvoering van een taak van algemeen belang.

Wel moet de verwerkingsverantwoordelijke dan passende maatregelen treffen tot bescherming van het gerechtvaardigd belang van de betrokken en moet het bestuursorgaan dat het besluit neemt de logica meedelen die ten grondslag ligt aan de geautomatiseerde verwerking van de hem betreffende gegevens.

Conclusie

De waarborgen voor burgers bij geautomatiseerde overheidsbesluiten komen dus uit twee kokers. Beide respecteren de nieuwe realiteit, namelijk dat besluiten door computers worden genomen.  Of dit nu vanuit de bescherming van persoonsgegevens wordt bekeken of vanuit het bestuursrecht, er horen waarborgen bij deze uitvoering die kunnen worden afgedwongen, hetzij via de bestuursrechter, hetzij via de toezichthouder AP.

Dit betekent hoe dan ook dat er werk aan de winkel is voor bestuursorganen. Instructies aan de computer die geschreven zijn door zeer gespecialiseerde programmeurs moeten worden vertaald in toegankelijke uitleg die het mogelijk maakt het programma te controleren. Voor burgers betekent dit in ieder geval extra bescherming.

lit.

Tom Barkhuysen en Niels Jak, Afdeling bestuursrechtspraak formuleert toetsingskader voor geautomatiseerde besluitvormingsprocessen, AERIUS, blog.

Jon Bing, ‘Code, Acces and Control’ in ‘Human Rights in the Digital Age’ M. Klang & A. Murray (eds), Cavendish Publishing Ltd 2005.

M.M. Groothuis, Beschikken en digitaliseren. Over normering van de elektronische overheid (diss. Leiden), (Meijers-reeks) Sdu 2004.

Dag Wiese Schartum, Law and algorithms in the public domain, in Etikk i praksis. Nordic Journal of Applied Ethics (2016), 10 (1),  15–26. http://dx.doi.org/10.5324/eip.v10i1.1973

S. Zouridis, Digitale disciplinering. Over ICT, organisatie, wetgeving en het automatiseren van beschikkingen (diss. Tilburg), Delft: Eburon 2000.