Proefschrift/thesis/these is online!🙋‍♀️👩🏼‍🎓

Mijn proefschrift/thesis/these is Online! 👈

Check ook de fantastische illustraties van Jiska de Waard!👏🏼

Advertenties

Stellingen Marlies van Eck bij proefschrift

Stellingen behorend bij proefschrift Geautomatiseerde ketenbesluiten & rechtsbescherming, B.M.A. (Marlies) van Eck

  1. De juistheid van de gegevens die worden vastgelegd in basisregistraties zal eerder verminderen dan verbeteren op het moment dat de administratieve weergave van de feiten belangrijker wordt dan de feiten zelf.
  2. Het is een merkwaardige omissie in de Nederlandse geschiedenislessen dat de Franse revolutie wel wordt onderwezen, maar de exclusiviteit van de rechten en vrijheden voor mannen en de daartegen strijdende Olympe de Gouges volkomen worden genegeerd.bird-feather-2505307_1920
  3. Iedereen die denkt dat het systeem er is voor de mens, zou eens zes weken als patiënt in een ziekenhuis moeten doorbrengen.
  4. Een ketensamenwerking brengt de plicht met zich mee om ook samen te werken aan een oplossing voor burgers die last ondervinden van de samenwerking.
  5. Gelet op de moeite die Word heeft met plakken, voetnotennummering, verschillende werkomgevingen en versies, zijn geautomatiseerde ketenbesluiten een technologisch wonder.
  6. Het onthouden van pijnbestrijding aan barende vrouwen is een schending van de mensenrechten.
  7. Dat een computer geen onderscheid kan maken als dat niet is geïnstrueerd, is zijn grootste kwaliteit en tegelijk zijn grootste nadeel.
  8. De overheid die belastingwetgeving inzet om bepaald gedrag te stimuleren moet zich niet beklagen over calculerende burgers.
  9. Het alomvattende gebruik van informatietechnologie door de overheid en de daardoor veranderde machtsverhoudingen, lijkt anno 2018 nog altijd niet doorgedrongen tot de bestuursrechtwetenschap.
  10. Gezien het gezegde dat het betalen van belastingen een van de twee zekerheden is in een mensenleven, is het vreemd dat in het belastingrecht niet de rechtsbetrekking centraal staat.
  11. Om de rechtsbescherming voor burgers tegen geautomatiseerde ketenbesluiten te verbeteren is het nodig dat de instructies aan de computer, tegelijk met het besluit bekend worden gemaakt en toegankelijk zijn.
  12. Omdat niet kan worden overzien welke gevolgen het doorwerken van een geautomatiseerd ketenbesluit bij een ander bestuursorgaan heeft voor de individuele burger, zou er door alle betrokken bestuursorganen standaard een alternatief moeten worden geboden.

Muziek over computerbesluiten van de overheid

Veel artiesten hebben zich al laten inspireren door computerbesluiten van de overheid, automatisering en keteninformatisering. Dit zijn zonder twijfel de belangrijkste nummers uit de muziek:

1. DE smartlap over automatisering staat op naam van Marc Winter met ‘De overwegwachter‘ ‘Toen kwam een korte brief waarin hij las, dat hij niet langer nodig was. Hij werd vervangen door een automaat, en zo stond hij toen plotseling op straat.

marc winter

2. Jamiroquai neemt de popmuziek voor zijn rekening met Automaton.

3. Over keteninformatisering waarschuwde Diana Ross al voordat het bestond in Chain Reaction

4. Katy Perry houdt ons met Chained To The Rhythm een spiegel voor omdat we eigenlijk allemaal vastzitten in onze ketens.

4. De steeds terugkerende problemen voor mensen die te maken krijgen met een onjuist computerbesluit, zijn bezongen door Lenny Kravitz in It Ain’t Over Till It’s Over

Geautomatiseerde ketenbesluiten & rechtsbescherming

Op 9 februari 2018 zal ik mijn proefschrift Geautomatiseerde ketenbesluiten & rechtsbescherming verdedigen. Dit proefschrift gaat over computerbesluiten die de overheid neemt en de vraag of de burger genoeg bescherming krijgt als hij het niet eens is met het besluit. Iedereen krijgt wel eens een computerbesluit; over kinderbijslag, AOW, toeslagen, inkomstenbelasting, WOZ en motorrijtuigenbelasting en natuurlijk de boetes voor te hard rijden. Deze besluiten gaan vaak over geld. Een ander belangrijk kenmerk van deze uitvoering is dat de overheidsinstanties gebruik maken van informatie van ándere overheidsorganisaties. Dat is handig, want dan heeft iedereen hetzelfde overzicht. Maar soms pakt dit heel nadelig uit voor de burger: bijvoorbeeld als een gegeven onjuist is geregistreerd.( afbeelding Jiska de Waard)

Ik heb eerst in kaart gebracht welke normen we zouden kunnen gebruiken om te bepalen of de burger genoeg rechtsbescherming heeft. Hiervoor gebruik in Nederlandse beginselen en Europese, zoals het recht op ‘good administration’. Daarna heb ik onderzocht wat we uit andere onderzoeken al weten over deze praktijk. Vervolgens heb ik empirisch onderzoek verricht naar de praktijk van de overheid. Daarbij kon ik reconstrueren hoe de overheid het proces heeft geregeld en hoe men omgaat met problemen of ‘bureaucratische kortsluitingen’.

Uiteindelijk kon ik de conclusie opmaken. Die verklap ik natuurlijk nog niet.

Geautomatiseerde overheidsbesluiten, 22 AVG en 40 Wetsvoorstel Uitvoeringswet AVG

Geautomatiseerde overheidsbesluiten kennen we al jaren en staan niet al te zeer in de belangstelling. Toch ziet het naar uit dat de AVG een boost geeft aan (bestuursrecht)juristen om de vulpennen en hun papieren wetboeken even weg te leggen en te gaan nadenken over technologie. Privacyjuristen denken daar al jaren over na, maar zoals de Afdeling advisering van de Raad van State onomwonden duidelijk maakt: de uitvoering en naleving van privacywetgeving is van oudsher een probleem.

Op Privacy Paradise Island is alles koek en ei want afgedicht met wettelijke bepalingen, maar een teen in het water en dan blijken de zeedieren er heel anders over te denken. Er moet fraude worden bestreden, achterstanden (werkvoorraden) moeten worden weggewerkt en dienstverlening geoptimaliseerd. Daarbij speelt de Wbp nauwelijks een rol. Ook de belemmeringen die worden opgeworpen door bestuursrechters worden niet gegrond op de Wbp maar op artikel 8 EVRM (Hoge Raad over ANPR), verbod van discriminatie (CRvB over risicoprofielen) of op equality of arms (Afdeling bestuursrechtspraak van de Raad van State over AERIUS).

Dit geldt ook voor geautomatiseerde overheidsbesluiten. Al eerder vertelde ik dat het huidige artikel 42 Wbp een slapend bestaan leidt. Ik vermoed dat dit niet gaat veranderen door de komst van artikel 22 AVG in relatie tot het voorgestelde artikel 40 van het wetsvoorstel Uitvoeringswet AVG. Dat is ook niet erg. Rechtsbescherming tegen geautomatiseerde overheidsbesluiten moet ook los van privacywetgeving gegarandeerd worden.

Het is interessant dat de regering in reactie op het advies van de Afdeling Advies van de Raad van State (Kamerstuk 34851, nr. 4) en de Memorie van Toelichting (Kamerstuk 34851, nr. 3) daar al een paar voorzetten voor geeft. Hieronder ga ik in op de actuele stand van zaken over geautomatiseerde overheidsbesluiten in relatie tot 22 AVG en artikel 40 van het Wetsvoorstel Uitvoeringswet AVG (Kamerstuk 34851, nr.1-2). Daarna zal ik de door de regering geopperde waarborgen bij geautomatiseerde overheidsbesluiten bespreken.

Artikel 22 Avg en artikel 40 wetsvoorstel Uitvoeringswet AVG

In artikel 22 AVG is bepaald dat een betrokkene het recht heeft om niet te worden onderworpen aan een geautomatiseerd besluit, waaronder profilering. Hierop mag een uitzondering worden gemaakt als het besluit is toegestaan bij lidstaatrechtelijke bepaling die op de verwerkingsverantwoordelijke van toepassing is en die ook voorziet in passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene (artikel 22, tweede lid, onder b, AVG).

De Nederlandse wetgever wil invulling geven aan deze mogelijkheid met artikel 40 Uitvoeringswet AVG. De kerngedachte hiervoor is dat bij geautomatiseerde besluiten, anders dan die op basis van profilering, geen generieke kenmerken van een groep aan een persoon worden tegengeworpen. Er kan ook sprake zijn van geautomatiseerde individuele besluitvorming op basis van strikt individuele kenmerken, ‘bijvoorbeeld bij gebonden besluitvorming in het kader van het toekennen van bepaalde toeslagen.’ Ook geeft de wetgever aan dat voor alle overheidsbesluiten, ‘ook voor overheidsbesluiten op basis van geautomatiseerde besluitvorming’, de gebruikelijke bestuursrechtelijke rechtsbescherming openstaat.

De Afdeling advisering van de Raad van State heeft geen kritiek op deze keuze en het onderscheid tussen geautomatiseerde besluiten en geautomatiseerde besluiten gebaseerd op profilering, maar vindt het te mager om te constateren dat er rechtsbescherming openstaat. Volgens de Afdeling advisering is het de vraag of daarmee wordt voldaan aan 22, tweede lid, onder b, AVG dat vereist dat er alleen een uitzondering mag worden gemaakt als wettelijk is voorzien in passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene.

Als reden noemt de Afdeling dat in een geautomatiseerd besluitvormingsproces bepaalde persoonlijke omstandigheden doorgaans niet meegewogen kunnen worden. Ook kunnen de aan geautomatiseerde besluitvorming inherente automatismen onder omstandigheden leiden tot disprortionele gevolgen. Dit is een zeer terechte constatering.

Pikant is wel dat de Afdeling advisering verwijst naar de problematiek rond automatische boetes voor onverzekerde voertuigen en de onmogelijkheid die in dergelijke gevallen vaak bestaat om fouten met terugwerkende kracht terug te draaien. Het was immers die andere Afdeling van de Raad van State (Afdeling bestuursrechtspraak) die deze werkwijze lange tijd acceptabel achtte en pas door de rechtszaak van Romet bij het EHRM gedwongen werd tot een ander oordeel.

Mijn hart maakte een sprongetje door het gebruik van het woord onbillijk in het advies: ‘in die gevallen kunnen geautomatiseerde besluiten, anders dan de regering lijkt te veronderstellen, onbillijk uitvallen voor betrokkenen.’ Donner kon niet weten dat ik in mijn proefschrift over geautomatiseerde ketenbesluiten en rechtsbescherming, een grote plek heb ingeruimd voor het beginsel van fair play. Dit beginsel heeft een stevige Europese kant waarbij ‘fair’ soms wordt vertaald met ‘billijk’. Door meer te kijken naar fairness in de fase voorafgaand aan het besluit, kan ook rechtsbescherming worden geboden. Doorgaans spelen redelijkheid en billijkeid geen rol in het bestuursrecht, maar na de billijkheid komt de Afdeling ook nog met deze zin: ‘Naar het oordeel van de Afdeling kan een redelijke en zorgvuldige besluitvorming niet afhankelijk gemaakt worden van het al dan niet instellen van bezwaar of beroep.’ Small step? We zullen het gaan zien.

Voorzetten van regering voor waarborgen bij geautomatiseerde overheidsbesluiten

In reactie op het advies van de Afdeling advisering schrijft de regering dat de bescherming voor de burger die een geautomatiseerd overheidsbesluit krijgt, ook ligt in het zorgvuldigheids- en evenredigheidsbeginsel. Volgens de regering geldt ook los van de AVG de plicht om bij de inrichting van het geautomatiseerd proces grote zorgvuldigheid te betrachten. Dit kan bijvoorbeeld door ‘alle mogelijke scenario’s vooraf in kaart te brengen en waar nodig menselijke tussenkomst te borgen en hoe dan ook een nood(rem)voorziening te treffen voor onvoorziene gevallen waarin menselijke tussenkomst onverwacht toch nodig blijkt om de disproportionele gevolgen waar de Afdeling advisering op doelt te voorkomen’.

In de Memorie van Toelichting wordt de verwijzing naar het zorgvuldigheids-en evenredigheidsbeginsel herhaald met de opmerking dat betrokkene altijd (zij het achteraf) tegen een besluit kan opkomen. Ook wordt aangegeven dat de AVG al regelt dat het bestuursorgaan op grond van artikel 13, tweede lid, onderdeel f, onderscheidenlijk artikel 14, tweede lid, onderdeel g, van de verordening, aan de betrokkene ‘nuttige informatie’ moet verstrekken over ‘de onderliggende logica’ van de verwerking alsmede over het belang en de verwachte gevolgen van de verwerking voor de betrokkene in een vroeg stadium. Dit zal de uitvoering van bestuursorganen nog veel kopzorgen brengen.

Tot slot geldt voor geautomatiseerde individuele besluitvorming dat deze niet mogen worden gebaseerd op bijzondere categorieën van persoonsgegevens, tenzij dit geschiedt met uitdrukkelijke toestemming van de betrokkene of noodzakelijk is om redenen van zwaarwegend algemeen belang, en er passende maatregelen ter bescherming van de gerechtvaardigde belangen van de betrokkene zijn getroffen (artikel 22, vierde lid, van de verordening).

Persoonlijk ben ik zeer verheugd op de nadruk die de Raad van State en de regering leggen op de Awb als bron van passende waarborgen. Ik vermoed dat dit de bescherming van de individuele burger beter dient dan bepalingen in privacywetgeving, mede vanwege het geconstateerde gebrek aan belang van deze wetgeving in de dagelijkse uitvoeringspraktijk. Het zal niet genoeg zijn, maar daarover meer na het verschijnen van mijn proefschrift Geautomatiseerde ketenbesluiten & Rechtsbescherming op 9 februari 2018.

Extra waarborgen voor burgers bij het vervangen van ambtenaren door computers.

Bij veel (vooral massale, routineuze financiële) overheidsbesluiten neemt de computer het besluit in plaats van de ambtenaar. Dit gebeurt al sinds de jaren ’70. De explosieve toename van het autobezit bijvoorbeeld plaatste de belastingdienst voor de taak om de uitvoering van de motorrijtuigenbelasting aan te passen aan deze nieuwe realiteit. Door automatisering kon de motorrijtuigenbelasting alsnog snel en goed uitgevoerd worden. Soms ook wordt wetgeving ontworpen met het doel dat de computer de wet kan uitvoeren. Het eerste voorbeeld van deze manier van wetgeven, in Duitsland ‘Automationsgerechtigkeit’ genoemd speelde in 1958 (Bing 2004, p.203). Zouridis liet in 2000 zien hoe ICT het juridische werk bij de overheid verandert en Marga Groothuis ging in 2004 in op mogelijke waarborgen bij geautomatiseerde besluiten vanuit het bestuursrecht en het privacyrecht.

clip-art-computer-clipart-1

figuur: WorldArtsMe

Nieuw zijn geautomatiseerde overheidsbesluit dus allerminst. Bovendien heeft iedere burger te maken met geautomatiseerde overheidsbesluiten: of hij nou AOW of kinderbijslag ontvangt, huurtoeslag of een WOZ moet betalen, een aanslag inkomstenbelasting krijgt opgelegd of een gemeentelijke kwijtschelding van belastingen ontvangt. Desondanks staat het fenomeen niet erg in de bestuursrechtelijke belangstelling. Dit is niet alleen een Nederlands fenomeen. Bing gaf hiervoor de verklaring dat juristen doorgaans niet zo geïnteresseerd zijn in dit soort beslissingen. Exotische, academisch interessante besluiten krijgen meer aandacht dan de huis-, tuin- en keukenbesluiten waarvan men ook nog het idee heeft dat deze goed zullen zijn en van gering belang. Zie bijvoorbeeld de wetsgeschiedenis behorend bij artikel 4:12 Awb.

Toch is het belangrijk om stil te staan bij geautomatiseerde overheidsbesluiten. De beslisregels (algoritmen) bijvoorbeeld waarmee een besluit wordt genomen, worden ook wel ‘verborgen pseudo-wetgeving’ genoemd. Elke bestuursrechtjurist denkt nu natuurlijk direct aan beleidsregels, vroeger ook pseudo-wetgeving genoemd. De tijd is daar ook naar, algoritmen en robotisering staan sterk in de belangstelling.

Om wat voor soort besluiten gaat het? 

Met geautomatiseerde overheidsbesluiten bedoel ik hier besluiten in de zin van artikel 1:3, eerste lid, van de Awb  die zonder directe menselijke tussenkomst tot stand komen. Het gaat om besluiten die tot stand komen doordat de computers door mensen daartoe zijn geïnstrueerd (beslisregels of business rules). Het gaat mij hierbij dus niet om resultaten van machine learning. In die gevallen immers zijn de algortimes niet meer door mensen gemaakt, maar leert de computer zichzelf iets aan. Ik ken geen bestuursorganen die machine learningstechnieken toepassen om besluiten te nemen.

Bovendien gaat hier het om besluiten die als tweede belangrijke element hebben dat zij tot doel hebben het besluitvormingsproces van het uitvoeren van een juridische vraag over te nemen. Dit kan gezien worden als een algortime als ALS X + C – D DAN Z. Het gaat hier dus niet over besluiten die op basis van profilering worden genomen, zogenaamde kansberekeningen op basis van gegevens over gedragskenmerken. Voor zover mij bekend maakt de Nederlandse overheid wel gebruik van profileren, maar niet als grondslag voor een besluit in de zin van artikel 1:3, eerste lid, van de Awb.

Extra bestuursrechtelijke waarborgen bij geautomatiseerde overheidsbesluiten

In deze blogpost ga ik in op de vraag of deze manier van uitvoering andere of extra bestuursrechtelijke waarborgen vraagt ter bescherming van burgers die een geautomatiseerd overheidsbesluit ontvangen. De bespreking hiervan gebeurt langs twee lijnen:

1. via de bestuursrechtelijke rechtsbescherming tegen een besluit of beschikking.

2. via de bescherming die de Algemene Verordening Gegevensbescherming biedt.

1. Bestuursrechtelijke rechtsbescherming tegen een besluit of beschikking.

De geschiedenis van het vaderlandse bestuursrecht is vrij overzichtelijk als het gaat om uitspraken waarin de bestuursrechter zich uitlaat over een computerprogramma waarmee een besluit wordt genomen. Grofweg hebben we CBBS van het UWV dat ter discussie werd gesteld bij de CRvB en AERIUS van de minister van EZ dat besproken is bij de Afdeling bestuursrecht van de Raad van State.

Het CBBS is een claimbeoordelings-en borgingsstysteem dat gebruikt wordt bij de beoordeling of iemand arbeidsongeschikt is te achten en zo ja, in welke mate. In 2004 had de CRvB drie bedenkingen bij de inzet van dit systeem door het bestuursorgaan. Deze hadden met elkaar gemeen dat minder goed dan voorheen inzichtelijk en verifieerbaar was hoe de schattingen en belastbaarheid werden vastgesteld. Na het bespreken van de bedenkingen, oordeelde de CRvB dat hierdoor geen sprake was van een toereikend niveau van transparantie, verifieerbaarheid en toetsbaarheid van besluiten die met dit computerprogramma zijn genomen. Totdat deze onvolkomenheden hersteld werden zouden de besluiten in aanmerking komen voor vernietiging wegens strijd met de artikelen 3:2 en/of 7:12 van de Awb. Daarom oordeelde  de CRvB dat er hogere eisen aan deze besluiten gesteld moesten worden met betrekking tot de verslaglegging en motivering van de in een concreet geval ten grondslag gelegde verzekeringsgeneeskundige en arbeidskundige uitgangspunten.

Na twee jaar deed de CRvB opnieuw uitspraak, dit keer over de wijzigingen die zijn aangebracht in CBBS naar aanleiding van de eerdere uitspraak. Volgens de CRvB had het UWV de onvolkomenheden naar tevredenheid hersteld.

We kunnen dus concluderen dat als een computerprogramma besluiten neemt, dit niet ten koste mag gaan van de verifieerbaarheid en controleerbaarheid van het besluit. Dat mag op zich geen verbazing wekken, ware het niet dat de bestuursrechter zich in deze uitspraken intensief over de werking en uitkomst van het systeem heeft gebogen en niet is gestopt bij verweer over de betrouwbaarheid of zorgvuldigheid van het systeem. Bovendien is het systeem daadwerkelijk aangepast door het bestuursorgaan. Daarmee is voor alle betrokken burgers een verbetering aangebracht en niet alleen voor de burgers die zich tot de rechter hebben gewend.

De tweede vorm van bestuursrechtelijke waarborgen is geboden in een recente uitspraak van de Afdeling bestuursrechtspraak van de Raad van State. Het gaat hier om AERIUS.

AURIUS is een systeem dat lokale overheden verplicht moeten gebruiken bij het nemen van een besluit over een vergunning die te maken heeft met de uitstoot van stikstof. Volgens de bestuursrechter ABRS heeft de (deels) geautomatiseerde besluitvorming het risico in zich dat de besluitvorming niet inzichtelijk en controleerbaar is vanwege een gebrek aan inzicht in gemaakte keuzes en de gebruikte gegevens en aannames. De verwachtingen van de wetenschap uit de jaren ’90, namelijk dat de transparantie juist zou toenemen door geautomatiseerde besluiten blijkt niet te zijn uitgekomen. In de overwegingen 14.3 en 14.4 staat dat er een ongelijkwaardige procespositie voor partijen ontstaat als zij niet kunnen controleren op basis waarvan een bepaald besluit is genomen:

Ter voorkoming van deze ongelijkwaardige procespositie rust in dit geval op genoemde ministers en de staatssecretaris de verplichting om de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken op een passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. Deze volledige, tijdige en adequate beschikbaarstelling moet het mogelijk maken de gemaakte keuzes en de gebruikte gegevens en aannames te beoordelen of te laten beoordelen en zo nodig gemotiveerd te betwisten, zodat reële rechtsbescherming tegen besluiten die op deze keuzes, gegevens en aannames zijn gebaseerd mogelijk is, waarbij de rechter aan de hand hiervan in staat is de rechtmatigheid van deze besluiten te toetsen.’ 

Vervolgens gaat de ABRS per inhoudelijk punt na of het systeem voldoet aan het eerder geformuleerde kader. En die toets ziet er gedetailleerd uit. Een onderbouwing die is gegeven voor de verwachte economische groei wordt als onvoldoende inzichtelijk beoordeeld, bepaalde aannames zijn niet inzichtelijk geworden en ook stellingen die onbewezen blijven worden als onvoldoende inzichtelijk beoordeeld.

Zowel het kader als de invulling die de bestuursrechter in deze rechtszaak heeft gegeven, maakt dat bestuursorganen tekst en uitleg moeten bieden over het concrete besluit en de wijze waarop de computer dit heeft gegenereerd. Het gaat daarbij niet alleen om het kunnen controleren van het besluit als resultaat met (hopelijk) een deugdelijke motivering. Het gaat juist om het kunnen controleren van het proces waarmee dit besluit tot stand is gekomen; hoe is de wet geïnterpreteerd, hoeveel gewicht is toegekend aan een variabele, welke keuzes er zijn gemaakt bij het verfijnen van de ‘talige’ wet in de enen en nullen van het rekenkundig softwaresysteem, en waarom aan bepaalde gegevens de doorslag is gegeven en aan welke niet?

De eisen, die dermate algemeen zijn geformuleerd dat zij ook voor andere besluiten opgaan, bieden extra waarborgen voor burgers, ook voor burgers die geen rechtsmiddelen hebben ingezet.  Belangrijk is ook dat het volgens de ABRS gaat om inzicht dat ter beschikking is van belanghebbenden voordat deze beslissen of hij rechtsmiddelen indient.

2. Bescherming die de Algemene Verordening Gegevensbescherming biedt.

En dan hebben we natuurlijk nog artikel 22 van de AVG. Deze bepaling ziet er op het oog zeer ingrijpend uit; in de relatie burger – overheid betekent dit dat een betrokkene niet mag worden onderworpen aan een besluit in de zin van artikel 1:3, eerste lid van de Awb tenzij dit is toegestaan bij Unierechtelijke of lidstaatrechtelijke bepaling. Zoals we hiervoor zagen wordt er binnen de Nederlandse overheid nogal veel gewerkt met geautomatiseerde besluiten. Dit is dan waarschijnlijk ook de reden dat in artikel 38 van het voorstel Uitvoeringswet AVG waarvan de consultatie is afgerond, wordt voorgesteld dat artikel 22 AVG niet geldt als geautomatiseerde besluitvorming als hier bedoeld noodzakelijk is om te voldoen aan een wettelijke plicht of noodzakelijk is ter uitvoering van een taak van algemeen belang.

Wel moet de verwerkingsverantwoordelijke dan passende maatregelen treffen tot bescherming van het gerechtvaardigd belang van de betrokken en moet het bestuursorgaan dat het besluit neemt de logica meedelen die ten grondslag ligt aan de geautomatiseerde verwerking van de hem betreffende gegevens.

Conclusie

De waarborgen voor burgers bij geautomatiseerde overheidsbesluiten komen dus uit twee kokers. Beide respecteren de nieuwe realiteit, namelijk dat besluiten door computers worden genomen.  Of dit nu vanuit de bescherming van persoonsgegevens wordt bekeken of vanuit het bestuursrecht, er horen waarborgen bij deze uitvoering die kunnen worden afgedwongen, hetzij via de bestuursrechter, hetzij via de toezichthouder AP.

Dit betekent hoe dan ook dat er werk aan de winkel is voor bestuursorganen. Instructies aan de computer die geschreven zijn door zeer gespecialiseerde programmeurs moeten worden vertaald in toegankelijke uitleg die het mogelijk maakt het programma te controleren. Voor burgers betekent dit in ieder geval extra bescherming.

lit.

Tom Barkhuysen en Niels Jak, Afdeling bestuursrechtspraak formuleert toetsingskader voor geautomatiseerde besluitvormingsprocessen, AERIUS, blog.

Jon Bing, ‘Code, Acces and Control’ in ‘Human Rights in the Digital Age’ M. Klang & A. Murray (eds), Cavendish Publishing Ltd 2005.

M.M. Groothuis, Beschikken en digitaliseren. Over normering van de elektronische overheid (diss. Leiden), (Meijers-reeks) Sdu 2004.

Dag Wiese Schartum, Law and algorithms in the public domain, in Etikk i praksis. Nordic Journal of Applied Ethics (2016), 10 (1),  15–26. http://dx.doi.org/10.5324/eip.v10i1.1973

S. Zouridis, Digitale disciplinering. Over ICT, organisatie, wetgeving en het automatiseren van beschikkingen (diss. Tilburg), Delft: Eburon 2000.

Algorithms in public administration

We are witnessing a rapidly growing leading role for algorithms, both in civil law based relations like customers in relation to Netflix as in public administration relations where we have citizens on one side and the (mostly) executive branch of the government on the other. When the algorithms are using personal data to do their automated calculation (in the Netherlands we even profile our dykes), and result in a decision which produces legal effects concerning him or her or similarly significantly affects him or her, the frame work is provided in the new article  22 of the GDPR  ‘Automated individual decision-making, including profiling’.

3
22 GDPR 
In this figure I’ve tried to show how the three elements of 22 GDPR are related. Only the left part doubles are part of 22 GDPR, including a part of the profiles.

It’s very interesting we now see a clarification we missed in directive 95/46/EC; the notion that profiling and automated decision-making may look similar but are in fact two different activities. They have different characteristics and will bring different risks to data subjects/citizens. Profiling can result in automated decision-making but automated decision-making doesn’t need to be based on profiles.

This blogpost is about these differences. Based on case-studies I performed in my thesis on Effective Remedies Against Automated Decisions in Tax and Social Security I summed up some of these differences. Please feel free to submit your feedback.

Autonomous handling systems, known as automated decision-making

Automated decision-making is used in public administration for ages. Jon Bing recalled a German example of computer conscious lawmaking in 1958 (Bing 2005: 203). In the Netherlands the tax administration still partly ‘runs’ on programs build in the seventies. Researchers call these systems ‘autonomous handling systems’. They not only produce the legal decision; they execute them as well by for instance transferring money from the government to the citizen. Some of these systems appear to be ‘expertsystems’, but in the Netherlands we  have a very simple but effective way of giving automated administrative fines to drivers of cars that didn’t get their technical checks in time, just by matching two databases.

These automated decisions run on personal data and algorithms. The law, publicly debated, result of a democratic process and made transparent and accessible to everybody, has to be transformed in language the computer understands; the algortihms (Wiese Schartum 2016:16). There are many issues that occur when we study automated mass administrative decision systems, like; who has the authority to interpret the law? (Bovens & Zouridis 2002) Is the source code made public? What is the legal status of this quasi legislation (Wiese Schartum 2016:19) How can an individual object these decisions? What if the computer decisions have a very high error rate? (as appears to be the case right now in Australia with Centrelink , Online Compliance Intervention System)

Automated profiling

Profiling on the other hand, if it is done by a computer since we happen to profile manually all our lives, is not as old. This makes sense because in order to be able to automate profiling, very large databases are needed and data processors that can work at a very high speed. Unlike automated decision making, profiling in public administration is only at the beginning of the technological capacities. As well as in automated decision-making, profiling (in article 22 GDPR) runs on personal data and algorithms. The difference is that profiling is used to predict the behavior of citizens and to single out those who behave differently from the main group. Based on data referring to their behavior, health, economic situation etc, the algorithm tries to bring some kind of order in the mass. The results can be of administrative internal work flow use, like ‘which tax deductions might be a risk to accept and are to be reviewed by a human?’ ‘which kind of citizens are likely to apply for benefits?’, hardly visible for citizens.

artistic-2063_1920
Diversity of citizens represented by coloring pencils. Categorizing them, attributing data and math can make you decide with what pencil you’ll start. 
But in some cases, the results can be more invasive; like legal decisions or surveillance activities (like frisking) aimed at only those travelers the algorithm has chosen. In unstructured big data, a pattern is made visible by datamining technologies and this pattern is used to predict other similar cases. Think of Netflix; offering you logical choices out of a massive number of movies and documentaries. Some of the same issues arise as in automated decisions, some of them differ; like how can we prevent the algorithms from bias? Who has the authority to ignore the predictions? Is transparency of algorithms helpful or put it differently; how could I as a citizen ever understand the algorithm? What if the computer finds a relation based on inherent human characteristics like health or genetics or race?

Dutch proposal executing GDPR

The difference has made the Dutch legislator propose different measures when it comes down to algorithms in public administration. The proposal has been subject to a public internet consultation before it will follow the procedural route.

Automated decision making in public administration will be permitted (and the right of data subject not to be subject to a decision overruled) if necessary for compliance with a legal obligation, or necessary for the performance of a task carried out in the public interest, and measures have been taking (by the controller) to safeguard legitimate interests of the data subject. As well the data subjects have (still) the right to ask the logic of the program on which the decision is based is shared. Other safeguards for the data subjects, like the right to ask for a review, are provided by General Administrative Law Act. To my knowledge, previous safeguards in directive 95/46 have never been invoked in disputes concerning automated decisions in administrative case law.

On automated profiling the Dutch legislator seems to stick to the rules of 22 GDRP, meaning that the right of the data subject not to be subject to a decision based on automated profiling (which produces legal effects concerning him or her or similarly significantly affects him or her) doesn’t apply if the decision is authorized by Dutch Law. So far, we seem to have one profiling project in public administration with legal basis; Syri. More info in English in this publication.

Other profiling initiatives in public administration seem -until today- not to lead to legal decisions. They are used to see which citizens or applies have to be checked by humans. It’s unlikely this kind of profiling match the definition in 22 GDPR. If the proposal of execution law of GDPR in Netherlands is accepted, automated profiles that do lead to invasive consequences but not to legal decisions -as is the case in border controls or police monitoring- will need a legal basis in law.

It will be interesting to see if some anti-fraud measures based on automated profiles are similarly as legal effects significantly affecting the data subject. Like deviating a digital apply for a benefit in a face to face apply because the data subject fits the profile of fraudster. Offering green lanes or denying them. Is it significantly (similarly as legal effects) affecting a person to have to proof his existence and papers at a desk or isn’t it? Based on the polls I took while teaching, at least most civil servants don’t consider this significantly affecting.

Why is the difference important?

It is important to stay alert on these differences when we discuss 22 GDRP. Some of the problems will seem to be the same; incorrect decisions, unknown algorithms, people who don’t fit in the predesigned categories and seek for individual fairness (Einzellfalgerechtigkeit) but it would be a mistake to treat the activities the same. Profiling is calculation of probability, and fundamentally different from a calculation of my administrative data with variables explicitly mentioned in law.

Profiling uses not only more (big) data, the data are more decontextualized, the data contain data we give away unconsciously (like using or not using an app the government provides for, like changing your online apply a few times before sending it) and they will only consider the past to predict the future. In light of the GDPR where a lot of exemptions are made for research and analyzing personal data, it will depend on how governments use profiles. Accountability for these profiles is not only important in relation to data protection. It will raise all kind of fundamental rights questions.

To conclude this interesting matter I could talk about for days, I’ve come up with this short and simple chart:

  Automated decision making Automated Profiling
function Engine of auto bureaucracy Accessory of bureaucracy
 

input

 

Structured personal data

 

Unstructured personal data

 

output

 

Calculation Calculation of probability
algorithms Written by humans based on law  

Selflearning or written by humans based on mathematical correlations

 

data

 

Administrative data as variables in algortihms based on law

 

Big data on all kind of aspects, including behavior.

 

decision

 

 

Aimed at a specific citizen based on his/her administrative data (like age, income etc)

 

 

Based on data of people in similar circumstances, aimed to singling out.

 

Officially in the Netherlands since

 

1970s (social security, motor car tax)

 

2014 (SyRI, social security fraud detection)

 

Jargon

 

Business rules

 

Risk rules / self learning

(lit.)

Bovens & Zouridis 2002

Bovens & S. Zouridis, ‘ From Street-Level to System-Level Bureaucracies: How Information and Communication Technology is Transforming Administrative Discretion and Constitutional Control’. Public Administration Review, 2002, vol. 62-No. 2.

Bing 2005

Jon Bing, ‘Code, Acces and Control’ in ‘Human Rights in the Digital Age’ M. Klang & A. Murray (eds), Cavendish Publishing Ltd 2005.

Wiese Schartum 2016

Dag Wiese Schartum, ‘Law and algorithms in the public domain.’ Etikk i praksis. Nordic Journal of Applied Ethics. 2016, 10 (1). DOI: http://dx.doi.org/10.5324/eip.v10i1.1973

Maak een gratis website of blog op WordPress.com.

Omhoog ↑