Tagarchief: SyRI

Algorithms in public administration

We are witnessing a rapidly growing leading role for algorithms, both in civil law based relations like customers in relation to Netflix as in public administration relations where we have citizens on one side and the (mostly) executive branch of the government on the other. When the algorithms are using personal data to do their automated calculation (in the Netherlands we even profile our dykes), and result in a decision which produces legal effects concerning him or her or similarly significantly affects him or her, the frame work is provided in the new article  22 of the GDPR  ‘Automated individual decision-making, including profiling’.

3
22 GDPR 
In this figure I’ve tried to show how the three elements of 22 GDPR are related. Only the left part doubles are part of 22 GDPR, including a part of the profiles.

It’s very interesting we now see a clarification we missed in directive 95/46/EC; the notion that profiling and automated decision-making may look similar but are in fact two different activities. They have different characteristics and will bring different risks to data subjects/citizens. Profiling can result in automated decision-making but automated decision-making doesn’t need to be based on profiles.

This blogpost is about these differences. Based on case-studies I performed in my thesis on Effective Remedies Against Automated Decisions in Tax and Social Security I summed up some of these differences. Please feel free to submit your feedback.

Autonomous handling systems, known as automated decision-making

Automated decision-making is used in public administration for ages. Jon Bing recalled a German example of computer conscious lawmaking in 1958 (Bing 2005: 203). In the Netherlands the tax administration still partly ‘runs’ on programs build in the seventies. Researchers call these systems ‘autonomous handling systems’. They not only produce the legal decision; they execute them as well by for instance transferring money from the government to the citizen. Some of these systems appear to be ‘expertsystems’, but in the Netherlands we  have a very simple but effective way of giving automated administrative fines to drivers of cars that didn’t get their technical checks in time, just by matching two databases.

These automated decisions run on personal data and algorithms. The law, publicly debated, result of a democratic process and made transparent and accessible to everybody, has to be transformed in language the computer understands; the algortihms (Wiese Schartum 2016:16). There are many issues that occur when we study automated mass administrative decision systems, like; who has the authority to interpret the law? (Bovens & Zouridis 2002) Is the source code made public? What is the legal status of this quasi legislation (Wiese Schartum 2016:19) How can an individual object these decisions? What if the computer decisions have a very high error rate? (as appears to be the case right now in Australia with Centrelink , Online Compliance Intervention System)

Automated profiling

Profiling on the other hand, if it is done by a computer since we happen to profile manually all our lives, is not as old. This makes sense because in order to be able to automate profiling, very large databases are needed and data processors that can work at a very high speed. Unlike automated decision making, profiling in public administration is only at the beginning of the technological capacities. As well as in automated decision-making, profiling (in article 22 GDPR) runs on personal data and algorithms. The difference is that profiling is used to predict the behavior of citizens and to single out those who behave differently from the main group. Based on data referring to their behavior, health, economic situation etc, the algorithm tries to bring some kind of order in the mass. The results can be of administrative internal work flow use, like ‘which tax deductions might be a risk to accept and are to be reviewed by a human?’ ‘which kind of citizens are likely to apply for benefits?’, hardly visible for citizens.

artistic-2063_1920
Diversity of citizens represented by coloring pencils. Categorizing them, attributing data and math can make you decide with what pencil you’ll start. 
But in some cases, the results can be more invasive; like legal decisions or surveillance activities (like frisking) aimed at only those travelers the algorithm has chosen. In unstructured big data, a pattern is made visible by datamining technologies and this pattern is used to predict other similar cases. Think of Netflix; offering you logical choices out of a massive number of movies and documentaries. Some of the same issues arise as in automated decisions, some of them differ; like how can we prevent the algorithms from bias? Who has the authority to ignore the predictions? Is transparency of algorithms helpful or put it differently; how could I as a citizen ever understand the algorithm? What if the computer finds a relation based on inherent human characteristics like health or genetics or race?

Dutch proposal executing GDPR

The difference has made the Dutch legislator propose different measures when it comes down to algorithms in public administration. The proposal has been subject to a public internet consultation before it will follow the procedural route.

Automated decision making in public administration will be permitted (and the right of data subject not to be subject to a decision overruled) if necessary for compliance with a legal obligation, or necessary for the performance of a task carried out in the public interest, and measures have been taking (by the controller) to safeguard legitimate interests of the data subject. As well the data subjects have (still) the right to ask the logic of the program on which the decision is based is shared. Other safeguards for the data subjects, like the right to ask for a review, are provided by General Administrative Law Act. To my knowledge, previous safeguards in directive 95/46 have never been invoked in disputes concerning automated decisions in administrative case law.

On automated profiling the Dutch legislator seems to stick to the rules of 22 GDRP, meaning that the right of the data subject not to be subject to a decision based on automated profiling (which produces legal effects concerning him or her or similarly significantly affects him or her) doesn’t apply if the decision is authorized by Dutch Law. So far, we seem to have one profiling project in public administration with legal basis; Syri. More info in English in this publication.

Other profiling initiatives in public administration seem -until today- not to lead to legal decisions. They are used to see which citizens or applies have to be checked by humans. It’s unlikely this kind of profiling match the definition in 22 GDPR. If the proposal of execution law of GDPR in Netherlands is accepted, automated profiles that do lead to invasive consequences but not to legal decisions -as is the case in border controls or police monitoring- will need a legal basis in law.

It will be interesting to see if some anti-fraud measures based on automated profiles are similarly as legal effects significantly affecting the data subject. Like deviating a digital apply for a benefit in a face to face apply because the data subject fits the profile of fraudster. Offering green lanes or denying them. Is it significantly (similarly as legal effects) affecting a person to have to proof his existence and papers at a desk or isn’t it? Based on the polls I took while teaching, at least most civil servants don’t consider this significantly affecting.

Why is the difference important?

It is important to stay alert on these differences when we discuss 22 GDRP. Some of the problems will seem to be the same; incorrect decisions, unknown algorithms, people who don’t fit in the predesigned categories and seek for individual fairness (Einzellfalgerechtigkeit) but it would be a mistake to treat the activities the same. Profiling is calculation of probability, and fundamentally different from a calculation of my administrative data with variables explicitly mentioned in law.

Profiling uses not only more (big) data, the data are more decontextualized, the data contain data we give away unconsciously (like using or not using an app the government provides for, like changing your online apply a few times before sending it) and they will only consider the past to predict the future. In light of the GDPR where a lot of exemptions are made for research and analyzing personal data, it will depend on how governments use profiles. Accountability for these profiles is not only important in relation to data protection. It will raise all kind of fundamental rights questions.

To conclude this interesting matter I could talk about for days, I’ve come up with this short and simple chart:

  Automated decision making Automated Profiling
function Engine of auto bureaucracy Accessory of bureaucracy
 

input

 

Structured personal data

 

Unstructured personal data

 

output

 

Calculation Calculation of probability
algorithms Written by humans based on law  

Selflearning or written by humans based on mathematical correlations

 

data

 

Administrative data as variables in algortihms based on law

 

Big data on all kind of aspects, including behavior.

 

decision

 

 

Aimed at a specific citizen based on his/her administrative data (like age, income etc)

 

 

Based on data of people in similar circumstances, aimed to singling out.

 

Officially in the Netherlands since

 

1970s (social security, motor car tax)

 

2014 (SyRI, social security fraud detection)

 

Jargon

 

Business rules

 

Risk rules / self learning

(lit.)

Bovens & Zouridis 2002

Bovens & S. Zouridis, ‘ From Street-Level to System-Level Bureaucracies: How Information and Communication Technology is Transforming Administrative Discretion and Constitutional Control’. Public Administration Review, 2002, vol. 62-No. 2.

Bing 2005

Jon Bing, ‘Code, Acces and Control’ in ‘Human Rights in the Digital Age’ M. Klang & A. Murray (eds), Cavendish Publishing Ltd 2005.

Wiese Schartum 2016

Dag Wiese Schartum, ‘Law and algorithms in the public domain.’ Etikk i praksis. Nordic Journal of Applied Ethics. 2016, 10 (1). DOI: http://dx.doi.org/10.5324/eip.v10i1.1973

Geautomatiseerde overheidsbesluiten, profielen en artikel 42 Wbp.

Artikel 42 Wbp leidt een wonderlijk en slapend bestaan. Wonderlijk omdat deze bepaling in het privacyrecht voor de overheid voortdurend lijkt te worden opgerekt. Slapend omdat in het bestuursrecht deze bepaling niet wordt ingeroepen voor situaties waarin die juist wel van toepassing zou zijn en bescherming biedt aan burgers.

In deze blog zullen we analyseren wat artikel 42 Wbp beoogt. Van daaruit zullen we onderzoeken welke vormen van overheidshandelen begrensd worden door artikel 42 Wbp en op welke wijze deze ook in het bestuursrecht rechtsbescherming zou kunnen bieden in een wereld waarin profiling, big data en risicomeldingen hoge verwachtingen wekken.

Wat staat er eigenlijk in artikel 42 Wbp?

Niemand kan worden onderworpen aan een besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem in aanmerkelijke mate treft, indien dat besluit alleen wordt genomen op grond van een geautomatiseerde verwerking van persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid.

Er zijn twee uitzonderingen mogelijk op dit wettelijk verbod:

  • Als het gaat om het sluiten van een overeenkomst kan een besluit (geen besluit als in de Awb) genomen worden mits aan het verzoek van betrokkene is voldaan en zo niet, mits hij van te voren in de gelegenheid is gesteld zijn zienswijze naar voren te brengen.
  • Als het gaat om een besluit dat zijn grondslag vindt in een wet en daarin maatregelen zijn vastgelegd die strekken tot bescherming van het gerechtvaardigde belang van de betrokkene.

Laten we eerst kijken naar het verbod. De verbodsbepaling uit de Wbp is gebaseerd op artikel 15 van de Richtlijn 95/46 die in de hele EU geldt. In deze bepaling is voorgeschreven dat lidstaten ervoor moeten zorgen dat ‘aan ieder het recht wordt toegekend niet te worden onderworpen aan een besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem in aanmerkelijke mate treft en dat louter wordt genomen op grond van geautomatiseerde gegevensverwerking bestemd om bepaalde aspecten van zijn persoonlijkheid te evalueren.’

In de originele tekst van de Richtlijn spreekt men bij artikel 15 over ‘automated individual decisions’. Zie hier de oorzaak van het wonderlijke bestaan. Gebruik de woorden ‘geautomatiseerde besluitvorming’ en de privacyjurist denkt ’42 Wbp’!

Wat zijn geautomatiseerde besluiten?

Er zijn in de uitvoering door bestuursorganen twee vormen van geautomatiseerde besluitvormen te onderscheiden:

  1. besluiten die door expertsystemen worden genomen op basis van een samenspel van verzamelde gegevens (variabelen) en beslisregels (de algoritmen). Deze systemen kun je vergelijken met een ambtenaar die een aangifte handmatig beoordeelt; het checkt de gegevens en gaat aan de slag met (plat gezegd) <als X dan Y > formules. De uitkomst is een beschikking van een bestuursorgaan waartegen de gebruikelijke rechtsmiddelen openstaan. Op tal van terreinen nemen computers de primaire besluiten. Je kunt denken aan de studiefinanciering, toeslagen, WOZ-beschikkingen en boetes voor te hard rijden.
  2. Het is technologisch ook mogelijk om besluiten te nemen of feitelijk te handelen op basis van profielschetsen. Je hebt bijvoorbeeld schulden gemaakt in het verleden en dat is voor een telefoonmaatschappij reden om aan te nemen dat het risico te groot is om je direct een abonnement te verlenen. Of je krijgt een bepaalde functie niet omdat je niet door een screening komt. Dit kun je in de analoge wereld vergelijken met een mens die risico’s moet inschatten; geef ik iemand wel of geen lening? Krijgt iemand wel of geen verklaring omtrent gedrag?

In mijn visie worden in het eerste geval wel geautomatiseerd persoonsgegevens verwerkt, maar kun je niet zeggen dat deze bestemd zijn om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid. Want dat impliceert immers dat er gewerkt wordt met profielen, schetsen van iemands persoonlijkheid door het evalueren van gedrag.

Een voorbeeld. Stel dat de WOZ-waarde van uw huis bepaald moet worden. Dit gebeurt geautomatiseerd en aan de hand van een aantal, vrij droge, data; referentiehuizen, ligging, oppervlakte en economische gegevens. Dit is geautomatiseerde besluitvorming maar zonder profielen. Artikel 42 Wbp is niet van toepassing, wel de Awb.

Maar stel nu dat besloten wordt om een aantal WOZ-waarde beschikkingen anders wil behandelen omdat het bestuur af wil van de massale bezwaarzaken. Men kan dan in de systemen uitzoeken welke soort mensen (leeftijd, geslacht, gezinssamenstelling), in welke wijk en met welke gemiddelde WOZ-waarden het hoogste aantal bezwaarschriften heeft ingediend bij het bestuur en op basis daarvan die groep selecteren die men vast de wind uit de zeilen wil nemen. Er wordt dan statistiek bedreven op basis van gedragskenmerken en kenmerken die onveranderlijk zijn om een uitspraak te doen over de kans op het indienen van een bezwaarschrift. Dit is een gegevensverwerking die bestemd is om een beeld te krijgen van bepaalde aspecten van iemands persoonlijkheid. Artikel 42 Wbp ziet op deze vorm van profielen.

Het is niet altijd duidelijk; zo verschilden de wetgever enerzijds en het CBP en Raad van State anderzijds van mening over de gegevensverwerking die gebruikt werd om vast te stellen of iemand in aanmerking kwam voor een tegemoetkoming toegekend door het CAK. De wetgever vond het geen profielen, CBP en Raad van State (Advies W13.10.0172/I) wel. In de meest principiële rechtszaak die hierover is gevoerd werd echter niet aan de bestuursrechter gevraagd om hier een oordeel over te geven, hoewel het materiele geschil juist de onderliggende kwalificaties betrof.

Werken met profielen bij de overheid? Niet altijd een kwestie voor artikel 42 Wbp

Vervolgens het tweede misverstand; zodra het woord ‘profielen’ valt, denken we aan het verbod van 42 Wbp. Maar ook dat is te snel.

Het werken met geautomatiseerde profielen komt dus pas te vallen onder het verbod van 42 Wbp als dit in de verhouding overheid-burger leidt tot een besluit in de zin van de Awb of een handeling die iemand in aanmerkelijke mate treft. Is dat het geval, dan regelt artikel 42, vierde lid, van de Wbp ook dat de verantwoordelijke de betrokkene de logica meedeelt die ten grondslag ligt aan de geautomatiseerde verwerking van hem betreffende gegevens.

profilee

Wat als bestuursorgaan geautomatiseerd beschikkingen neemt gebaseerd op profielen?

Onomstreden is dat zodra er een besluit genomen wordt enkel op basis van een profiel we aanlopen tegen het verbod. En nu wordt het bestuursrechtelijk erg boeiend. Want volgens de MvT geldt voor burgers die geconfronteerd worden met dergelijke beschikkingen, de bescherming van artikelen 4:7 en volgende van de Awb.

Artikelen 4:7 Awb ev behelzen een nadere invulling van het zorgvuldigheidsbeginsel en houden in dat de belanghebbende zelf, voorafgaand aan het besluit, zijn visie mag geven. Op die manier dient de computer, of het profiel, dus als een intern advies en kan de belanghebbende een ander licht op de zaak geven. Het achterliggende idee van de artikel 15 van de Richtlijn is dat de menselijke waardigheid vereist dat dergelijke beslissingen niet door de computer genomen kunnen worden.

De verwijzing naar artikel 4:7 van de Awb zou dus neerkomen op een verbod op het geautomatiseerd nemen van beschikkingen gebaseerd op profielen. Het kan immers niet volledig geautomatiseerd zijn als iemand eerst zijn visie mag geven. Zie hier ook het idee dat er dan een menselijke tussenkomst is gegarandeerd. Goed nieuws dus, zou u denken.

Maar, nu komt het: in artikel 4:12 Awb is geregeld dat het vragen om een zienswijze achterwege kan blijven bij beschikkingen over financiële aanspraken (verreweg het leeuwendeel van de te nemen beschikkingen) mits de nadelige gevolgen daarvan ongedaan gemaakt kunnen worden.

Met andere woorden; er was eerst een wettelijk verbod, toen een bevoegdheid met als voorwaarde dat eerst om een zienswijze wordt gevraagd (feitelijk is het dan onmogelijk om geautomatiseerd te besluiten), om uiteindelijk alsnog tot een bevoegdheid tot komen (waarbij vertrouwd wordt op de bescherming van de bezwaarprocedure).

Het zou interessant zijn te onderzoeken of Nederland hiermee eigenlijk wel op een juiste manier artikel 15 van de Richtlijn heeft geïmplementeerd. Bijvoorbeeld bij rechtszaken over beschikkingen gebaseerd op CBBS, software die door UWV gebruikt wordt om de functie vast te stellen die iemand nog zou kunnen vervullen.  Volgens annotator prof. Overkleeft-Verburg zou voor CBBS het verbod van 42 Wbp gelden.

Bij het uitvoeren van Europees recht door een Nederlands bestuursorgaan op basis van profielen wordt het nog pregnanter omdat dan het recht op behoorlijk bestuur uit artikel 41 van het Handvest grondrechten geldt. Dit recht houdt namelijk in een recht van eenieder om te worden gehoord voordat jegens hem een voor hem nadelige individuele maatregel wordt genomen.  

Wat als het bestuursorgaan een betrokkene in aanmerkelijke mate raakt gebaseerd op profielen?

In het bestuursrecht is vervolgens interessant hoe het zit met het verbod om iemand te onderwerpen aan een besluit dat hem in aanmerkelijke mate treft. Ik vermoed dat we het dan hebben over feitelijk handelen of voorbereidingshandelingen van een besluit.

Niet elk feitelijk handelen dus, maar handelen dat iemand in aanmerkelijke mate treft. Denk aan SyrI; na het loslaten van risicomodellen op een berg aan persoonsgegevens over mensen met een uitkering, komt er een ‘risicomelding’. Hoewel negatief over de opzet en omvang van SyRI, noemt de Raad van State artikel 42 Wbp niet. (Zie het advies Raad van State afdeling advisering; W12.14.0102/III.) Toch zou SyRI wel eens onder artikel 42 Wbp kunnen vallen.

Het ligt, zo verwacht ik, dan ook aan de methode van onderzoek NA de melding of we kunnen spreken van het ‘iemand in aanmerkelijke mate’ treffen. Een administratieve check is iets anders dan een huisbezoek. In het geval van SyRI echter komt iemand bovendien na een melding in een register te staan, met alle risico’s van dien. Wordt iemand dan in aanmerkelijke mate geraakt?

Bij het meest vergaande feitelijk handelen na een risicomelding, denk ik aan het afleggen van huisbezoeken. Huisbezoeken is eufemistisch taalgebruik voor onaangekondigd onderzoek in iemands woning. Dit lijkt mij zeker het in aanmerkelijke mate raken van een betrokkene.

Huisbezoeken die op basis van risicoprofielen worden afgelegd kennen we. Uit de jurisprudentie van de CRvB over de controle van rechtmatigheid van studiefinanciering of bijstand.

Uit het artikel van Van den Berg en Van der Leek ‘Studiefinanciering: de uitwonendencontrole’ JBPlus 15/2 blijkt dat DUO risicoprofielen hanteert om te kunnen bepalen welke student met een uitwonende beurs vereerd wordt met een bezoek:

Een risicoprofiel is een set van kenmerken die een verhoogde kans geeft op (vaststelling van) regelovertreding. Hoewel de minister geen inzage geeft in de technische aspecten van de profielen, is wel duidelijk dat daarbij een rol spelen de afstand tussen het adres van de student en het adres van zijn ouders, de afstand van deze adressen tot de school, het aantal inschrijvingen op een adres in relatie tot familieverhoudingen.

Opvallend. Vooral omdat in de rechtszaken hierover artikel 42 Wbp geen rol speelt. Opvallend is ook dat bestuursorganen dus de logica niet mededelen aan betrokkenen, noch de bestuursrechter.

Maar, is de onbekendheid met artikel 42 Wbp erg?

Ik denk het wel, artikel 42 Wbp geeft waarborgen die passen bij de toegenomen kracht van (big) data verrijking. Ook het feit dat de logica niet voor de betrokkene geheim mag worden gehouden (artikel 42, vierde lid, van de Wbp) terwijl in de meeste uitspraken de rechter het betoog van het bestuur volgt dat dit juist wel geheim moet blijven, laat zien dat de huidige bescherming geen gelijke tred houdt met de technologische mogelijkheden.

Het gaat om het terugbrengen van de balans. Er zijn genoeg instrumenten: vanuit de EU Richtlijn (menselijke waardigheid), artikel 4:7 en 4:8 van de Awb (zorgvuldigheidsbeginsel) en artikel 41 van het Handvest (behoorlijk bestuur) welke allen steeds uitkomen op dezelfde waarborgen: na het wiskundige rekenresultaat over de kans op een risico, is het aan de belanghebbende zijn visie van het verhaal te geven.