Algorithms in public administration

We are witnessing a rapidly growing leading role for algorithms, both in civil law based relations like customers in relation to Netflix as in public administration relations where we have citizens on one side and the (mostly) executive branch of the government on the other. When the algorithms are using personal data to do their automated calculation (in the Netherlands we even profile our dykes), and result in a decision which produces legal effects concerning him or her or similarly significantly affects him or her, the frame work is provided in the new article  22 of the GDPR  ‘Automated individual decision-making, including profiling’.

3
22 GDPR 
In this figure I’ve tried to show how the three elements of 22 GDPR are related. Only the left part doubles are part of 22 GDPR, including a part of the profiles.

It’s very interesting we now see a clarification we missed in directive 95/46/EC; the notion that profiling and automated decision-making may look similar but are in fact two different activities. They have different characteristics and will bring different risks to data subjects/citizens. Profiling can result in automated decision-making but automated decision-making doesn’t need to be based on profiles.

This blogpost is about these differences. Based on case-studies I performed in my thesis on Effective Remedies Against Automated Decisions in Tax and Social Security I summed up some of these differences. Please feel free to submit your feedback.

Autonomous handling systems, known as automated decision-making

Automated decision-making is used in public administration for ages. Jon Bing recalled a German example of computer conscious lawmaking in 1958 (Bing 2005: 203). In the Netherlands the tax administration still partly ‘runs’ on programs build in the seventies. Researchers call these systems ‘autonomous handling systems’. They not only produce the legal decision; they execute them as well by for instance transferring money from the government to the citizen. Some of these systems appear to be ‘expertsystems’, but in the Netherlands we  have a very simple but effective way of giving automated administrative fines to drivers of cars that didn’t get their technical checks in time, just by matching two databases.

These automated decisions run on personal data and algorithms. The law, publicly debated, result of a democratic process and made transparent and accessible to everybody, has to be transformed in language the computer understands; the algortihms (Wiese Schartum 2016:16). There are many issues that occur when we study automated mass administrative decision systems, like; who has the authority to interpret the law? (Bovens & Zouridis 2002) Is the source code made public? What is the legal status of this quasi legislation (Wiese Schartum 2016:19) How can an individual object these decisions? What if the computer decisions have a very high error rate? (as appears to be the case right now in Australia with Centrelink , Online Compliance Intervention System)

Automated profiling

Profiling on the other hand, if it is done by a computer since we happen to profile manually all our lives, is not as old. This makes sense because in order to be able to automate profiling, very large databases are needed and data processors that can work at a very high speed. Unlike automated decision making, profiling in public administration is only at the beginning of the technological capacities. As well as in automated decision-making, profiling (in article 22 GDPR) runs on personal data and algorithms. The difference is that profiling is used to predict the behavior of citizens and to single out those who behave differently from the main group. Based on data referring to their behavior, health, economic situation etc, the algorithm tries to bring some kind of order in the mass. The results can be of administrative internal work flow use, like ‘which tax deductions might be a risk to accept and are to be reviewed by a human?’ ‘which kind of citizens are likely to apply for benefits?’, hardly visible for citizens.

artistic-2063_1920
Diversity of citizens represented by coloring pencils. Categorizing them, attributing data and math can make you decide with what pencil you’ll start. 
But in some cases, the results can be more invasive; like legal decisions or surveillance activities (like frisking) aimed at only those travelers the algorithm has chosen. In unstructured big data, a pattern is made visible by datamining technologies and this pattern is used to predict other similar cases. Think of Netflix; offering you logical choices out of a massive number of movies and documentaries. Some of the same issues arise as in automated decisions, some of them differ; like how can we prevent the algorithms from bias? Who has the authority to ignore the predictions? Is transparency of algorithms helpful or put it differently; how could I as a citizen ever understand the algorithm? What if the computer finds a relation based on inherent human characteristics like health or genetics or race?

Dutch proposal executing GDPR

The difference has made the Dutch legislator propose different measures when it comes down to algorithms in public administration. The proposal has been subject to a public internet consultation before it will follow the procedural route.

Automated decision making in public administration will be permitted (and the right of data subject not to be subject to a decision overruled) if necessary for compliance with a legal obligation, or necessary for the performance of a task carried out in the public interest, and measures have been taking (by the controller) to safeguard legitimate interests of the data subject. As well the data subjects have (still) the right to ask the logic of the program on which the decision is based is shared. Other safeguards for the data subjects, like the right to ask for a review, are provided by General Administrative Law Act. To my knowledge, previous safeguards in directive 95/46 have never been invoked in disputes concerning automated decisions in administrative case law.

On automated profiling the Dutch legislator seems to stick to the rules of 22 GDRP, meaning that the right of the data subject not to be subject to a decision based on automated profiling (which produces legal effects concerning him or her or similarly significantly affects him or her) doesn’t apply if the decision is authorized by Dutch Law. So far, we seem to have one profiling project in public administration with legal basis; Syri. More info in English in this publication.

Other profiling initiatives in public administration seem -until today- not to lead to legal decisions. They are used to see which citizens or applies have to be checked by humans. It’s unlikely this kind of profiling match the definition in 22 GDPR. If the proposal of execution law of GDPR in Netherlands is accepted, automated profiles that do lead to invasive consequences but not to legal decisions -as is the case in border controls or police monitoring- will need a legal basis in law.

It will be interesting to see if some anti-fraud measures based on automated profiles are similarly as legal effects significantly affecting the data subject. Like deviating a digital apply for a benefit in a face to face apply because the data subject fits the profile of fraudster. Offering green lanes or denying them. Is it significantly (similarly as legal effects) affecting a person to have to proof his existence and papers at a desk or isn’t it? Based on the polls I took while teaching, at least most civil servants don’t consider this significantly affecting.

Why is the difference important?

It is important to stay alert on these differences when we discuss 22 GDRP. Some of the problems will seem to be the same; incorrect decisions, unknown algorithms, people who don’t fit in the predesigned categories and seek for individual fairness (Einzellfalgerechtigkeit) but it would be a mistake to treat the activities the same. Profiling is calculation of probability, and fundamentally different from a calculation of my administrative data with variables explicitly mentioned in law.

Profiling uses not only more (big) data, the data are more decontextualized, the data contain data we give away unconsciously (like using or not using an app the government provides for, like changing your online apply a few times before sending it) and they will only consider the past to predict the future. In light of the GDPR where a lot of exemptions are made for research and analyzing personal data, it will depend on how governments use profiles. Accountability for these profiles is not only important in relation to data protection. It will raise all kind of fundamental rights questions.

To conclude this interesting matter I could talk about for days, I’ve come up with this short and simple chart:

  Automated decision making Automated Profiling
function Engine of auto bureaucracy Accessory of bureaucracy
 

input

 

Structured personal data

 

Unstructured personal data

 

output

 

Calculation Calculation of probability
algorithms Written by humans based on law  

Selflearning or written by humans based on mathematical correlations

 

data

 

Administrative data as variables in algortihms based on law

 

Big data on all kind of aspects, including behavior.

 

decision

 

 

Aimed at a specific citizen based on his/her administrative data (like age, income etc)

 

 

Based on data of people in similar circumstances, aimed to singling out.

 

Officially in the Netherlands since

 

1970s (social security, motor car tax)

 

2014 (SyRI, social security fraud detection)

 

Jargon

 

Business rules

 

Risk rules / self learning

(lit.)

Bovens & Zouridis 2002

Bovens & S. Zouridis, ‘ From Street-Level to System-Level Bureaucracies: How Information and Communication Technology is Transforming Administrative Discretion and Constitutional Control’. Public Administration Review, 2002, vol. 62-No. 2.

Bing 2005

Jon Bing, ‘Code, Acces and Control’ in ‘Human Rights in the Digital Age’ M. Klang & A. Murray (eds), Cavendish Publishing Ltd 2005.

Wiese Schartum 2016

Dag Wiese Schartum, ‘Law and algorithms in the public domain.’ Etikk i praksis. Nordic Journal of Applied Ethics. 2016, 10 (1). DOI: http://dx.doi.org/10.5324/eip.v10i1.1973

Je hebt wél iets te verbergen. Verslag van het Grote Privacy Experiment. Verschenen in Privacy & Informatie 2016/5

Op 15 september 2016 werd de verschijning van het boek ‘Je hebt wel iets te verbergen’ van onderzoeksjournalisten Maurits Martijn en Dimitri Tokmetzis gevierd met een uitverkocht zaal in de Utrechtse Schouwburg met de titel: Het Grote Privacy Experiment. Op dat moment waren er al 7000 exemplaren verkocht van het boek. Als een heuse verslaggever toog ik voor u naar Utrecht. Ook was ik van plan voor u een paar diepte-interviews te houden. Hier het resultaat.

Maurits Martijn en Dimitri Tokmetzis zijn de Frank Kuitenbrouwers van deze tijd; publicisten met kennis van zaken, scherpe blik en goede pen. Zij zijn als geen ander in staat de kloof te dichten tussen het abstracte en weinig toegankelijke privacyrecht, dito technologische vernieuwingen en het grote publiek; de mensen om wie het gaat. Zij schrijven voor De Correspondent. 

Nu ligt er, en ook dat doet aan Kuitenbrouwer denken, een boek. Nieuw is dat het boek samenging met een snel uitverkocht evenement in de Stadsschouwburg van Utrecht. Wie had dat kunnen denken?

Een avondvullend programma over privacy?

Een avondvullend programma over privacy? Mensen daarvoor een kaartje laten kopen? Dat was voor mij al de grootste verrassing. En als ik de leeftijd van de bezoekers inschat, kan ook die ándere mythe van tafel. De mythe dat jonge mensen niet om privacy geven.

Rob Wijnberg opende de avond en liet met schaamtevolle foto’s en filmpjes van hem en zijn collega’s zien dat mensen verschillende rollen aannemen en dat mensen door de jaren heen van zichzelf verschillen. Op je werk doe je anders dan thuis. Iemand van 35 jaar gedraagt zich anders dan iemand van 18. En de maatschappij verandert ook; een normaal gebruik in het ene tijdperk (met je kinderen zonder gordel, autozitje en airco in een Renault 4 naar Spanje rijden), lijkt anno nu pure kindermishandeling.

Vervolgens startte Het Experiment. Martijn en Tokmetzis klapten hun laptops open en bleken sommige bezoekers als proefkonijn te hebben gebruikt. U raadt het natuurlijk al, er waren mensen die zich met hun Facebook account hadden aangemeld. Zo konden hun gezinssamenstelling, beroep, hobbies en naam van geliefde gedeeld worden met de zaal. Dat is voor een privacyjurist dan weer minder verassend maar het maakt het concept ‘privacy’ wel voelbaar. En dat is waar we als privacyjuristen niet in zijn geslaagd; het belang van dit grondrecht te laten voelen. 

Tommy Wieringa

Gelukkig zijn andere mensen daar beter in. Zoals schrijvers. Stiekem hopen we natuurlijk allemaal op een nieuw ‘1984’. De domper was dan ook groot toen de kandidaat bij uitstek, Tommy Wieringa, achter het spreekgestoelte opbiechtte privacy een ‘rotonderwerp’ te vinden om over te schrijven. 

‘Die roman komt er niet.’

Want wat u misschien niet weet is dat de romanschrijver van Joe Speedboot en Cesarion zich ook heeft verdiept in het profilingsysteem SyRI, Suwinet en EPD. Over Suwinet en diens voorloper schreef ik zelf in dit tijdschrift. We mogen in Nederland in onze handen mogen knijpen met denkers en schrijvers die zich door ambtelijke en technocratisch beleidsstukken weten te worstelen om te wijzen op de gevolgen voor de samenleving. De conclusie van Wieringa was somber, de conditionering van de mens is een ongekend succes geworden, dat de mens een vrijheidslievend wezen is, is een vergissing. 

Maxim Februari

Het werd niet heel veel vrolijker toen Maxim Februari begon te spreken. Data, zo zei hij, zijn afgeleide fantomen, niet de mens zelf. Er bestaan geen waardevrije gegevenssets, geen waardevrije beslisregels. Bij rechtsregels kun je met elkaar in discussie gaan, maar de ruimte om het met elkaar oneens te zijn verdwijnt als deze deel gaan uitmaken van technologie. En dan ontstaat er absolute macht. De zaal was muisstil. Gaat dit nog goedkomen? Of zijn wij reddeloos verloren in de strijd om onze aandacht, data, afdwingen van gewenst gedrag? (Zie hier een Onovertroffen column)

Op zoek naar oplossingen

Die vraag zou beantwoord worden door een vergelijking te zoeken met het krachtenveld rond het klimaat; klimaatproblemen vertonen veel gelijkenis met privacyproblemen, zoals dat het langzaam erger wordt en ons allemaal aangaat. Het zal ú misschien wel plezieren, maar men verwachtte nogal veel van het recht; van de AVG, van rechtszaken en van de AP. Ik deel die verwachting niet. Bijvoorbeeld omdat het geen recht doet aan de mens achter de rechtszaak. Mensen die centraal staan in grensverleggende rechtszaken (en helaas is dat vaak toch nodig voor de ontvankelijkheid van het beroep) worden daar immers niet bepaald gelukkiger van; het is vervreemdend, kost energie en levert immens veel frustratie op. 

Ikzelf denk dat als mensen werk willen maken van het verbeteren van de privacy omstandigheden, zij zouden moeten investeren in een groter bewustzijn bij mensen zelf, het creëren van massa. Alleen massa kan leiden tot technologische alternatieven. 

Inkijkje in de aandachtspanne van bezoekers tijdens Het Grote Privacy Experiment

Dat bewustzijn van de mensen zelf, werd nog een niveautje hoger getild toen ethisch hacker Wouter Slotboom als DJ het podium op werd gereden. Er bleken 62 mensen ingelogd te hebben op zijn wifinetwerk. Dit wisten zij zelf niet. Maar wij wisten door de getoonde metadata waar deze mensen op de wereld zoal geweest waren. Gekker werd het toen hij liet zien wat deze mensen tijdens de bijeenkomst op internet hadden bekeken; nieuwe jurkjes, voetbaluitslagen, veel social media en filmpjes. Ik weet niet wat mij meer verbaasde, dat bezoekers dit tijdens een bijeenkomst doen, of dat dit allemaal zichtbaar werd. Ik was al niet optimistisch over de aandachtspanne van studenten in een collegezaal, nu zou ik willen pleiten voor netwerkvrije bunkers! 

Privacy als excuus iets niet te hoeven doen

Helaas ben ik volslagen ongeschikt gebleken als interviewer. We voerden mooie gesprekken maar ik kan deze niet accuraat genoeg weergeven. Praten, denken en herinneren is mij niet gegeven. Maar in gevallen van onmacht, onkunde of onwil, is daar altijd ‘privacy’ als excuus. Kortom: omwille van de privacy kan ik u niet vertellen wat Tommy Wieringa mij aanraadde of Maxim Februari mij bekende.

Hoe ik toch nog proefkonijn werd

De avond eindige met een ongevraagde alarmerende profilering door Wieringa op basis van onder meer mijn ambtenarenbestaan:

‘u klinkt mij als een nerd.’

Een nerd? Een nerd? Ai. Dat deed pijn. Ik voelde wat ‘privacy’ is. Ik deed zelfs nog een poging van dit label af te komen: ik bekende spontaan allerlei triviale persoonlijke zwakheden. Ik ervaarde daarmee de privacy paradox; om van het profiel af te komen, moet je nog meer over jezelf vertellen.

Maar misschien is dat voor privacyjuristen bij de overheid de oplossing; niet meer zoals eens werd beschreven ‘flikflakkend door de gangen om aandacht te vragen voor privacy’, maar voortaan collega’s en bestuurders ongevraagd voorzien van een ongemakkelijk label.

Bestuursrecht: there’s an app for that!?

De overheid verandert. Net als de samenleving. Ok, bestuursorganen nemen besluiten, handelen puur feitelijk (vuilnis ophalen, openen van bezoekbalies) en verrichten nog steeds privaatrechtelijke rechtshandelingen. Maar de manier waarop is anders.

Om burgers te bereiken, maar ook om gegevens van burgers te verkrijgen, worden talloze apps ontwikkeld door de overheid. Wat apps doen, welke informatie zij over de burger genereren en hoe we deze moeten plaatsen als nudgingactiviteiten, vinden we niet terug in de standaard handboeken bestuursrecht. Misschien ontkomt dit vakgebied aan de voorspellingen van Susskind ‘to what problem are you the solution?’, maar als jurist bij de overheid geloof ik daar niets van. Lees hier een Review over het boek ‘The end of Lawyers?’ Review

Veel van het juridisch werk bij de overheid speelt zich namelijk nu al af in een door technologie gedomineerde omgeving. Dat is heel erg gaaf werk; want technologie kan de afstand tussen burger en overheid aanzienlijk verlagen. Je leert ervan om op een andere manier naar het recht te kijken.

14697782407_d61ce64bf5_z

Als jurist kun je daardoor je juridische kennis inzetten om het voor een veel groter publiek beschikbaar te maken. Op die manier verschuift het traditionele denken van procederen in een rechtszaal (jurisprudentie) naar het voorkomen van procedures of het bijstaan van mensen. Want  juristen mogen dol zijn op rechtszaken, de burger zelf wordt er vaak niet gelukkiger van.

Ik kijk persoonlijk erg uit naar de Berichtenboxapp. Een app waarmee je direct beveiligd naar de inhoud kunt gaan van je berichtenbox. Gemaakt door deskundige ambtenaren. Ook dat is bestuursrecht! In veel van deze apps zit juridische kennis verwerkt.

Hier een overzicht van de leukste apps die ik voor eerstejaarsstudenten bestuursrecht heb verzameld. Want een ding is zeker, als zij de universiteit over een paar jaar verlaten, zal het juridische werk gedurende hun loopbaan er heel anders uit gaan zien.

doe de woning check (brandweer)

douane reizen app (wat mag ik invoeren?)

Overstroom ik? app (waterschappen)

Kopie ID app (bescherming tegen identiteitsdiefstal)

Fietsmodus app (off line op de fiets)

wettenpocket app (wetten met jurisprudentie)

buitenbeter app

 

Goed nieuws over uitspraken Bestuursrechters

Precies een jaar geleden gaf ik in De Correspondent tips voor iedereen die wel eens een uitspraak van de bestuursrechter leest. Inmiddels heeft de afdeling bestuursrechtspraak van de Raad van State besloten de uitspraken ook beter leesbaar te gaan schrijven. Over dit nieuwtje schreef ik een   Update voor De Correspondent:

https://decorrespondent.nl/4281/Goed-nieuws-uitspraken-van-rechters-worden-begrijpelijker/218697950196-f2c273a0

Ook mocht ik erover vertellen bij Frits Spits in de Taalstaat (begin van het eerste gedeelte). Een van de nieuwtjes is dat de uitspraak voortaan eerst ingaat op de Theo en Thea vraag: ‘waar gaat het eigenlijk over?’. imagenu  is het hopen op volgers: andere juridische professionals die ook zien dat het recht al moeilijk genoeg van zichzelf is en dat het taalgebruik niet een extra belemmering moet zijn.

Bestuursrecht in plaatjes

IMG_6333
De Awb bestaat uit tranches (in het Frans betekenen Tranches ‘takken’). Hiermee wordt bedoeld dat de Awb in verschillende stappen gebouwd is, het is aanbouwwetgeving. Oftewel een takkenwet. Niet te verwarren met ‘Takkewet’.
burgers
Het bestuursorgaan bestuurt burgers. Burgers zijn verschillend en hun belangen ook. Bij het uitvoeren van hun taken treedt als vanzelf een dilemma op dat we allemaal herkennen: een regel vinden we belangrijk (er mag niet te hard gereden worden want dat is gevaarlijk), we vinden het goed dat mensen daarvoor beboet worden (handhaving van het recht) maar die ene keer dat ik te hard reed en een boete kreeg was gewoon Belachelijk (ik ben de uitzondering op de regel).

 

orgaan
Een openbaar lichaam heeft geen publiekrechtelijk bevoegdheden. Daar zijn de organen voor. De ambten. Bestuursorganen.

 

lichaam.heel
Het bestuur in Nederland bestaat uit openbare lichamen. Dit zijn de Staat, de provincies, de gemeenten en waterschappen. Deze lichamen zijn openbaar omdat er een zekere ‘democratische legitimatie’ is. Een deel van de personen die worden bestuurd door openbare lichamen (personensubstraat) kunnen indirect invloed uitoefenen door hun stemrecht.