Tagarchief: profiling

Algorithms in public administration

We are witnessing a rapidly growing leading role for algorithms, both in civil law based relations like customers in relation to Netflix as in public administration relations where we have citizens on one side and the (mostly) executive branch of the government on the other. When the algorithms are using personal data to do their automated calculation (in the Netherlands we even profile our dykes), and result in a decision which produces legal effects concerning him or her or similarly significantly affects him or her, the frame work is provided in the new article  22 of the GDPR  ‘Automated individual decision-making, including profiling’.

22 GDPR 
In this figure I’ve tried to show how the three elements of 22 GDPR are related. Only the left part doubles are part of 22 GDPR, including a part of the profiles.

It’s very interesting we now see a clarification we missed in directive 95/46/EC; the notion that profiling and automated decision-making may look similar but are in fact two different activities. They have different characteristics and will bring different risks to data subjects/citizens. Profiling can result in automated decision-making but automated decision-making doesn’t need to be based on profiles.

This blogpost is about these differences. Based on case-studies I performed in my thesis on Effective Remedies Against Automated Decisions in Tax and Social Security I summed up some of these differences. Please feel free to submit your feedback.

Autonomous handling systems, known as automated decision-making

Automated decision-making is used in public administration for ages. Jon Bing recalled a German example of computer conscious lawmaking in 1958 (Bing 2005: 203). In the Netherlands the tax administration still partly ‘runs’ on programs build in the seventies. Researchers call these systems ‘autonomous handling systems’. They not only produce the legal decision; they execute them as well by for instance transferring money from the government to the citizen. Some of these systems appear to be ‘expertsystems’, but in the Netherlands we  have a very simple but effective way of giving automated administrative fines to drivers of cars that didn’t get their technical checks in time, just by matching two databases.

These automated decisions run on personal data and algorithms. The law, publicly debated, result of a democratic process and made transparent and accessible to everybody, has to be transformed in language the computer understands; the algortihms (Wiese Schartum 2016:16). There are many issues that occur when we study automated mass administrative decision systems, like; who has the authority to interpret the law? (Bovens & Zouridis 2002) Is the source code made public? What is the legal status of this quasi legislation (Wiese Schartum 2016:19) How can an individual object these decisions? What if the computer decisions have a very high error rate? (as appears to be the case right now in Australia with Centrelink , Online Compliance Intervention System)

Automated profiling

Profiling on the other hand, if it is done by a computer since we happen to profile manually all our lives, is not as old. This makes sense because in order to be able to automate profiling, very large databases are needed and data processors that can work at a very high speed. Unlike automated decision making, profiling in public administration is only at the beginning of the technological capacities. As well as in automated decision-making, profiling (in article 22 GDPR) runs on personal data and algorithms. The difference is that profiling is used to predict the behavior of citizens and to single out those who behave differently from the main group. Based on data referring to their behavior, health, economic situation etc, the algorithm tries to bring some kind of order in the mass. The results can be of administrative internal work flow use, like ‘which tax deductions might be a risk to accept and are to be reviewed by a human?’ ‘which kind of citizens are likely to apply for benefits?’, hardly visible for citizens.

Diversity of citizens represented by coloring pencils. Categorizing them, attributing data and math can make you decide with what pencil you’ll start. 
But in some cases, the results can be more invasive; like legal decisions or surveillance activities (like frisking) aimed at only those travelers the algorithm has chosen. In unstructured big data, a pattern is made visible by datamining technologies and this pattern is used to predict other similar cases. Think of Netflix; offering you logical choices out of a massive number of movies and documentaries. Some of the same issues arise as in automated decisions, some of them differ; like how can we prevent the algorithms from bias? Who has the authority to ignore the predictions? Is transparency of algorithms helpful or put it differently; how could I as a citizen ever understand the algorithm? What if the computer finds a relation based on inherent human characteristics like health or genetics or race?

Dutch proposal executing GDPR

The difference has made the Dutch legislator propose different measures when it comes down to algorithms in public administration. The proposal has been subject to a public internet consultation before it will follow the procedural route.

Automated decision making in public administration will be permitted (and the right of data subject not to be subject to a decision overruled) if necessary for compliance with a legal obligation, or necessary for the performance of a task carried out in the public interest, and measures have been taking (by the controller) to safeguard legitimate interests of the data subject. As well the data subjects have (still) the right to ask the logic of the program on which the decision is based is shared. Other safeguards for the data subjects, like the right to ask for a review, are provided by General Administrative Law Act. To my knowledge, previous safeguards in directive 95/46 have never been invoked in disputes concerning automated decisions in administrative case law.

On automated profiling the Dutch legislator seems to stick to the rules of 22 GDRP, meaning that the right of the data subject not to be subject to a decision based on automated profiling (which produces legal effects concerning him or her or similarly significantly affects him or her) doesn’t apply if the decision is authorized by Dutch Law. So far, we seem to have one profiling project in public administration with legal basis; Syri. More info in English in this publication.

Other profiling initiatives in public administration seem -until today- not to lead to legal decisions. They are used to see which citizens or applies have to be checked by humans. It’s unlikely this kind of profiling match the definition in 22 GDPR. If the proposal of execution law of GDPR in Netherlands is accepted, automated profiles that do lead to invasive consequences but not to legal decisions -as is the case in border controls or police monitoring- will need a legal basis in law.

It will be interesting to see if some anti-fraud measures based on automated profiles are similarly as legal effects significantly affecting the data subject. Like deviating a digital apply for a benefit in a face to face apply because the data subject fits the profile of fraudster. Offering green lanes or denying them. Is it significantly (similarly as legal effects) affecting a person to have to proof his existence and papers at a desk or isn’t it? Based on the polls I took while teaching, at least most civil servants don’t consider this significantly affecting.

Why is the difference important?

It is important to stay alert on these differences when we discuss 22 GDRP. Some of the problems will seem to be the same; incorrect decisions, unknown algorithms, people who don’t fit in the predesigned categories and seek for individual fairness (Einzellfalgerechtigkeit) but it would be a mistake to treat the activities the same. Profiling is calculation of probability, and fundamentally different from a calculation of my administrative data with variables explicitly mentioned in law.

Profiling uses not only more (big) data, the data are more decontextualized, the data contain data we give away unconsciously (like using or not using an app the government provides for, like changing your online apply a few times before sending it) and they will only consider the past to predict the future. In light of the GDPR where a lot of exemptions are made for research and analyzing personal data, it will depend on how governments use profiles. Accountability for these profiles is not only important in relation to data protection. It will raise all kind of fundamental rights questions.

To conclude this interesting matter I could talk about for days, I’ve come up with this short and simple chart:

  Automated decision making Automated Profiling
function Engine of auto bureaucracy Accessory of bureaucracy



Structured personal data


Unstructured personal data




Calculation Calculation of probability
algorithms Written by humans based on law  

Selflearning or written by humans based on mathematical correlations




Administrative data as variables in algortihms based on law


Big data on all kind of aspects, including behavior.





Aimed at a specific citizen based on his/her administrative data (like age, income etc)



Based on data of people in similar circumstances, aimed to singling out.


Officially in the Netherlands since


1970s (social security, motor car tax)


2014 (SyRI, social security fraud detection)




Business rules


Risk rules / self learning


Bovens & Zouridis 2002

Bovens & S. Zouridis, ‘ From Street-Level to System-Level Bureaucracies: How Information and Communication Technology is Transforming Administrative Discretion and Constitutional Control’. Public Administration Review, 2002, vol. 62-No. 2.

Bing 2005

Jon Bing, ‘Code, Acces and Control’ in ‘Human Rights in the Digital Age’ M. Klang & A. Murray (eds), Cavendish Publishing Ltd 2005.

Wiese Schartum 2016

Dag Wiese Schartum, ‘Law and algorithms in the public domain.’ Etikk i praksis. Nordic Journal of Applied Ethics. 2016, 10 (1). DOI: http://dx.doi.org/10.5324/eip.v10i1.1973

Je hebt wél iets te verbergen. Verslag van het Grote Privacy Experiment. Verschenen in Privacy & Informatie 2016/5

Op 15 september 2016 werd de verschijning van het boek ‘Je hebt wel iets te verbergen’ van onderzoeksjournalisten Maurits Martijn en Dimitri Tokmetzis gevierd met een uitverkocht zaal in de Utrechtse Schouwburg met de titel: Het Grote Privacy Experiment. Op dat moment waren er al 7000 exemplaren verkocht van het boek. Als een heuse verslaggever toog ik voor u naar Utrecht. Ook was ik van plan voor u een paar diepte-interviews te houden. Hier het resultaat.

Maurits Martijn en Dimitri Tokmetzis zijn de Frank Kuitenbrouwers van deze tijd; publicisten met kennis van zaken, scherpe blik en goede pen. Zij zijn als geen ander in staat de kloof te dichten tussen het abstracte en weinig toegankelijke privacyrecht, dito technologische vernieuwingen en het grote publiek; de mensen om wie het gaat. Zij schrijven voor De Correspondent. 

Nu ligt er, en ook dat doet aan Kuitenbrouwer denken, een boek. Nieuw is dat het boek samenging met een snel uitverkocht evenement in de Stadsschouwburg van Utrecht. Wie had dat kunnen denken?

Een avondvullend programma over privacy?

Een avondvullend programma over privacy? Mensen daarvoor een kaartje laten kopen? Dat was voor mij al de grootste verrassing. En als ik de leeftijd van de bezoekers inschat, kan ook die ándere mythe van tafel. De mythe dat jonge mensen niet om privacy geven.

Rob Wijnberg opende de avond en liet met schaamtevolle foto’s en filmpjes van hem en zijn collega’s zien dat mensen verschillende rollen aannemen en dat mensen door de jaren heen van zichzelf verschillen. Op je werk doe je anders dan thuis. Iemand van 35 jaar gedraagt zich anders dan iemand van 18. En de maatschappij verandert ook; een normaal gebruik in het ene tijdperk (met je kinderen zonder gordel, autozitje en airco in een Renault 4 naar Spanje rijden), lijkt anno nu pure kindermishandeling.

Vervolgens startte Het Experiment. Martijn en Tokmetzis klapten hun laptops open en bleken sommige bezoekers als proefkonijn te hebben gebruikt. U raadt het natuurlijk al, er waren mensen die zich met hun Facebook account hadden aangemeld. Zo konden hun gezinssamenstelling, beroep, hobbies en naam van geliefde gedeeld worden met de zaal. Dat is voor een privacyjurist dan weer minder verassend maar het maakt het concept ‘privacy’ wel voelbaar. En dat is waar we als privacyjuristen niet in zijn geslaagd; het belang van dit grondrecht te laten voelen. 

Tommy Wieringa

Gelukkig zijn andere mensen daar beter in. Zoals schrijvers. Stiekem hopen we natuurlijk allemaal op een nieuw ‘1984’. De domper was dan ook groot toen de kandidaat bij uitstek, Tommy Wieringa, achter het spreekgestoelte opbiechtte privacy een ‘rotonderwerp’ te vinden om over te schrijven. 

‘Die roman komt er niet.’

Want wat u misschien niet weet is dat de romanschrijver van Joe Speedboot en Cesarion zich ook heeft verdiept in het profilingsysteem SyRI, Suwinet en EPD. Over Suwinet en diens voorloper schreef ik zelf in dit tijdschrift. We mogen in Nederland in onze handen mogen knijpen met denkers en schrijvers die zich door ambtelijke en technocratisch beleidsstukken weten te worstelen om te wijzen op de gevolgen voor de samenleving. De conclusie van Wieringa was somber, de conditionering van de mens is een ongekend succes geworden, dat de mens een vrijheidslievend wezen is, is een vergissing. 

Maxim Februari

Het werd niet heel veel vrolijker toen Maxim Februari begon te spreken. Data, zo zei hij, zijn afgeleide fantomen, niet de mens zelf. Er bestaan geen waardevrije gegevenssets, geen waardevrije beslisregels. Bij rechtsregels kun je met elkaar in discussie gaan, maar de ruimte om het met elkaar oneens te zijn verdwijnt als deze deel gaan uitmaken van technologie. En dan ontstaat er absolute macht. De zaal was muisstil. Gaat dit nog goedkomen? Of zijn wij reddeloos verloren in de strijd om onze aandacht, data, afdwingen van gewenst gedrag? (Zie hier een Onovertroffen column)

Op zoek naar oplossingen

Die vraag zou beantwoord worden door een vergelijking te zoeken met het krachtenveld rond het klimaat; klimaatproblemen vertonen veel gelijkenis met privacyproblemen, zoals dat het langzaam erger wordt en ons allemaal aangaat. Het zal ú misschien wel plezieren, maar men verwachtte nogal veel van het recht; van de AVG, van rechtszaken en van de AP. Ik deel die verwachting niet. Bijvoorbeeld omdat het geen recht doet aan de mens achter de rechtszaak. Mensen die centraal staan in grensverleggende rechtszaken (en helaas is dat vaak toch nodig voor de ontvankelijkheid van het beroep) worden daar immers niet bepaald gelukkiger van; het is vervreemdend, kost energie en levert immens veel frustratie op. 

Ikzelf denk dat als mensen werk willen maken van het verbeteren van de privacy omstandigheden, zij zouden moeten investeren in een groter bewustzijn bij mensen zelf, het creëren van massa. Alleen massa kan leiden tot technologische alternatieven. 

Inkijkje in de aandachtspanne van bezoekers tijdens Het Grote Privacy Experiment

Dat bewustzijn van de mensen zelf, werd nog een niveautje hoger getild toen ethisch hacker Wouter Slotboom als DJ het podium op werd gereden. Er bleken 62 mensen ingelogd te hebben op zijn wifinetwerk. Dit wisten zij zelf niet. Maar wij wisten door de getoonde metadata waar deze mensen op de wereld zoal geweest waren. Gekker werd het toen hij liet zien wat deze mensen tijdens de bijeenkomst op internet hadden bekeken; nieuwe jurkjes, voetbaluitslagen, veel social media en filmpjes. Ik weet niet wat mij meer verbaasde, dat bezoekers dit tijdens een bijeenkomst doen, of dat dit allemaal zichtbaar werd. Ik was al niet optimistisch over de aandachtspanne van studenten in een collegezaal, nu zou ik willen pleiten voor netwerkvrije bunkers! 

Privacy als excuus iets niet te hoeven doen

Helaas ben ik volslagen ongeschikt gebleken als interviewer. We voerden mooie gesprekken maar ik kan deze niet accuraat genoeg weergeven. Praten, denken en herinneren is mij niet gegeven. Maar in gevallen van onmacht, onkunde of onwil, is daar altijd ‘privacy’ als excuus. Kortom: omwille van de privacy kan ik u niet vertellen wat Tommy Wieringa mij aanraadde of Maxim Februari mij bekende.

Hoe ik toch nog proefkonijn werd

De avond eindige met een ongevraagde alarmerende profilering door Wieringa op basis van onder meer mijn ambtenarenbestaan:

‘u klinkt mij als een nerd.’

Een nerd? Een nerd? Ai. Dat deed pijn. Ik voelde wat ‘privacy’ is. Ik deed zelfs nog een poging van dit label af te komen: ik bekende spontaan allerlei triviale persoonlijke zwakheden. Ik ervaarde daarmee de privacy paradox; om van het profiel af te komen, moet je nog meer over jezelf vertellen.

Maar misschien is dat voor privacyjuristen bij de overheid de oplossing; niet meer zoals eens werd beschreven ‘flikflakkend door de gangen om aandacht te vragen voor privacy’, maar voortaan collega’s en bestuurders ongevraagd voorzien van een ongemakkelijk label.

Profielen en rechters

profielIn een wereld waar op het openbaar bestuur wordt bezuinigd en de taakstellingen toenemen, moeten harde keuzes gemaakt worden om efficiënt te blijven werken. Bij het controleren van naleving van wetgeving is dit niet anders. Er wordt dan ook gewerkt met profielen.

Een profiel

Een profiel is een set van kenmerken van een persoon of zijn gedrag die iemands contouren zichtbaar maken. We kennen profielen uit de kunstwereld. Het woord ‘profil’ werd in 1621 in Frankrijk gemunt. In 2008 zien we deze uitleg in een rapport opgesteld voor de Raad van Europa:

A profile is merely an image of a person based on different feautures. In the artist’s profile, features are sketched; in profiling, data are correlated. In neither case can the profile be equated with the person him or herself.

Met behulp van het profiel wordt een individu uit de massa gehaald en nader onderzocht. Nieuw is dit niet. Een agent maakt dagelijks dergelijke afwegingen. In de VS is profiling in combinatie met de politie haast altijd verbonden aan het maken van onderscheid op basis van uiterlijke kenmerken. https://www.aclu.org/issues/racial-justice/race-and-criminal-justice/racial-profiling

Recent hebben twee hoogste bestuursrechters een oordeel gevormd over de vraag of de toepassing van een bestuursorgaan van een profiel in strijd is met het verbod van discriminatie. We starten met het meest duidelijke voorbeeld van profiling; een toezichthouder die op een locatie onderzoek doet. Het onderzoek werd door de Inspectie SZW gedaan in het kader van naleving van de Wet arbeid vreemdelingen. Men wilde weten of op de bouwplaats mensen aan het werk waren zonder tewerkstellingsvergunning. Daarvoor vroeg men niet aan alle aanwezige mensen de identiteitspapieren maar alleen aan drie van hen. Op de zitting bij de rechtbank spreekt een inspecteur opvallend open over deze werkwijze:

Wij controleren in het kader van de Wav, omdat de betreffende vreemdelingen donker haar en een getinte huidskleur hadden hebben we hen om identificatie gevraagd, omdat daaruit het vermoeden voortvloeide dat zij vreemdelingen waren.

Naar aanleiding van de bevindingen werd een boete opgelegd van  €12.000.

De Afdeling bestuursrecht van de Raad van State oordeelt zonder veel omhaal van woorden dat hier een onderscheid is gemaakt op uiterlijke kenmerken, dat er geen rechtvaardiging voor bestaat en daarom ongeoorloofd is als bedoeld in artikel 1 van de Grondwet.

Ongebruikelijk in het bestuursrecht is het gevolg van deze constatering; deze schending wordt door de bestuursrechter zo ernstig geacht dat het bewijs dat op deze wijze verzameld is, niet gebruikt mag worden. De manier van verkrijgen staat haaks op wat mag worden verwacht van een behoorlijk handelende overheid.

De andere twee voorbeelden van het gebruiken van profielen komen van de CRvB en gaan over de controle van het recht op een bijstandsuitkering. In beide gevallen ging het om onderzoek naar eventueel vermogen (bankrekening of een woning) in het buitenland. In een zaak was er geen strijd, in de andere wel.

Rotterdam: geen gerechtvaardigd onderscheid

In de zaak over Rotterdam was het profiel als volgt;

– bijstandsgerechtigden die de dubbele nationaliteit Nederlands & Marokkaans, ouder zijn dan 40 jaar en afkomstig uit bepaalde streken van Marokko en welke in het verleden vakanties hebben doorgebracht in Marokko.

Volgens de CRvB mag bij het onderzoek naar eventueel vermogen in het buitenland wel een onderscheid gemaakt worden tussen groepen bijstandsgerechtigden (bijvoorbeeld het niet-Nederlander zijn in combinatie met de leeftijd en vakantiegedrag) maar in dit project was het risicoprofiel alleen gericht op enkele groepen bijstandsgerechtigden met een bepaalde dubbele nationaliteit.

Door te kiezen voor het onderzoek naar de dubbele nationaliteit Nederlands/Marokkaans, is dit een “verdacht”  onderscheid.  Rotterdam slaagde er niet in de rechtvaardiging hiervoor over te laten komen als zeer gewichtige redenen.

Vervolgens gaat de CRvB ook in op het gevolg van het risicoprofiel en de vraag of het middel in verhouding stond tot het doel. Rotterdam hanteerde een werkwijze die, zeker gezien de wijze van profilering, een schoolvoorbeeld is van discriminatie.

Mensen immers die voldeden aan het profiel, werden niet uitgenodigd schriftelijk vragen te beantwoorden of langs te komen voor een informatief gesprek met de klantmanager. Zij werden, los van elkaar, gehoord door de sociale recherche in het gebouw waar normaal verhoringen plaatsvinden voor fraude-onderzoeken.

De CRvB oordeelt dat Rotterdam hiermee een bepaalde, op nationaliteit gebaseerde groep heeft behandeld op een manier waarbij het gevoel of de schijn kon ontstaan, dat betrokkenen onjuist gebruik maakten van de bijstand, terwijl daarvoor geen vermoeden bestond.

Een goede beslissing want inherent aan profiling is immers dat een profiel vooral iets zegt over een persoon ten opzichte van een groep, maar op zichzelf beschouwd slechts een schets of indruk geeft over een persoon of zijn gedrag.

Schiedam: geen strijd met verbod van discriminatie

Even verderop, in Schiedam, pakt men dat heel wat professioneler aan. Maar ook het risicoprofiel was anders samengesteld. Het doel was gelijk; onderzoeken van eventueel vermogen in het buitenland. Het profiel bestond uit de volgende kenmerken:

-bijstandsgerechtigden ouder dan 50 jaar, die afkomstig zijn uit een ander land dan Nederland gecombineerd met vakantiemeldingen (lange vakantie van 30 dagen of meer).

Interessant is in deze kwestie dat de CRvB, vermoedelijk daarop gewezen door Schiedam, beschrijft dat bijstandsgerechtigden die in Nederland zijn geboren ook voortdurend onderworpen worden aan controles naar de aanwezigheid van vermogen. Betrokkenen merken daar alleen niets van. De gegevensuitwisselingen die dit mogelijk maken zijn niet voorhanden voor mensen die niet in Nederland zijn geboren. Omdat iemand in het land van herkomst vermogen kan hebben opgebouwd of geërfd, is het land van herkomst een gegeven dat van belang is voor de vraag of de controle op vermogen en inkomen van de betrokkene vooral op middelen binnen Nederland moet worden gericht of ook op middelen in het buitenland.

Maar dat is niet het enige waarom deze zaak anders is. In Schiedam kregen de mensen die voldeden aan het profiel een brief waarin het onderzoek werd aangekondigd. Zij kregen ook de gelegenheid om binnen twee weken zelf eventueel vermogen in het het buitenland te melden. Er zou dan geen boete worden opgelegd, maar het recht op bijstand zou wel worden onderzocht en mogelijk teruggevorderd. De rechtzoekenden hadden hier niet op gereageerd zodat hun vermogenspositie alsnog in het buitenland werd onderzocht. Hiervan vindt de CRvB van belang dat dit eigenlijk hetzelfde is als mensen die in Nederland geboren zijn: van hen wordt de vermogenspositie ook voortdurend maar ongemerkt onderzocht. Van verschillende behandeling is in zoverre maar in zeer beperkte mate sprake.

Dit laat zien dat bestuursrechters goed uit de voeten kunnen met risico-profielen. Dat is goed nieuws. We kunnen hieruit ook afleiden dat de uitvoering steeds met objectieve kenmerken moeten werken en deze moet verfijnen met andere objectieve kenmerken.

De moeilijkheid zit wat mij betreft steeds in de vraag wat te doen als een ‘verdacht’ kenmerk een statistisch relevant kenmerk blijkt. Bijvoorbeeld onderscheid naar leeftijd omdat uit onderzoek blijkt dat jongeren meer roekeloos rijden. Of onderscheid naar geslacht omdat uit de cijfers blijkt dat vrouwen zo enorm goed kunnen autorijden en minder schade veroorzaken. Daarover de volgende keer meer.