Bespreking oratie van Johan Wolswinkel, Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht.

Inleiding

Het zijn mooie tijden voor de kleine groep van ‘OSM’, ons soort mensen. Dit zijn mensen die vanuit de bestuursrechtelijke traditie onderzoek doen naar de overheid die volop gebruik maakt van informatietechnologie. De reflex dat het bij automatisering van overheidstaken alleen over gegevensbescherming gaat was bepaald hardnekkig. Dit is geen nationaal fenomeen. Ook internationale collega’s herkennen de eenzijdigheid van het debat. Gegevensbescherming is belangrijk maar het debat wordt anders als staats-of bestuursrechtjuristen zich buigen over de digitale overheid. Dan blijkt namelijk dat we van de ‘Rule of Law’ in de ‘Rule of Code’ zijn beland. Onderdanen worden niet meer bestuurd door de wet, maar door technologie.[3] En dat perspectief krijgt aanmerkelijk meer aandacht dan voorheen.

Het doet mij dan ook veel plezier dat in het Nederlandse bestuursrecht steeds meer onderzoek wordt verricht naar de geautomatiseerde uitvoering van wettelijke taken. Op 17 januari 2020 hield Johan Wolswinkel zijn oratie in Tilburg, getiteld ‘Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht’. In deze bijdrage zal ik zijn oratie bespreken en deze plaatsen in de context van het veranderende bestuur en bestuursrecht.

Ik zal eerst ingaan op de wijziging van de uitvoering van wettelijke taken door de overheid. Daarna zal ik reflecteren op de oratie van Wolswinkel en een andere recente oratie over dit onderwerp kort aanhalen. Dit is de oratie ‘Algemene beginselen van binair bestuur’ van Diana van Hout.[4] Ik zal afsluiten met een oproep om vooral ook naar de bestuurswerkelijkheid te blijven kijken.[5]

De beschikbaarheid van technologie speelt een grote rol in onze samenleving en ook voor de relatie overheid en burger. Kenmerkend aan deze ontwikkelingen is dat wij ze vaak niet zien. In de steden hangen warmtemeters of camera’s op basis waarvan de stoplichten worden bediend. Of hierbij voorrang wordt gegeven aan voetgangers, fietsers of wandelaars weten we niet.[6] We weten ook niet wat de leveranciers van de apparaten, uit China of andere landen, doen met de vergaarde data. Als je vroeger wilde weten hoe een stad werd bestuurd, keek je naar de Algemene plaatselijke verordening. Nu zou je beter toegang kunnen vragen tot de Control Room. Een ruimte die bestaat uit vele computerschermen en doet denken aan een anti-terrorisme unit uit een Amerikaanse serie.[7] In deze ruimte worden beslissingen genomen over het verkeer, het bewaken van de openbare orde en de inzet van hulpdiensten.

Ook het controleren van uitkeringen of belastingaangiften is veranderd. Door data-analyses en het gebruik van technologie (voorzien van het predicaat ‘slim’) worden de aanvragers, belastingplichtigen en schuldenaren gescoord en aangemerkt als ‘onderzoekswaardig / risicovol’ of ‘minder tot niet onderzoekswaardig’.[8]

En dan zijn er natuurlijk de geautomatiseerde besluiten bij de overheid; beslissingen die volledig geautomatiseerd worden genomen en waarbij de wet wordt toegepast door computers. Uit mijn onderzoek bleek dat de rechtsbescherming door de inzet van technologie is verminderd.[9]

De relatie overheid en burger wordt mede bepaald door de mogelijkheden die technologie biedt. Dat kan nieuwe vraagstukken met zich meebrengen zoals bleek uit de toeslagenaffaire. Met een enkele handeling werden duizenden mensen direct geraakt. Tegelijkertijd schept de beschikbaarheid van nieuwe technologieën ook de verwachting dat de overheid daar gebruik van maakt.[10]

Analoog en digitaal bestuursrecht

Het is niet gemakkelijk om vanuit het recht enerzijds en de technologie anderzijds, verstandige gesprekken te voeren. Wolswinkel doet een poging deze werelden samen te brengen. In zijn rede staat de vraag centraal of geautomatiseerde besluitvorming zo uniek of in elk geval bijzonder is dat ze een eigen lemma binnen de bestuursrechtwetenschap verdient. De vraag kan verklaard worden uit de specifieke overwegingen van de Afdeling bestuursrechtspraak van de Raad van State en de Hoge Raad waarin de plicht om de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken op een passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn, expliciet wordt gekoppeld aan het geautomatiseerd nemen van een besluit.[11]

De vraag kan ook verklaard worden uit de vele internationale pogingen om allerlei ‘nieuwe’ uitgangspunten rond data science en Artificiële Intelligentie (AI) op te stellen. Toch is het een opvallende vraag omdat in de literatuur juist de omgekeerde vraag wel wordt verkend: hoe kunnen bestaande beginselen dienen als waarborgen tegen consequenties van het werken met technologie.[12]

Wolswinkel start vanuit een onderverdeling van het bestuursrecht in een analoog deel en een digitaal deel. Onder digitaal bestuursrecht verstaat Wolswinkel de verzameling bestuursrechtelijke regels die specifiek betrekking hebben op een digitale, elektronische of geautomatiseerde context.[13] Wolswinkel probeert via het begrip ‘algoritme’ een brug te bouwen die beide delen met elkaar verbindt.

Algoritme

Het woord algoritme is bezig met een opmerkelijk opmars sinds het overlijden van wetenschapper Al Khwarizmi rond 850 na Christus naar wie het is vernoemd.[14] Computerwetenschappers en wiskundigen zijn nogal verbaasd over de brede omarming van het woord. De term heeft voor hen geen enkel onderscheidend vermogen. Of zoals een computerwetenschapper een zaal met juristen toeriep: ‘Kunnen jullie alsjeblieft je terminologie verfijnen? In deze beamer zitten ook algoritmen en iets zegt me dat jullie dat niet bedoelen.’

Andere disciplines echter zien de waarde van het begrip wel. Het woord algocracy bijvoorbeeld geeft uitdrukking aan de observatie dat er bestuurd en georganiseerd wordt volgens algoritmen die door computers gebruikt worden.[15]Leden van de Tweede Kamer gebruiken het woord steeds vaker om aandacht te vragen voor voor- en nadelen van het gebruik van technologie.[16] Ook komt het woord steeds vaker voor in de literatuur.[17]

Waarschijnlijk zitten we nog wel even vast aan het begrip algoritme, al is hier dus een waarschuwing op zijn plaats om altijd naar de definitie en context te kijken. Daarom herhaal ik de definitie van Wolswinkel. Een algoritme is, zo zegt hij, in ieder geval niet per se complex en hoeft niet door een computer te worden uitgevoerd. ‘In de kern is een  algoritme echter niets meer en niets minder dan een gespecificeerde en eindige reeks instructies waarmee input wordt omgezet in output.’

Het is een stappenplan, zoals u gebruikt bij het koken, de hond uit laten of naar uw werk gaan. Door steeds dezelfde stappen te zetten, automatiseert u de handeling zodat u daar niet elke keer over hoeft na te denken. Dit is automatiseren zonder computer. Dit geldt ook voor algoritmen. Die kunnen ook worden toegepast zonder computer.[18]

Wolswinkel zelf vindt een staartdeling een eenvoudig voorbeeld van een algoritme maar die kwalificatie wil ik graag voor zijn rekening laten. De definitie van Wolswinkel is helder en ruim, het kan natuurlijk voor van alles opgaan; de routering van telefoontjes bij de afdeling klachten, bepalen welke dijken extra moeten worden gecontroleerd of het bestrijden van de eikenprocessierups.[19] Daarom is het belangrijk dat hij vervolgens spreekt over algoritmische besluitvorming, waardoor hij het gebruik van algoritmen afbakent door alleen te spreken over besluiten in de zin van artikel 1:3 Awb. Hierdoor laat hij ook zien dat ambtenaren van vlees en bloed ook algoritmische besluiten kunnen nemen, namelijk als zij daarbij steeds een vast stappenplan volgen. Dit stappenplan kan zelfs helemaal in wet worden uitgeschreven en hij verwijst daarbij naar de veiling van radiofrequenties.

Van algoritmische besluitvorming naar geautomatiseerde besluiten

Door zich te concentreren op algoritmische besluitvorming als grootste gemene deler van het digitaal en analoog bestuursrecht, komt Wolswinkel via een onderzoeksmethode geïnspireerd op wiskundig onderzoek uiteindelijk tot de conclusie dat beide gebieden elkaar kunnen versterken. Vanuit het idee dat algoritmische besluiten niet per se geautomatiseerde besluiten zijn (maar geautomatiseerde besluiten wel altijd algoritmische besluiten) komt hij tot de conclusie dat voor geautomatiseerde besluitvorming niet per se een eigen lemma nodig is binnen het bestuursrecht. Ik ben dit met hem eens maar vermoed dat is waarschijnlijk ‘slechts’ is veroorzaakt door de overwegingen in de baanbrekende uitspraak van de Afdeling bestuursrechtspraak van de Raad van State over geautomatiseerde besluiten. In deze uitspraak immers heeft de bestuursrechter een min of meer ‘nieuw’ vereiste gesteld aan een bepaalde soort besluiten van de overheid; te weten geautomatiseerde besluitvorming door een bestuursorgaan. Zo werd hierin overwogen dat de overheid geen black box mag zijn bij het nemen van geautomatiseerde besluiten omdat hierdoor geen sprake is van een gelijkwaardige procespositie. Een andere mogelijkheid zou zijn geweest als de bestuursrechter had overwogen dat het besluit moet worden getoetst aan de ‘gewone’ vereisten die gelden voor besluiten. Ik vermoed dat als de AbRS de overweging had gebaseerd op de  vertrouwde Algemene wet bestuursrechtbepalingen, te weten artikel 3:2 Awb (zorgvuldigheidsbeginsel) en artikel 3:46 Awb (motiveringsbeginsel), we geen onderscheid hadden ervaren in digitaal en analoog bestuursrecht.

Als uitsmijter vraagt Wolswinkel zich hardop af of uit de beginselen in het bestuursrecht niet voortvloeit dat er juist een recht op algoritmische besluitvorming boven menselijke besluitvorming zou moeten gelden. Kan misschien uit het beginsel van evenredigheid worden afgeleid dat willekeur zoveel mogelijk moet worden vermeden, zodat het bestuur in bepaalde gevallen gebruik moet maken van algoritmisch of geautomatiseerde wijze van beslissen?[20] Een provocatieve gedachte zeker vanwege artikel 22 van de Algemene verordening gegevensbescherming. Dit artikel geeft burgers immers -in bepaalde gevallen; zie de uitzonderingen in artikel 40 Uitvoeringswet Avg- een recht op een menselijk besluit en gaat juist uit van de behoefte van zwaardere bescherming voor de burger bij een geautomatiseerd besluit.

Twee optimalisaties

Naast waardering voor de mooie en doorwrochte rede zijn er twee punten waarmee ik, om met Wolswinkel te spreken, het model zou willen optimaliseren om de accuratesse te verhogen.

Het eerste punt waar ik grondige bezwaren tegen heb is dat Wolswinkel zich laat verleiden om de minister voor rechtsbescherming te volgen in het verder uitwerken van de clustering van algoritmen. Hij bespreekt de onderverdeling in algoritmen als rule-based en case-based algoritmen.[21] De rule-based algoritmen zijn dan de directe vertaling van wet of beleid in een algoritme en een case-based algoritme is geschikt om aan de hand van andere gevallen voorspellingen te doen. Er valt nogal wat af te dingen op deze onderverdeling. Ten eerste moeten we de positie van de schrijver van deze stukken in ogenschouw nemen. Het gaat hier om een minister. Een minister is ambtshalve bevooroordeeld, of zoals we in dit werkveld zouden zeggen: biased by default. Hij heeft politieke belangen en die vinden we dus terug in die vermaledijde onderverdeling tussen case- en rule- based algoritmen.

Wat de minister door deze onderverdeling bewerkstelligt is namelijk dat hij de focus weet te verleggen naar de toekomst en dat hij de problemen die de samenleving nu al ondervindt door het gebruik van algoritmen, marginaliseert. Rule-based algoritmen zouden eenvoudige beslisbomen zijn en in de implementatie niet tot problemen leiden. Of iets eenvoudig is maak ik liever zelf uit en bovendien bleek in mijn onderzoek dat er geen documentatie voorhanden is op grond waarvan deze systemen te controleren zijn op hun rechtmatigheid.[22] De algoritmen zijn geprogrammeerd op basis van kennis en expertise maar ook op basis van ideeën over hoe de overheid zou moeten opereren en wat de positie van de burger daarin is. De premisse dat dit altijd een één op één vertaling is van wetgeving, is onjuist.[23]We kunnen niet eens vast stellen wat de beslisbomen zijn die onder de besluiten liggen, laat staan dat we kunnen beoordelen of deze eenvoudig of ingewikkeld zijn.[24] In de woorden van de Rechtbank Den Haag in de rechtszaak over het profileringssysteem SyRI: ’Het vorenstaande leidt ertoe dat niet kan worden gecontroleerd hoe de eenvoudige beslisboom, waarover de Staat spreekt, tot stand komt en uit welke stappen deze bestaat.’[25]

Een ander nadeel van deze onderverdeling is dat het niet altijd als relevant wordt gezien onder AI deskundigen terwijl het voor ons vakgebied geen toegevoegde waarde heeft. Dat doet het interdisciplinaire werken op dit gebied geen goed. Het is daarom verstandiger om te spreken over vaste algoritmen en lerende algoritmen. De eerste soort, de vaste algoritmen kan het beste vergeleken worden met het schrijven van wetgeving maar dan op een super gedetailleerde wijze waarbij elke stap moet worden uitgeschreven in taal die een computer begrijpt. Deze worden door mensen geprogrammeerd (AI wetenschapper Hassabis noemt dit ‘preprogrammed’).[26] De tweede soort algoritmen staat nu meer in de belangstelling. Zij veranderen doordat zij zichzelf iets aanleren. Het zijn lerende algoritmen (in de woorden van Hassabis: ‘learn automatically from raw in-puts’).[27] 

Het tweede punt is dat Wolswinkel alleen een brug slaat tussen het recht en de computerwetenschap. Maar om de relatie overheid en burger anno nu goed te kunnen bestuderen is het minstens zo belangrijk om te bespreken wat de implicaties zijn van het gebruik van technologie. Algoritmen komen niet uit de lucht vallen. Het is een menselijke beslissing om deze te gebruiken. Het gebruik van technologie verandert hoe de overheid zicht verhoudt tot haar burgers. Burgers worden gescoord en onderverdeeld in risicoklassen.[28] Door het werken met informatiseringsketens worden burgers op afstand geplaatst. De gegevens worden geautomatiseerd aan de andere organisaties verstrekt en de feitelijke bemoeienis van de burger is verminderd. Tegelijk is de bewijslast van een onjuist gegeven verschoven naar de burger.[29] Automatisering versterkt de bestaande uitvoerende instituties en maakt hen tamelijk immuun tegen rigoureuze veranderingen. De investeringen die gedaan zijn en de daaruit ontstane afhankelijkheden maken het haast niet mogelijk om de uitvoering te veranderen.[30] Het is niet zozeer ‘too big to fail’ maar ‘too big to change’. Ook blijken groepen burgers die afhankelijk zijn van de overheid in grotere mate worden getroffen door de roep om efficiency en daarmee hand in hand gaande standaardisering en automatisering.[31] Kijken naar de techniek is belangrijk maar niet voldoende om te begrijpen welke veranderingen zich voordoen. In dit licht bezien deel ik de roep om een recht op algoritmische besluitvorming niet.

Validatie

De belangrijkste bijdrage van Wolswinkel is wat mij betreft dat hij de mythe weghaalt die rust op algoritmes en de inzet van technologieën. De mythe dat deze geweldig zijn of juist verschrikkelijk. Hij doet precies waartoe AI-grootheid Joseph Weizenbaum opriep, kritisch kijken naar de techniek. Dat bij het gebruik van techniek nog duidelijker blijkt wat de zwakheden en begrenzingen zijn hoeft niet te verbazen. Het is ontworpen door mensen en de menselijk geest is nou eenmaal goed in ‘sloppy thinking’, het rationaliseren daarvan en van de gevolgen van deze gemakzuchtige denkwijze.[32]

Via enkele bekende beginselen maakt Wolswinkel een vergelijking met de techniek. Wolswinkel en ik delen de verbazing dat er met de toepassing van een nieuwe technologie direct gezocht wordt naar nieuwe beginselen. We zijn met onze rechtsbeginselen goed in staat om naar nieuwe fenomenen en vraagstukken te kijken.[33] Sterker, hoe kun je anders omgaan met de wisselende werkelijkheid? De wet mag dan soms achterlopen, het recht doet dat niet.

Dit is ook wat Van Hout betoogt. Zij hield vorig jaar haar oratie ‘Algemene beginselen van binair bestuur’ met een primeur: robot Pepper nam het woord. Pepper had een mooie toga aan en de taak gekregen om de oratie uit te spreken. Toen Van Hout bedacht dat ze toch zelf de rede wilde uitspreken, gaf Pepper aan dat dat geen goed idee was. De robot legde uit waarom hij/zij/het het beter zou doen: de kans dat een mens de rede exact zo uitspreekt als deze is opgeschreven is vele malen kleiner dan bij een robot (de foutmarge). Bovendien merkte Pepper op dat de hartslag van Van Hout was toegenomen, hetgeen de foutmarge negatief zou beïnvloeden. Daarbij moest Pepper ook rekenen met de factor dat Van Hout een vrouw is, risico verhogend vanwege emotionele instabiliteit zodat de kans nog hoger was dat de geschreven tekst niet precies werd gevolgd in de rede. Van Hout illustreerde hiermee dat hoe goed een computer ook van tevoren is geïnstrueerd,  een mens kan zich bedenken en steeds kiezen om alsnog autonoom te kunnen optreden.

Inhoudelijk stelt Van Hout dat beginselen van behoorlijk bestuur in belang alleen maar zullen toenemen door drie fenomenen: informatisering, AI & digitalisering en standaardisering & privatisering. Ook verwacht zij dat vanwege technologische ontwikkelingen en toepassingen andere eisen zullen worden gesteld aan personen die met het recht werken. Sommige taken kunnen in de toekomst waarschijnlijk veel beter door een computer worden uitgevoerd. Maar rechtsvinding en rechtsvorming zullen niet onmiddellijk naar een binair systeem kunnen worden omgezet. En juist bij dit proces zullen rechtsbeginselen, waaronder de algemene beginselen van behoorlijk bestuur, nog altijd op een evenwichtige wijze tegen elkaar afgewogen moeten worden om tot een gefundeerde en rechtvaardige uitkomst te kunnen komen. Zij verwacht dat juist hierin de menselijke meerwaarde komt te liggen.

De oratie van Wolswinkel laat zien dat het bestuursrecht, om maar weer een IT-term te gebruiken, een stap verder is gekomen in het volwassen worden, de maturity. Helaas is er nog veel legacy (verouderde systemen): studenten rechtsgeleerdheid krijgen het bestuursrecht onderwezen waarin wel de nieuwste jurisprudentie wordt behandeld, maar niet de hedendaagse praktijk. Pas als de uitvoering wordt voorgelegd aan de rechter, wordt het opgemerkt. Het is het bestuderen van de relatie overheid – burger als het rijden in een auto via de achteruitkijkspiegel.

Vervolgens wordt in de juridische wetenschap ook nog al eens verondersteld dat het beantwoorden van de rechtsvraag de praktijk beïnvloedt. Maar dat er een juridisch eindoordeel is, wil niet zeggen dat de praktijk zich voegt naar dat eindoordeel. Zelf heb ik nog geen computerbesluiten gezien die voldoen aan de normen van de hoogste bestuursrechters op dit vlak. Niet voor niets blijft de Afdeling advisering van de Raad van State de aanbeveling herhalen dat bestuursorganen voortaan aan burgers laten zien welke beslisregels zijn gehanteerd en welke data daarbij zijn gebruikt. ‘Die aanbeveling kunnen grote uitvoerende diensten, van Belastingdienst tot UWV en wat dies meer zij, gewoon uitvoeren.’[34] Dat is waar, maar daarmee nog niet waarneembaar.

Slot

Wolswinkel en Van Hout laten zien hoe de praktijk of de levende rechtsvragen bestudeerd kunnen worden vanuit de beginselen. Studenten zouden hierin beter voorbereid moeten worden en hun creativiteit kunnen gebruiken om te proberen bestaande beginselen  te verbinden aan de nieuwe werkelijkheid. Daarom ben ik nog het meest in mijn nopjes met de onderwijsmissie die Wolswinkel heeft. Hij gaat de jurist van de toekomst opleiden door studenten mee te nemen in de keuzes en beperkingen die eigen zijn aan een algoritmisch (rechts)systeem. De tijden dat bestuursrechtwetenschappers in slaap konden worden gesust met indrukwekkende termen als ‘statistische regressieanalyse’ lijken ten einde.[35]

Eindnoten

1. J. Wolswinkel, Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht (oratie Tilburg University) 2020.

2. Mr.dr. Marlies van Eck werkt als universitair docent bij het eLaw instituut aan Universiteit Leiden en als adviseur bij Hooghiemstra & Partners. Zij schreef mee aan een onderzoeksrapport ‘Toezicht op het gebruik van algoritmen door de overheid’ Kamerstukken II, 2019/20, 26643, nr. 657.

3. Zie ook Maxim Februari 12 april 2020, 'Gruwelijk misverstand: ‘privacy’ is het punt niet.'

4. M.B.A. van Hout, Algemene beginselen van een binair besluit (oratie RU), Den Haag, Sdu 2019.

5. Term bestuurswerkelijkheid ontleend aan S.O. van Poelje, ‘Inleiding’ in: F.H. van der Burg e.a., Bestuursrecht en bestuurswerkelijkheid, Deventer: Kluwer 1877.

6. Heldere uitleg over slimme stoplichten. 'Hoe werken slimme stoplichten?', NPOstart.nl.

7. Twee voorbeelden over Amsterdam: 'Smart traffic systems throughout Amsterdam: three use cases', iiot-world.com; 'Amsterdam opens control room to faster tackle 250,000 complaints a year', themayor.eu. 

8. Joost Schellevis en Winny de Jong, 'Overheid gebruikt op grote schaal voorspellende algoritmes, risico op discriminatie', NOS 29 mei 2019. Rapport Algemene rekenkamer, ‘Datagedreven selectie van aangiften door de Belastingdienst’, juni 2019. Rechtbank Den Haag, 5 februari 2020, ECLI:NL:RBDHA:2020:865, over SyRI, zie ook Sanne Blauw, 'Overal ter wereld misbruiken staten persoonsgegevens. In Nederland steekt de rechter daar nu een stokje voor', De Correspondent, 5 februari 2020. Zie ook hoe mensen mede door de overheid worden onderscheiden in betaalprofielen als het gaat om de inzet van incassomaatregelen. Een betaalprofiel is een verzameling kenmerken aan de hand waarvan debiteuren in groepen worden ingedeeld. Op basis van datasets worden algoritmes bepaald waarmee het (betaal)gedrag van debiteuren kan worden voorspeld en personen kunnen worden ingedeeld in specifieke betaalprofielen. Kamerstukken II, 2019/20, 24515, nr. 496, bijlage: ‘Rapport Onderzoek naar het gebruik van betaalprofielen,’, Decisio-DSP, 24 september 2019.

9. Voor de liefhebber is er een college beschikbaar van de Universiteit van Nederland, Waarom ben je voor de overheid niets meer dan een nummertje?, YouTube, oktober 2018.

10. R.H. van den Hoogen, ‘Technologie verplicht’. NJB 1997, afl. 36, p. 1677-1678.

11. B.M.A. van Eck, Computerbesluiten, kunstmatige intelligentie en de bestuursrechter. Tijdschrift voor Formeel Belastingrecht 2019/8.

12. Marion Oswald, Algorithm-assisted decision-making in the public sector: framing the issues using administrative law rules governing discretionary power, Philosophical Transactions of the Royal Society, 6 Auguts 2018.  Zie ook Canada waar recent wetgeving bekend is gemaakt over geautomatiseerde besluiten van de overheid waarbij de ‘administrative law principles’ als uitgangspunt fungeren, Automated administrative decisions and the law, automatedadministrativedecisionsandthelaw.com.

13. J. Wolswinkel, Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht (oratie Tilburg University) 2020,  p. 10.

14. Hier meer informatie over Muhammad Ibn Musa Al Khwarizmi, famousscientists.org.

15. Danaher, J. 2016. ‘ The threat of algocracy: reality, resistance and accommodation, Philosophy & Technology, 29 (3): 245-268.

16. Zie bijvoorbeeld Initiatiefnota Menselijke grip op algoritmen, Kamerstukken II, 2018/19, 35212, nr. 2 en Motie van der Molen en Verhoeven voor de oprichting van een algoritme autoriteit, 10 september 2019, Kamerstukken II, 2018/19, 26643, nr. 632.

17. Willekeurige selectie: Bert Wagtendorp ‘Ferrara’ en Fay Weldon ‘Death of a She Devil’.

18. Andersom niet, J. Wolswinkel, ‘Het algoritme van de Afdeling: de realiteit van complex bestuursrecht.’ Ars Aequi 20190776, p. 780

19. Hella Hueck 18 juli 2018 , Financieel Dagblad ‘Harig rupsje wint het van big data’,  (registratie verplicht).

20. Een gedachte die ik onmiddellijk omarm als het gaat om de verdeling van onderzoeksgelden door het NWO, maar dit is een persoonlijke verzuchting.

21.  J. Wolswinkel, Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht (oratie Tilburg University) 2020, p.19.

22. B.M.A. van Eck, Geautomatiseerde ketenbesluiten & rechtsbescherming: Een onderzoek naar de praktijk van geautomatiseerde ketenbesluiten over een financieel belang in relatie tot rechtsbescherming(diss). Tilburg: Tilburg University. 2018.

23. Nog bonter overigens maken het de onderzoekers Vetzo, Gerards en Nehelman door er direct ook maar een kwalificatie aan te koppelen; namelijk ‘domme en slimme algoritmen’. M.J. Vetzo, J.H. Gerards & R. Nehmelman, Algoritmes en grondrechten, Den Haag: Boom Juridisch. 2018.

24. Zo dit al relevant is. Het is beter om naar impact te kijken zoals bijvoorbeeld de Data ethische commissie in Duitsland heeft voorgesteld. Gutachten der Datenethikkommission, 23 oktober 2019, p.177.

25. Rechtsoverweging 6.24, Rechtbank Den Haag, 5 februari 2020, ECLI:NL:RBDHA:2020:865.

26. Demis Hassabis, Public lecture on Royal Television Society, YouTube, 19 november 2015 (op 11.55 min).

27. Demis Hassabis, Public lecture on Royal Television Society, YouTube, 19 november 2015 (op 11.55 min).

28. D.K. Citron and F. Pasquale, ‘The scored society: Due Process for Automated Predictions’, Washington Law Review, 89: 1-33. 2014.

29. G. Overkleeft-Verburg, ‘Basisregistraties en rechtsbescherming. Over de dualisering van de bestuursrechtelijke rechtsbetrekking’, NTB 2009, 10.

30. J. Weizenbaum, ‘Computer Power and Human Reason. From judgement to calculation.’ San Francisco, W.H. Freemand and Company: 1976, p. 31

31. V. Eubanks, Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor, St Martins Press, 2018. P. de Hert en H. Lammerant, ‘Predictive profiling and its legal limits: effectiveness gone forever?’ in B. van der Sloot, D. Broeders & E. Schrijvers (Eds.), Exploring the boundaries of big data (Vol. 32, pp. 145-173 ). Amsterdam University Press/WRR:2016.  

32. J. Weizenbaum, ‘Computer Power and Human Reason. From judgement to calculation.’ San Francisco, W.H. Freemand and Company: 1976, p. 35.

33. Zie ook het proefschrift van Ronald van den Hoogen die hetzelfde deed voor het gebruik van technologie in de rechtspraak. R.H. van den Hoogen, ‘E-Justice, beginselen van behoorlijke elektronische rechtspraak’ (diss. Utrecht), Den Haag: 2007.

34. Staatsraad Van Zwol tijdens Rondetafelgesprek van Tijdelijke commissie digitale toekomst, Tweede Kamer, 17 februari 2020, voorlopig verslag.

35. Hof Arnhem-Leeuwarden, 8 oktober 2019, ECLI:NL:GHARL:2019:8110.