Het algoritme is hot. Je kunt geen krant, tijdschrift, website openen of iemand heeft iets te melden over het algoritme. In het juridische domein is dat niet anders. Algoritme is ook het nieuwe buzz word in juristenland. De komende Artikel 1-lezing van het Studie- en Informatiecentrum Mensenrechten (SIM) van de Universiteit Utrecht is getiteld: Discriminatie door algoritmes. In het Nederlands Juristenblad werd eind vorig jaar gepubliceerd over de algoritmische rechtstoepassing in de democratische rechtsstaat. Op het omslag van het februari-nummer van het Advocatenblad prijkt een robotkop (of moet ik 'hoofd' zeggen?) met daarnaast de tekst 'De computer beslist'. Kersverse hoogleraar Frederik Zuiderveen Borgesius schreef voor de Raad van Europa het rapport Discrimination, artificial intelligence, and algorithmic decision-making. En zo kan ik nog wel even doorgaan.

Het algoritme
In bijna alle verhalen wordt met het algoritme gedoeld op een set instructies voor een computer. Daarbij wordt soms nog een onderscheid gemaakt in wat men noemt domme en slimme algoritmes, waarbij de eerste altijd dezelfde instructies uitvoert en de tweede kan leren en dus na verloop van tijd een andere beslissing kan nemen op basis van eenzelfde input—alsof het een rechtbank is die 'om' gaat. De eerste betreft in feite ordinaire computercode zoals die al jaren bestaat en bij het tweede gaat het om een nieuwe generatie software. Een generatie die naar mijn bescheiden mening enorm gehyped wordt en bij lange na nog niet zo geavanceerd is als de verhalen doen geloven. Maar er kan software-matig absoluut meer dan in de tijd dat ik nog aan het programmeren was.

Transparantie
In de verhalen over algoritmes en het recht speelt een tweetal aspecten altijd een rol: transparantie en vooringenomenheid (bias). Niet gek natuurlijk. Als rechtssubject wil je van een beslissing die jou aangaat graag weten hoe deze tot stand gekomen is, of het nu gaat over een toeslag, een bekeuring, een subsidie. Niet voor niets staat in onze Grondwet dat vonnissen de gronden moeten bevatten waarop zij rusten; niet voor niets wordt in het Wetboek van Strafvordering meer dan eens aangegeven dat een beslissing gemotiveerd moet zijn, en niet voor niets stelt de Algemene wet bestuursrecht dat de motivering vermeld dient te worden bij de bekendmaking van een besluit.

Dus een algoritme, prima, maar dan wel algoritmische transparantie graag. Sterker, in het recht geen algoritme zonder transparantie. Althans niet in beslisprocessen.

Vooringenomenheid
Algoritmische transparantie dient de redenen te geven die aan een beslissing ten grondslag liggen. Dat niet alleen, het moet ook duidelijk maken dat er geen sprake is geweest van een vooringenomenheid bij het maken van een beslissing. Die mogelijke vooringenomenheid is namelijk het andere grote probleem dat vaak genoemd wordt in publicaties over algoritmes in het recht. De kans zou kunnen bestaan dat algoritmes vooroordelen kunnen hebben, waardoor de inzet ervan in bepaalde (juridische) processen op zijn minst discutabel is. Zo zou een Amerikaans onderzoek aangetoond hebben dat software die gebruikt wordt om toekomstige criminelen te traceren, 'biased against blacks' is. Volledige transparantie van in het juridische domein in te zetten software moet de inzet van dit soort systemen voorkomen en moet leiden tot een zoveel als mogelijk unbiased systeem.

Unbiased, rechter of algoritme?
De grote vraag is of we wel kunnen komen tot een unbiased juridisch beslissysteem? In eerste instantie ben ik geneigd te zeggen dat een computer, een algoritme, vrijer van vooroordelen kan zijn dan een mens. Tegelijkertijd zijn het mensen die de juridische algoritmes maken en die mensen nemen daarbij hun 'geschiedenis' mee, dus is geen enkel systeem unbiased. En hoe unbiased is de input van een systeem? Vragen die kunnen leiden tot het besluit deze dan maar niet in te zetten, of de inzet ervan te beperken tot ondersteunende taken.

Of is dat wellicht weer te snel gezegd, want hoe biased of unbiased is een rechter eigenlijk? Ondanks het feit dat een rechter zijn vonnis met redenen omkleed, kan en zal de keuze van de redenering van een rechter beïnvloed zijn door zijn 'geschiedenis' en er zullen ook altijd redenen ten grondslag liggen aan een rechterlijke, menselijke beslissing die niet transparant zijn.

Het mogelijk vooringenomen zijn van een juridisch algoritme is wat mij betreft dan ook geen reden de inzet ervan te beperken tot zeer eenvoudige beslisprocessen en voor het overige het oordelen over te laten aan biased mensen. Alvorens tot die inzet te komen, is echter wel de eerder genoemde transparantie vereist en dienen de ontwikkelteams van juridische algoritmes op zorgvuldige wijze te worden samengesteld waardoor de kans op uitgebalanceerde weloverwogen niet-vooringenomen beslissingen groter is. Dat betekent een nauwe samenwerking tussen het juridische veld en ontwikkelaars van algoritmes.

En dat biedt allemaal nog geen waterdichte garantie. Zeker niet als algoritmes zelflerend zijn en gevoerd worden met biased data, waardoor zij misschien van het unbiased-pad afraken, zoals Zuiderveen Borgesius stelt in zijn rapport. De systemen leren dan als het ware vooringenomen te zijn. Om dat dan weer te monitoren lijkt een periodieke audit van juridische algoritmes gewenst. Van Eck, Bovens en Zouridis spreken in dat kader in het eerder genoemde NJB-artikel over een periodieke, steekproefsgewijze check op rechtmatigheid van de algoritmes door een interne of externe audit-instantie.

Kortom, er moet nog wel wat gebeuren voordat we met een gerust hart objectieve algoritmes kunnen gaan inzetten in het juridische beslisproces. Tot die tijd doen we het graag met de transparante 'vooringenomen' rechters.