Eerste keer vermoeden van algoritmische discriminatie succesvol onderbouwd

In het kort 

• De Vrije Universiteit zette software in om te voorkomen dat studenten zouden frauderen tijdens tentamens, als ze die thuis moesten maken tijdens corona. Een student met een donkere huidskleur had meerdere keren problemen met inloggen. Ook maakte zij het een paar keer mee dat ze niet meer bij de vragen mocht komen. Dan moest ze steeds opnieuw inloggen.  De vrouw vermoedt dat deze problemen samenhangen met haar huidskleur. 

• Het College vindt dat de vrouw erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie. Zowel de universiteit als de vrouw zijn het erover eens dat de vrouw meerdere keren hinder van de software ondervond. Academisch onderzoek laat daarnaast zien dat gezichtsdetectiealgoritmes minder goed presteren bij mensen met een donkere huidskleur. Tegelijkertijd heeft de Vrije Universiteit te weinig controleerbare gegevens laten zien waaruit blijkt dat de software niet discrimineerde.   

• Dit is voor het eerst dat iemand erin is geslaagd algoritmische discriminatie aannemelijk te maken. De universiteit krijgt nu tien weken de tijd om te bewijzen dat de software niet gediscrimineerd heeft. 

Belangrijke mijlpaal 

“Dit gaat weliswaar om een tussenoordeel, maar het is toch een belangrijk moment in onze geschiedenis van oordelen", aldus voorzitter Jacobine Geel. “Het is iemand namelijk gelukt om te zeggen: “Hey, wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert.” Dat is een heel betekenisvolle eerste stap. Ongeacht wat het eindoordeel zal zijn, hoopt de voorzitter dat dit tussenoordeel een aansporing is voor iedereen om zich bij het College te melden als hij, zij of hen vermoedt dat een algoritme discrimineert.  

‘Face not found’ 

Een vrouw volgde in het academische jaar 2020/21 een master aan de Stichting Vrije Universiteit Amsterdam. Vanwege de coronapandemie nam de universiteit tentamens in dat jaar (veelal) online af. Om fraude te voorkomen gebruikte de onderwijsinstelling onder andere zogenoemde proctoring software (‘antispieksoftware’).  

Om toegang tot de examenvragen te krijgen moesten studenten een aantal checks doorlopen, waaronder een ‘webcamcheck’. De antispieksoftware beoordeelde dan of er iemand aanwezig was door toepassing van een gezichtsdetectiealgoritme op webcambeelden. Ook zorgde de software ervoor dat tijdens het tentamen de bewegingen op de werkplek van de student via de webcam werden gemonitord. 

De vrouw stelt dat het systeem haar vaak niet detecteerde. Zij kreeg dan meldingen als ‘face not found’ of ‘room too dark’. Daarnaast is zij verschillende keren tijdens een tentamen door de software de toegang tot de examenvragen ontzegd, waarna ze opnieuw moest inloggen, een zogenoemde ‘herstart’. 

VU: geen discriminatie 

De Vrije Universiteit stelt dat van discriminatie geen sprake is. Zij heeft navraag gedaan bij de leverancier. Die ontkent dat sprake is van enige discriminatie door de software. De leverancier heeft een externe partij gevraagd onderzoek te doen en deze heeft niets gevonden dat daarop duidt.  

De universiteit heeft verder de loggegevens bekeken en daaruit zou niet blijken dat de vrouw uitzonderlijk meer hinder had ondervonden dan andere studenten bij het inloggen of te maken kreeg met uitzonderlijk veel herstarts.  

Vermoeden dat software slechter werkt bij mensen met donkere huidskleur 

De vrouw had geen effectieve mogelijkheid om de werking van de antispieksoftware te bekijken. Het Hof van Justitie van de Europese Unie heeft in soortgelijke gevallen geoordeeld dat iemand in zo een situatie een vermoeden van discriminatie mag onderbouwen met algemenere gegevens.  

Het College stelt vast dat er academisch onderzoek is dat aantoont dat gezichtsdetectiesoftware over het algemeen slechter presteert op personen met een donkere huidskleur. 

Daarnaast zijn zowel de vrouw als de universiteit het erover eens dat de vrouw enige malen hinder heeft ondervonden van de software.   

Deze feiten zijn samen voldoende om de bal terug te leggen bij de universiteit en aan haar te vragen meer bewijzen te overleggen dat het algoritme niet heeft gediscrimineerd.  

Het College stelt vast dat de universiteit aan die eis (nog) niet heeft voldaan. Het door de softwareleverancier aangevoerde externe onderzoek is niet openbaar en kan niet worden geraadpleegd. De gegevens die de universiteit zelf aandraagt zijn niet compleet. Zo wordt daarin de situatie van de vrouw onvoldoende vergeleken met andere studenten. Daarom wordt de Vrije Universiteit gevraagd om het standpunt dat geen sprake is van discriminatie verder te onderbouwen. 

Tien weken de tijd voor de universiteit 

Over tien weken zal het College de nieuwe bewijzen die de universiteit heeft aangeleverd beoordelen. Het kan zijn dat het College het nodig vindt nog een zitting te houden om de nieuwe bewijzen te bespreken. Maar wellicht kan het College ook al tot een oordeel komen na het bekijken van het nieuwe bewijsmateriaal van de universiteit. Dat kan het College pas besluiten nadat het bewijsmateriaal bekeken is. 

Meld vreemde besluiten bij het College! 

Mochten mensen soortgelijke ervaringen hebben of onverklaarbare besluiten hebben ontvangen van organisaties (werkgevers of de overheid bijvoorbeeld), dan moedigt het College deze mensen aan om eerst navraag te doen of er een algoritme is ingezet. En als dat het geval was, om te vragen hoe het algoritme werkt. Als organisaties dat niet naar tevredenheid kunnen uitleggen, dan nodigt het College deze mensen uit om contact op te nemen met het College. Mogelijk is er sprake van algoritmische discriminatie.  

Het College geeft speciale aandacht aan Digitalisering en Mensenrechten. Bekijk ook onze visuele verhaalwebsite waarin je in vijf minuten leert hoe sollicitatie-algoritmes jouw kansen kunnen beïnvloeden.