Organisaties zetten steeds vaker algoritmes in om werkprocessen te verbeteren. Dat gebruik blijkt echter niet zonder risico: de afgelopen jaren kwamen meerdere gevallen van algoritmische discriminatie aan het licht, waaronder de kinderopvangtoeslagenaffaire en de controle op uitwonende studenten door DUO. Om discriminatie te kunnen meten en voorkomen zijn de afgelopen jaren de zogeheten fairness-methodes ontwikkeld. Maar in hoeverre zijn deze methodes echt geschikt om discriminatie vast te stellen?
Beeld: © Jonathan Brady / ANP
Het College voor de Rechten van de Mens vroeg de Technische Universiteit Eindhoven om onderzoek te doen naar hoe deze kwantitatieve methodes overlappen met de manier waarop discriminatie juridisch wordt vastgesteld. Er is ook gekeken hoe deze ingezet kunnen worden voor het meten en voorkomen van discriminatie in algoritmes.
Kwantitatieve methodes niet voldoende
Het onderzoek concludeert dat fairness-methodes overeenkomsten bevatten met de beoordelingskaders die worden gebruikt om vast te stellen of er sprake is van discriminatie. Deze kwantitatieve methodes alleen zijn niet voldoende om discriminatie aan te tonen. Discriminatie is namelijk geen technisch probleem dat (alleen) met technische aanpassingen opgelost kan worden.
Het toetsen en voorkomen van discriminatie in algoritmes vereist multidisciplinaire samenwerking, actieve monitoring en verankering van het toetsen van discriminatie in de werkprocessen.
Een voorbeeld van algoritmische discriminatie is het gebruik van een CV‑matchingtool om te filteren voor een technische functie, zoals software engineer. Het algoritme bevat de variabele ‘geslacht’, waarbij het vrouwelijke of non-binaire kandidaten automatisch lager scoort of zelfs direct afwijst. Omdat de selectie op basis van het beschermde persoonskenmerk plaatsvindt, geslacht, is er sprake van directe discriminatie.
Hoe pak je algoritmische discriminatie wel aan met fairness-methodes?
Hoewel fairness-methodes op zichzelf niet volstaan, kunnen ze wel onderdeel zijn van de beoordeling of er sprake is van discriminatie. Op basis van het onderzoeksrapport reikt het College voor de Rechten van de Mens organisaties handvatten aan om deze methodes toe te passen zodat het aansluit bij het recht op gelijke behandeling.
In deze samenvatting met handvatten wordt onder andere het verschil uitgelegd tussen directe en indirecte discriminatie en vind je verschillende vragen en uitgangspunten die essentieel zijn om als organisatie mee te nemen bij de afweging of er sprake is van discriminatie.
In gesprek met het College
Organisaties die fairness-methodes toepassen en hulp kunnen gebruiken bij de inzet hiervan om discriminatie tegen te gaan, kunnen contact opnemen met het College. Om een gespreksverzoek in te dienen vult u dit formulier in: Gespreksverzoek: de inzet van fairness-methodes - Formulier invullen