In de werving en selectie van personeel levert de combinatie van algoritmes en data mining, vijf mechanismen1 op die bepaalde groepen in de samenleving kunnen benadelen. Waar we in eerdere artikelen spraken over hoe het gebruik van data mining en algoritmes onbedoeld kan leiden tot discriminatie, draait dit laatste mechanisme de rollen een beetje om. Algoritmes bieden namelijk handvatten om juist bewust te discrimineren. We bespreken het laatste mechanisme genoemd door Barocas en Selbst: masking.
Data mining kan traditionele vormen van opzettelijke discriminatie nieuw leven inblazen: beleidsmakers met vooroordelen kunnen namelijk hun intenties makkelijker maskeren. Eenvoudig gezegd, elke vorm van discriminatie die onopzettelijk gebeurt, kan net zo goed opzettelijk worden gedaan.
Hoe gaat dit in zijn werk?
Er zijn meerdere manieren waarop mensen misbruik kunnen maken van algoritmes, en daarmee bepaalde groepen bewust kunnen benadelen binnen sollicitatieprocedures:
Ten eerste kan men knoeien met de dataverzameling. Besluitvormers kunnen bijvoorbeeld met opzet de verzameling van gegevens beïnvloeden om ervoor te zorgen dat mining patronen onthult die minder gunstig zijn voor leden van bepaalde groepen. Zij kunnen daarnaast volhouden dat dergelijke beslissingen volledig betrouwbaar en onpartijdig zijn – terwijl bekend is dat de data waarop de conclusies worden gebaseerd verre van neutraal is.
Ten tweede kunnen besluitvormers er voor kiezen om beperkte algoritmes in te zetten die alleen ‘kort door de bocht’ redenaties mogelijk maken – met als resultaat meer beslissingen op basis van foutieve aannames. Fouten die voorkomen hadden kunnen worden door een nauwkeuriger algoritme te gebruiken, en waardoor leden van bepaalde groepen als niet-aantrekkelijke kandidaten worden gemarkeerd. Door zichzelf dergelijke gedetailleerde informatie bewust te onthouden, kan de werkgever ‘goedpraten’ dat hele groepen worden weggeschoven, onder het mom van: ‘Goh, ja maar dit is de enige informatie die we hebben’.
Een derde manier maakt juist gebruik van de overmatige nauwkeurigheid van algoritmes. Omdat data mining in staat is om eigenschappen te onthullen die anders onopgemerkt zouden blijven, kan het algoritme indirect het lidmaatschap van individuele personen in bepaalde groepen aantonen. Met andere woorden, datamining kan werkgevers de mogelijkheid bieden om leden van bepaalde groepen te onderscheiden (en te benadelen), zelfs als die beleidsmakers geen toegang hebben tot expliciete informatie over tot welke groepen individuele personen behoren.
Addertje onder het gras
Zulke praktijken zijn natuurlijk onwenselijk en zouden voorkomen moeten worden. Maar hier zit een addertje onder het gras. Want bewijzen dat bedrijven met zulke (groepen uitsluitende) intenties gehandeld hebben blijkt bijzonder moeilijk. Datamining kan namelijk een soort dekking bieden voor opzettelijke discriminatie, omdat het mining proces verhult dat besluitvormers bewust het lidmaatschap van groepen van iemand hebben uitgezocht en overwogen. De zorg is dus niet alleen dat datamining nieuwe manieren aanreikt om te handelen naar vooroordelen, en zo te discrimineren; de zorg is vooral ook dat het daadwerkelijke gevallen van zulke discriminatie kan maskeren. Dit geeft organisaties bijna vrij spel om opzettelijk te discrimineren.
Gelukkig zijn er redenen om ons hier niet al te druk over te maken. Want hoewel datamining nieuwe manieren introduceert om opzettelijk te discrimineren binnen sollicitatieprocedures en die bedoelingen te verbergen, zijn de meeste gevallen van discriminatie op de arbeidsmarkt al moeilijk genoeg om te bewijzen; werkgevers die echt gemotiveerd zijn om te handelen naar vooroordelen zouden weinig baat hebben bij het nastreven van deze complexe en kostbare mechanismen om hun bedoelingen verder te maskeren.
Een voorbeeld
Om een hypothetisch voorbeeld te geven: een organisatie zou zwangere vrouwen kunnen discrimineren, terwijl die discriminatie moeilijk te ontdekken zou zijn. Zo heeft de Amerikaanse winkel Target naar verluidt een 'zwangerschaps voorspelling'-score opgesteld, door het winkelgedrag van klanten te analyseren op basis van ongeveer 25 producten. Wanneer een vrouw een paar van die producten koopt, kan Target met redelijke nauwkeurigheid voorspellen dat ze zwanger is. Target wilde mensen gericht bereiken met advertenties tijdens momenten in het leven waarin ze hun winkel-gewoonten veranderen. Daarom wilde de winkel weten wanneer vrouwelijke klanten zouden gaan bevallen. Als reden geven ze het volgende: "We weten dat als we ze in hun tweede trimester kunnen identificeren, de kans groot is dat we ze jarenlang kunnen vangen". Target gebruikte de voorspelling voor gerichte marketing, maar een organisatie zou een dergelijke voorspelling kunnen gebruiken voor uitsluiting van deze groep bij sollicitatieprocedures.
Lees ook in deze serie:
Waarom AI niet neutraal is:
- Bias #1 Hoe kan een doelvariabele leiden tot discriminatie? (Céline Blom)
- Bias #2 Hoe kunnen trainingsdata leiden tot discriminatie? (Céline Blom)
- Bias #3 Hoe ´feature selection´ kan resulteren in discriminatie (Céline Blom)
- Bias #4 Hoe proxies kunnen resulteren in discriminatie (Céline Blom)
Meer artikelen staan in ons dossier Algoritmisering van de Arbeidsmarkt
1 Barocas en Selbst (2011) - Big data’s disparate impact
