Jacqueline van Breemen (onderzoeker en data analist bij NOA) deed onderzoek naar het gebruik van AI bij selectie. Ze vergeleek de uitkomsten met die van traditionele selectiemethoden. Welke kandidaten hebben het meest winst van de toepassing van AI? En is selectie met gebruik van AI betrouwbaar? Haar belangrijkste uitkomst: selectie met AI versterkt sommige bestaande vooroordelen.
Je gaat solliciteren op een nieuwe baan en hoort dat er bij de selectie gebruik wordt gemaakt van artificial intelligence, dat is kunstmatige intelligentie of AI. Wat betekent dat? Word je dan beoordeeld door een computer? Kan die dat wel? Heb je dan nog een eerlijke kans?
Het antwoord op de laatste vraag is helaas: niet iedereen. Jacqueline van Breemen (onderzoeker en data analist bij NOA) deed onderzoek naar het gebruik van AI bij selectie. Ze vergeleek de uitkomsten met die van traditionele selectiemethoden. Welke kandidaten hebben het meest winst van de toepassing van AI? En is selectie met gebruik van AI betrouwbaar? Haar belangrijkste uitkomst: selectie met AI versterkt sommige bestaande vooroordelen.
In selecties wordt al langer gebruik gemaakt van algoritmes. Algoritmes zijn regels voor het verwerken van informatie. Die informatie kan bijvoorbeeld gaan over de vaardigheden van een sollicitant. Is de kandidaat goed in rekenen? En kan de kandidaat nauwkeurig werken? Die kenmerken worden gemeten met een goedgekeurde test. Daarna wordt met een algoritme een score berekend. Zo krijg je een voorspelling over hoe een sollicitant het gaat doen. Die score vergelijk je met een minimumscore. Bijvoorbeeld de score voor rekenen moet minimaal een 5 zijn en voor nauwkeurig werken een 7. Zo weet je of de sollicitant voldoende in huis heeft voor de baan. Zijn er meer sollicitanten dan worden de scores op volgorde gezet; van de beste naar de slechtste score. Dit heet een ranking.
Een andere manier is het regressiemodel. In dit model doe je alle testscores van de werknemers die al bij je werken. Je kan ook andere eigenschappen in het model doen, zoals iemands leeftijd. En je geeft aan welke werknemers succesvol zijn. Dan berekent de computer het algoritme. Er kan bijvoorbeeld uitkomen dat succesvolle werknemers een hogere score op rekenen en op nauwkeurig werken hebben. In dit model kan het algoritme aangepast worden. Er wordt dan gecheckt of alle eigenschappen wel goed in het model zitten. De uitkomst kan bijvoorbeeld ook zijn dat alle succesvolle werknemers ouder zijn. Als je niet wil selecteren op leeftijd dan kan je die eigenschap uit het model halen. Het nieuwe model wordt daarna gebruikt in volgende selectieprocedures.
AI zoekt zelf naar patronen in data
De algoritmes die in beide methoden worden gebruikt worden door mensen ontworpen. Dat is anders bij AI. Bij AI doet de software dat zelf. Dit noemen we machine learning, of lerende systemen. Algoritmes ontstaan hier doordat de software patronen ontdekt in de gegevens van bestaande werknemers. Deze patronen worden gebruikt bij nieuwe sollicitanten. Bij AI zijn alle ingevoerde data bruikbaar, maar de patronen die worden gevonden, en de algoritmes die zo ontstaan blijven onbekend.
Een verschil met traditionele methoden is dus de uitleg van de uitkomsten. AI verwerkt informatie en ontdekt daarin patronen. Maar de manier waarop dat gebeurt blijft onbekend. Je ziet het niet en weet dus niet precies waarop je selecteert. Waardoor de uitkomst moeilijk aan kandidaten is uit te leggen. Dat roept allerlei ethische en wettelijke vragen op.
Maar AI is in ieder geval objectiever dan een mens. Toch?
Een vaak gehoorde reden voor het gebruik van AI bij selectie is dat AI objectiever is bij de beoordeling van kandidaten. Want een computer ziet niet om welk mens het gaat en kan dus niet discrimineren. In het onderzoek van Jacqueline van Breemen bleek dit echter niet waar te zijn. Bestaande vooroordelen over groepen werknemers of studenten werden bij AI gewoon overgenomen en soms zelfs versterkt. Dus als een bepaalde groep nu iets meer succesvol is, voorspelt een AI-model dat kandidaten uit een zelfde groep in de toekomst véél meer succesvol zullen zijn. In haar onderzoek werden de kansen op succes voor kandidaten met een Nederlandse achtergrond daardoor te hoog geschat. En de kansen op succes voor kandidaten met een niet-westerse achtergrond te laag.
Het verschil kon voor een deel worden verklaard doordat er meer kandidaten met een Nederlandse achtergrond deelnamen aan het onderzoek. Bovendien waren de deelnemers met een andere achtergrond door diverse oorzaken wat minder succesvol. Kortom, AI voorspelde dat veel meer kandidaten met een Nederlandse achtergrond succesvol zijn dan er echt succesvol waren, omdat er meer van dit soort kandidaten in de data zat. Het AI model concludeerde dat deze achtergrond een succesfactor is.
Dat betekent volgens Van Breemen niet dat gebruik van AI altijd ongewenst zal blijven. Er moet uitgezocht worden hoe de AI algoritmes uitlegbaar kunnen worden gemaakt. Een sollicitant of student weigeren omdat ‘de computer nee zegt’ is wettelijk en ethisch onverantwoord. En AI zou kunnen werken als er eerst meer en diverse data verwerkt en beoordeeld wordt. Er moet rekening worden gehouden met de verdeling van meerderheids- en minderheidsgroepen. Op dit moment echter is het gebruik van AI bij recruitment en selectie dus nog te vroeg. De belofte om objectiever te selecteren met AI wordt op dit moment nog niet waargemaakt.
In 2019 schreef de NSvP de AI x Recruitment Challenge uit. Doel: meer inzicht in de werkelijke werking van AI en algoritmisering voor het verbeteren van recruitmentbeslissingen. Drie partijen ontvingen ieder een challengesubsidie van € 10.000 om hun plan uit te voeren. Het initiatief van NOA was daar één van. Na afloop van deze projecten werd eind 2020 voor het best onderbouwde, sterkst overtuigende en ook maatschappelijk meest relevante project een eindprijs van € 20.000 uitgereikt. De winnaar van deze eindsubsidie voor de doorontwikkeling van het plan is NOA.
Lees ook:
- Kennisdossier: Algoritmisering van de arbeidsmarkt
- De achtergrond van de AI x RecruitmentChallenge.
- Algoritmisch solliciteren: laat je inspireren door Cranky the Recruit-a-tron, The Guestworker, The Selection Automat en Ed & Algje.
