De grote belofte van Artificiële Intelligentie (AI) is dat hiermee sneller, accurater en eerlijker kan worden geworven, gematcht en geselecteerd. Maar hoe krijgen we inzicht in de werkelijke werking van AI en algoritmisering voor het verbeteren van recruitmentbeslissingen? Deze open vraag vormde de aanleiding voor de NSvP AI x Recruitment Challenge in 2019. Drie partijen – NOA, eelloo, Vrije Universiteit – ontvingen een financiële bijdrage van de NSvP om een betere en verantwoorde inzet van AI in de wereld van recruitment een stap verder te brengen. Inmiddels zijn hun (deel)onderzoeken afgerond en de uitkomsten gepubliceerd.
De Challenge Eindprijs van € 20.000 werd onlangs toegekend aan onderzoeksinstituut NOA. De prijs is een waardering voor het onderzoek dat NOA heeft verricht: het geeft inzicht in de verschillen in bias van verschillende selectie methoden. Het toegekende bedrag zet NOA in voor voorlichting en kennisverspreiding. Zeer nuttig, want er is een groot gemis aan inzicht wat het werken met algoritmes werkelijk betekent voor de werving- en selectiepraktijk.
NOA: onderzoek naar de eerlijkheid van AI
Jacqueline van Breemen en collega’s onderzochten de consequenties van selectie met behulp van AI op de diversiteit van de geselecteerden. Op welke kenmerken verschilt de lijst van geschikte kandidaten, wanneer machine learning modellen worden gebruikt in plaats van meer traditionele technieken? Komen er meer inclusieve, diverse keuzes of juist meer exclusieve keuzes in geschikte kandidaten in praktijk tot stand? Of maakt het geen verschil?
De eindconclusie van het onderzoek:
de combinatie van gebrek aan transparantie, de gevonden bias, en het ontbreken van superieure voorspelkracht, maakt dat selectie met AI op dit moment (nog) niet goed toepasbaar is.
Het onderzoek en de bevindingen
Onderzoekers keken naar de werking van drie verschillende selectiemethoden:
- Ranking Model (gebaseerd op benodigde kwalificaties op basis van theoretische overwegingen en eisen van de studie / baan).
- Regressie Model (op basis van dezelfde theoretische variabelen als Model A, maar met de mogelijkheid om het model aan te passen na evaluatie).
- AI Model (gezocht werd naar het beste AI model gebaseerd op alle variabelen van model A en B).
Voorspellen van succes
Hoe goed zijn de drie modellen in het voorspellen van succes? Uit het onderzoek bleek het Ranking Model 69% correct te voorspellen, het Regressie Model 74% en het AI Model 71%. Het AI model voorspelde dus niet beter (accurater) wie succesvol was dan het Regressie model. Dit sluit aan bij eerder onderzoek dat aangeeft dat een handmatig of regressie algoritme net zo goed of beter is dan een AI algoritme.
Diversiteit
Op het vlak van gender blijken er geen significante verschillen tussen de drie modellen. Voor het diversiteitskenmerk ‘geboorte achtergrond’ bleken er echter wél versterkende effecten bij het AI Model. Alleen het Ranking Model heeft geen over- of onderschatting op achtergrond. Zowel het Regressie Model als het AI Model overschatten beide het succes van mensen met een Nederlandse geboorteachtergrond, ten koste van mensen met niet-Westerse geboorteachtergrond. Het AI Model heeft de grootste overschatting. De bias in de samenstelling van het databestand wordt overgenomen en zelfs versterkt door het gebruik van AI bij selectie.
Efficiëntie
Is selectie met AI efficiënter? Uit een inventarisatie van de gemaakte werkuren voor het ontwerp van alle drie de modellen blijkt dat het Ranking model het minste aantal uren kosten (± 6), gevolgd door het Regressie model (± 16) en daarna het AI model (± 24). In deze fase van een selectie is het AI model dus niet direct kosteneffectiever. Dit heeft ook consequenties voor de toepasbaarheid; om een goed AI model te maken is er veel trainingsdata nodig, en lijkt het dus met name geschikt voor bedrijven met een groot werknemersbestand. Maar de hoeveelheid trainingsdata staat los van de kwaliteit en diversiteit van de data.
Fundamentelere vragen
De uitvoering van AI modellen wordt gedaan door data scientists, niet door psychologen. Data scientists zijn niet gehouden aan een beroepscode voor wat betreft integriteit, discriminatie, e.d. Dit kan grote consequenties hebben voor recruiters en sollicitanten.
De toepasbaarheid van een AI model wordt beperkt doordat het algoritme een black box is. Er kan niet uitgelegd worden op welke combinatie van eigenschappen iemand afgewezen wordt. Bij de Ranking en Regressie modellen is wél zichtbaar welke combinatie van eigenschappen zorgt voor een afwijzing.
De eindconclusie van dit onderzoek is daarom dat de combinatie van het gebrek aan transparantie van het algoritme, de versterkte bias, en het ontbreken van superieure voorspelkracht ten opzichte van de andere hier onderzochte methoden, maakt dat selectie met behulp van AI (nog) niet goed toepasbaar is.
Winnaar Eindprijs NSvP Challenge
NOA ontving op basis van het afgeronde onderzoeksproject en de doorontwikkelplannen de Challenge Eindprijs: een subsidie van € 20.000 om hun bevindingen met de wereld te delen en met vervolgonderzoek verder te specificeren. NOA gaat de inzichten eenvoudig toegankelijk maken voor het algemene publiek, sollicitanten, werkzoekenden. Ook gaan ze de opgedane kennis, resultaten en aanbevelingen verspreiden en toelichten bij selectie- & recruitmentbureaus, beleidsmakers en -beïnvloeders.
Tegelijkertijd start NOA nieuw onderzoek, met meerdere datasets. Zodat steeds duidelijker wordt in welke omstandigheden, in welke sectoren en op welke niveaus, AI wel of niet werkt als selectiemethode. Zo ontstaat een steeds specifieker advies over het gebruik van AI in selectie en recruitment.
Update november '21: Met de eindprijs werd onder meer een animatie gemaakt, waarin het complexe onderwerp van algoritmes en selectiemethoden op heldere wijze wordt uitgelegd, geschikt voor een brede doelgroep:
Het volledige onderzoeksrapport kun je hier downloaden: onderzoeksnotitie NOA - Selectie met AI: meer of minder eerlijk dan traditionele selectiemethoden?
Lees ook de artikelen over de uitkomsten van de andere onderzoeken binnen de NSvP AI x Recruitment Challenge:
- Werkzoekenden in gesprek met algoritme over vacaturematching - over de mogelijkheid van wederkerigheid van AI in recruitment - over het onderzoek door Jaap Jan van Assen, eelloo
- Hoe ervaren sollicitanten de inzet van AI in het selectieproces? - over het onderzoek door Janneke Oostrom (VU)
- Wie hebben het meest baat bij gebruik van AI in selectieprocedures?
- Onderzoek van vandaag voor de werkzoekenden van morgen, AI en recruitment: twee handen op een buik of liefde van één kant?
Meer feiten zonder fictie over algoritmisering van de arbeidsmarkt en de vragen die tot de AI x Recruitment Challenge leidden vind je in het dossier algoritmisering van de arbeidsmarkt.
