Jacqueline van Breemen en collega’s van NOA (psychologisch advies- en onderzoeksbureau dat nauw samenwerkt met de sectie sociale en organisatiepsychologie van de Vrije Universiteit Amsterdam) laten zich uitdagen door de vraag hoe we de eerlijkheid moeten wegen van selectiebeslissingen door drie verschillende selectiemethodes. Hoe anders is de lijst van geschikte kandidaten, wanneer er machine learning modellen worden gebruikt in plaats van meer traditionele technieken? Verschilt deze lijst van kandidaten erg van elkaar? Zo ja, op welke (persoons)kenmerken precies? Kortom: wat gebeurt er écht onder de motorkap van AI: komen er meer inclusieve, diverse keuzes of juist meer exclusieve keuzes in geschikte kandidaten in praktijk tot stand? Of maakt het geen verschil? NOA streeft ernaar om de bevindingen van hun onderzoek zo uitlegbaar en toegankelijk mogelijk te maken – dus ook te bevatten als je niets van de werking van de specifieke (statistische) technieken afweet. De volgende stap zou zijn om met de opgedane kennis een werkwijze te ontwikkelen die het mogelijk maakt om met AI breder en diverser talent te selecteren.
Het onderzoek vindt plaats in samenwerking met 3DUniversum als partner voor de machine learning/deep learning modellen.
Aanpak
De verschillen in uitkomsten tussen drie selectiemethoden wordt vergeleken. Het gaat om:
A) Selectie door ranking op scores van psychometrische instrumenten
B) Selectie door middel van (logistische) regressiemodellen waarin naast psychometrische variabelen ook persoonlijke variabelen (zoals gender, leeftijd) als voorspellers aanwezig zijn
C) Selectie door middel van AI, te weten machine learning modellen met uitgebreide persoonlijke variabelen
De geselecteerde personen van de drie methoden worden vergeleken: zijn dezelfde personen wel/niet geselecteerd? Verschillen zij op kenmerken als achtergrond, leeftijd, gender, andere diversiteitskenmerken?
In dit artikel in ons kenniscentrum staan de bevindingen en inzichten in de verschillen in bias van verschillende selectie methoden: "Pas op de plaats voor grote beloften van AI in recruitment"
De onderzoeksrapportage is als pdf te downloaden via deze link.
Voor verdere uitwerking en kennisdeling van deze projectuitkomsten ontving NOA de Challenge Eindprijs binnen de AI x RecruitmentChallenge. Het subsidiebedrag van € 20.000 zet NOA in voor voorlichting en kennisverspreiding. Er werd onder meer een animatie gemaakt en waarin het complexe onderwerp in heldere taal & beeld werd uitgelegd voor een brede doelgroep. Ook werden er in 2022 verschillende webinars verzorgd over selectie via AI.
