Door Siri Beerends
Niet eerder werd de noodklok over onze discriminerende arbeidsmarkt zo vaak en zo hard geluid. Het kabinet neemt maatregelen. Werkgevers moeten beleid opstellen om discriminatie in de selectieprocedure te voorkomen. Dat staat in een concept van het wetsvoorstel Toezicht discriminatievrije werving en selectie. Nieuw is de ‘vergewisplicht’ waardoor werkgevers zich moeten inspannen om te beoordelen of geautomatiseerde werving- en selectiesystemen discrimineren. Dat betekent meer openheid over de algoritmen die meebepalen welke sollicitanten worden aangenomen. Wat gaat dat betekenen voor de belofte van algoritmische inclusie? Aan de hand van vier interactieve installaties kijken we naar de gevolgen van AI voor de diversiteit op de arbeidsmarkt.
Arbeidsmarktdiscriminatie is een complex probleem. Er bestaan verschillende vormen van discriminatie die elk een andere oorzaak hebben. Bovendien gebeuren veel vormen van discriminatie en uitsluiting onbewust. Cognitieve biases verstoren het objectieve oordeelsvermogen van menselijke recruiters in de praktijk.
Daarom verkennen steeds meer werkgevers en recruitmentbureaus technologische oplossingen voor dit probleem. Door het werven en selecteren uit te besteden aan een algoritme, hopen zij geschikte kandidaten onbevooroordeeld te kunnen selecteren. De belofte van algoritmische inclusie is dat geen enkele sollicitant op oneigenlijke gronden kan worden afgewezen. Een algoritme zou niet gevoelig zijn voor sociale categorieën zoals oud versus jong, man versus vrouw of allochtoon versus autochtoon. Iedereen met dezelfde kwaliteiten zou dezelfde kansen krijgen.
Maar helaas, het algoritme blijkt geen objectief orakel. Als een algoritme getraind is met data waarin vooroordelen en ongelijkheden zijn verankerd, dan neemt het rekenmodel deze vooroordelen over. Of het nu gaat om de gezondheidszorg, het politiewezen of gezichtsherkenning, elke dag verschijnen nieuwsberichten over algoritmische rekenmodellen waarin minderheden stelselmatig worden benadeeld. Ook in de HR-sector. Zo bleek het recruitment algoritme bij Amazon alleen maar mannen te selecteren voor technische banen. Omdat bij Amazon meer mannen werkte, waren mannen volgens het algoritme statistisch gezien vaker succesvol. Gevolg: succesvolle kenmerken werden gelijk gesteld aan mannelijke kenmerken waardoor vrouwen vaker werden uitgesloten. Voor dit soort zaken wil de overheid nu met een vergewisplicht waken. Werkgevers en recruiters moeten scherper zijn op de verleidingen en beloftes van algoritmisch werven en selecteren.
Maar hoe krijgen we dat voor elkaar? Hoe kunnen we het vraagstuk over algoritmische inclusie verscherpen en meer mensen hierover laten meedenken? De Nederlandse Stichting voor Psychotechniek (NSvP) en medialab SETUP nodigde vier ontwerpduo’s uit om zich over deze vraag te buigen. De resultaten zijn vier interactieve installaties die de gevolgen van AI voor de diversiteit op de arbeidsmarkt tastbaar en invoelbaar maken.
Data-diversiteit
De verwachtingen van recruitment algoritmen zijn ondanks de teleurstellende resultaten bij Amazon hoog gespannen. Nu de schadelijke effecten van algoritmische bias serieus worden genomen, zoeken we de oplossing in het verbeteren van onze algoritmen. Dat is nu eenmaal makkelijker dan het aanpassen van menselijk gedrag, is de heersende gedachtegang. We moeten ‘goede’ waarden in het algoritme programmeren door gevarieerde datasets te gebruiken en de ‘juiste’ variabelen op de ‘juiste’ manier te wegen. Maar wie mogen bepalen wat de juiste waarden en variabelen zijn? En kunnen we de sociaal-economische ongelijkheden die algoritmen steeds vaker blootleggen daadwerkelijk oplossen met een technologische quick fix?
Installatie: Ed & Algje
Deze vragen zijn tastbaar gemaakt door Tessel Brühl en Nicky Liebregts. Zij ontwierpen ‘Ed de dataset’ en ‘Algje het Algoritme’. Stuntelend zonder menselijke zintuigen trekt Algje de openbare ruimte in. Ed helpt Algje een handje, want een algoritme kan niets zien zonder dataset. Door op locatie zoveel mogelijk verschillende mensen te bevragen over hun ervaringen met solliciteren, bias en inclusiviteit, probeert Ed van Algje een inclusiever algoritme te maken. Zo betrekken zij meer mensen bij het maatschappelijke debat over algoritmische inclusie en gaan ze de strijd aan met eentonige datasets die sociaal-economische ongelijkheden versterken.
De vraag is of Ed en Algje deze strijd kunnen winnen. Ook in de digitale wereld zijn minderheidsgroepen en minderheidsperspectieven ondervertegenwoordigd. Daardoor zijn inclusieve datasets vaak niet beschikbaar. Ed en Algjes noeste arbeid om een dataset meer divers te maken is exemplarisch voor de complexiteit van algoritmische inclusie. De makers stellen daarmee een belangrijke vraag: Zijn ontwikkelaars bereid om tijd en geld te investeren in meer diverse datasets? En hoe kunnen werkgevers zich vergewissen van de mate van diversiteit in de data waarop de gebruikte algoritmen zijn getraind?
En er is nog iets aan de hand. Want stel nu dat ondervertegenwoordigde groepen Ed en Algje helemaal niet willen voorzien van nieuwe data input? Met de boodschap ‘Please Don’t Include Us’ organiseerden Harvard studenten een workshop waarin zij hun zorg uiten dat algoritmische inclusie zal leiden tot systemen die minderheden en sociaal-economische onderklassen profileren en criminaliseren. In Nederland gebeurde dit dankzij Systeem Risico Indicatie (Syri) dat rijkere wijken uitsluit van algoritmische screenings op fraude en wetsovertredingen. De rechtbank oordeelde dat het systeem verboden moet worden vanwege de discriminerende en stigmatiserende effecten van de gebruikte algoritmen.
In Nederland kent de AVG de bepaling dat je expliciet toestemming moet geven voor de verwerking van persoonlijke data. Een belangrijke vraag is of de groepen die momenteel het meest benadeeld worden door algoritmen ook minder geneigd zijn om toestemming te geven voor de verwerking van hun data. In dat geval is de belofte van algoritmische inclusie heel ver weg.
Iedereen op gesprek
Afgezien van de data-discussie richt de recruitmentsoftware industrie zich op de ontwikkeling van recruitmentbots. De belofte van deze bots is een snellere, betere en meer inclusieve screening, omdat nu iedereen kan worden uitgenodigd voor een gesprek. Waar sollicitanten voorheen nog op basis van CV en brief op gesprek mochten verschijnen, kan nu iedereen de kans krijgen om zichzelf te presenteren.
Het gebrek aan tijd en mankracht om elke sollicitant te spreken dwingt werkgevers traditioneel tot pre-selectie aan de poort. Helaas is de kans op arbeidsmarktdiscriminatie aan de poort nog steeds aan de orde van de dag. Onderzoekers van de Universiteiten van Amsterdam en Utrecht schreven tussen 2016 en 2018 bijna 4.200 brieven op echte vacatures, waarin ze varieerden met de etnische achtergrond van de afzender. Conclusie: wanneer je verder in de brief alles gelijk houdt, verkleint enkel een niet-Nederlandse naam en achtergrond de kansen op een gespreksuitnodiging met 30%.
De standaardreactie op dit type onderzoek is een roep om anoniem solliciteren. De hoop is dat kunstmatige intelligentie deze anonimiteit kan bieden door onbevooroordeeld kandidaten te selecteren en iedereen een kans te bieden op een eerste gesprek. De opmars van spraaktechnologie in de recruitment wereld leidt tot de vraag in hoeverre AI menselijke sollicitatiegesprekken kan overnemen.
Installatie: Selection Automat
Geïnspireerd door de torenhoge beloftes van de recruitmentsoftware-industrie, ontwikkelde Joost Helberg, Jeroen de Vos en Vincent Hoenderop de Selection Automat. Deze AI-powered recruiterbot maakt tastbaar hoe een algoritme op basis van een geautomatiseerd telefoongesprek kandidaten selecteert. Zodra je de hoorn van de haak pakt krijg je een aantal vragen op je afgevuurd, waarbij de antwoorden bepalen of je geschikt bent bevonden voor de functie van corporate recruiter. Selection Automat speelt met de illusie van objectiviteit en stelt de vraag of je een sollicitatiegesprek kunt nabootsen door het eerst te codificeren. Antropoloog Jeroen de Vos sprak met HR-deskundigen om de gangbare structuur van een sollicitatiegesprek te ontcijferen. Zo volgt de Selection Automat de veelgebruikte STAR-methodiek, waarbij sollicitanten wordt gevraagd naar een Situatie uit het verleden, de Taak die hen te doen stond, de Actie die men heeft ondernomen en het Resultaat van die actie. Daaruit zou je kunnen destilleren of iemand bijvoorbeeld daadkrachtig, creatief of stressbestendig is. Na het beantwoorden van de vragen hangt de sollicitant op en volgt de uitslag in de vorm van een rode of groene sticker. De mensen met een groene sticker mogen zich melden voor de tweede ronde.
Of je nu geschikt bent bevonden door de Selection Automat of niet, je stapt in de voorstelbare toekomst van algoritmische recruitment. Geen geploeter met sollicitatiebrieven; je ziet een vacature, klikt erop, beantwoordt een paar vragen en weet meteen je of je in aanmerking komt voor de functie.
Toch kan de sollicitant zich oncomfortabel voelen als niet duidelijk is wat de scheidslijn bepaalt tussen geschikt en ongeschikt. Ja, men maakt gebruik van ‘state-of-the-art algoritmen’ en ‘gerenommeerde recruitment standaarden’, daarmee geven bedrijven hun technologieën een aura van objectiviteit. Maar technologie is nooit waardevrij: het feit dat een algoritme consistent is en elke sollicitant op dezelfde manier beoordeelt, betekent niet dat dit ook op een neutrale manier gebeurt. Wat betreft transparantie laat de Selection Automat ̶ net als hedendaagse recruitment technologieën ̶ haar sollicitanten in de mist. Bedrijven hoeven vanwege hun intellectueel eigendomsrecht namelijk geen openheid te geven over de werking van hun algoritmen. En zolang we niet weten hoe de berekeningen werken, weten we ook niet of sprake is van een onwenselijke bias.
Op dit moment wordt daarom fors ingezet op wetgeving over algoritmische transparantie. Maar volgens AI-experts moeten we ons daar niet teveel bij voorstellen. Wanneer algoritmen zelflerend zijn, is het vaak onmogelijk om te achterhalen welke rekenstappen het algoritme doorloopt om tot een eindbeslissing te komen. Hedendaagse algoritmen bevatten soms wel miljoenen parameters die subtiele, non-lineaire interacties beschrijven. Volgens AI-expert David Watson (Oxford Internet Institute) zijn algoritmische beslissingen niet makkelijker te controleren dan menselijke beslissingen. Een menselijke beslissing kan net als algoritmische beslissing een black box zijn, met het belangrijke verschil dat we mensen moreel verantwoordelijk kunnen houden voor hun beslissingen. Zodra zichtbaar wordt dat in een bedrijf bepaalde groepen over- of ondervertegenwoordigd zijn, kunnen we het bedrijf daarvoor moreel verantwoordelijk houden. Bij een algoritme werkt dat anders. Wanneer mensen gespecialiseerd zijn in een bepaald vakgebied en accurate beslissingen nemen, dan beschouwen we deze mensen als betrouwbare en moreel aansprakelijke individuen. Daardoor denken we automatisch dat wanneer een algoritme een accurate beslissing neemt, deze morele aansprakelijkheid ook voor het algoritme geldt. Maar het tegendeel is waar. Een algoritme kunnen we niet straffen, belonen of ter verantwoording roepen. Watson waarschuwt dat wanneer we algoritmen beslissingsbevoegdheid geven in sociale contexten, mensen hun morele aansprakelijkheid kunnen gaan verstoppen achter het advies van het algoritme.
Dat transparantie geen wondermiddel is blijkt ook uit een nieuwe Amerikaanse wet in Illinois die sollicitanten meer inzicht moet geven het algoritmische selectieproces. Uiteindelijk laten bedrijven alleen maar zien op welke ‘globale kenmerken’ sollicitanten algoritmisch gescreend worden. De sollicitant begrijpt niets van de gebruikte rekensystemen en moet er maar vanuit gaan dat het systeem niet onderhevig is aan bias.
Uitsluiting door toenemende kwantificering
Algoritmische inclusie gaat niet alleen over het in- of uitsluiten van minderheidsgroepen. Het gaat ook over aspecten van menselijk gedrag die worden uitgesloten door de toenemende nadruk op kwantificering en dataficering. Hoe inclusief je dataset ook is, het is en blijft data: een informatievorm die niet al onze kwaliteiten kan uitdrukken. Regelmatig verschijnen lijsten op HR blogs met ‘job skills of the future’ waar vaardigheden opstaan zoals sociaal-emotionele intelligentie, empathie, verbeeldingskracht, moreel bewustzijn, samenwerken en creativiteit. Het gaat om kwaliteiten die computers niet kunnen ontwikkelen en in een hoog technologische samenleving steeds belangrijker worden. Het zijn tevens kwaliteiten die je misschien helemaal niet goed kunt kwantificeren en dataficeren, en moeilijk kunt meten met een algoritme.
Neem bijvoorbeeld emoties. AI systemen zouden op basis van gezicht- en stem analyse menselijke emoties kunnen herkennen. De systemen worden gebruikt bij videosollicitaties. Zo beoordelen de recruitment algoritmen van Hirevue videosollicitaties op woordkeuze, stemklank en micro-expressies, die onze ‘ware’ emoties en persoonlijkheid zouden verraden. Maar vorig jaar verscheen een diepgravende wetenschappelijke studie waaruit blijkt dat gezichtsuitdrukkingen niet correleren met persoonlijkheidskenmerken en emoties. Kort samengevat: iemand die blij kijkt hoeft geen blij persoon te zijn. Daaruit volgde forse waarschuwingen over emotieherkenning systemen. Dat is niet verrassend. Deze systemen destilleren immers een persoonlijkheidsprofiel uit woorden, stemklanken en gezichtsuitdrukkingen, terwijl taal en emotie te complex, ambigu en cultuurafhankelijk zijn om te kwantificeren, categoriseren en beoordelen met vastomlijnde modellen. Hoe gaan we om met deze waarschuwingen en dringen ze ook door tot de recruitment wereld?
Installatie: Cranky
Bas van Oerle, Thomas voor ‘t Hekke en schrijver Ewoud Kieft spelen met het idee van de kwantificeerbare mens in een installatie over de inclusieve arbeidsmarkt van de toekomst. Cranky laat op ludieke wijze zien hoe een inclusief sollicitatieproces eruit kan zien in een wereld waar het meeste werk is overgenomen door hoogwaardige robottechnologie. In het verhaal achter de installatie heeft de regering besloten dat mensen weer onderdeel moeten uitmaken van het arbeidsproces. Na jarenlange exclusie, leek het de regering beter om de mens weer aan het werk te zetten. Maar wat is dan nog een belangrijke functie die de mens kan vervullen?
Het bedrijf Corpo heeft twee mensen in dienst genomen en is op zoek naar meer personeel. Cranky is de recruit-a-tron die de mensen moet gaan aannemen. Vanuit het perspectief van de robot geeft Cranky de menselijke sollicitant een paar simpele opdrachten, zoals het vinden van een foute rekenkundige formule tussen een veelheid aan formules. Dit is een onmogelijke opdracht voor de mens, die liever op mens-eigen competenties beoordeeld zou worden. Cranky kan zich op zijn beurt niet voorstellen wat een mens zou kunnen toevoegen in een arbeidsproces waarin alle menselijke intelligentie is vervangen door kunstmatige intelligentie. Uiteindelijk ontdekt Cranky iets wat de mens uniek maakt: de kinetische energie waarmee hij de robots kan aanzwengelen.
Cranky is illustratief voor de manier waarop we op dit moment naar AI en de toekomst van werk kijken. Hoewel een arbeidsmarkt volledig beheerst door machines tot de verbeelding spreekt, ligt de werkelijkheid genuanceerder. Steeds meer deskundigen waarschuwen dat we de taken die AI systemen kunnen overnemen overschatten. We hebben te weinig oog voor de niet-kwantificeerbare, ecologische, economische en sociale factoren bij het automatiseren van werk. Zo pleit hoogleraar Alfred Kleinknecht (TU Delft) voor meer realiteitszin wanneer we naar de automatisering van werk kijken. In een interview met Trouw legt hij uit: "Kunstmatige intelligentie zou een productiviteitsrevolutie ontketenen. Volgens een veelbesproken studie van Frey en Osborne zit 47% van alle werknemers in de VS in de gevarenzone: intelligente technologie kan hun werk overnemen. Zulke verhalen staan in schril contrast met de statistieken.” Naast de wet van de afnemende meeropbrengsten, heeft dat te maken met de hoge kosten voor de ontwikkeling van alle soft- en hardware, de dataverwerking, het energieverbruik en de verwachte CO2 belasting. Ook vergeten we vaak hoeveel mensenwerk er nodig is om AI systemen werkend te krijgen. Iemand moet de uitkomsten interpreteren, iemand moet de processen begeleiden en bovenal: iemand moet al die data in de AI systemen stoppen. Maar wie zijn de mensen die dat doen?
Iedereen aan de microtaken
Op platforms zoals Amazon Mechanical Turk (AMT) worden kleine taken tegen een microloon aangeboden die iedereen ter wereld met een computer kan oppakken. Op het eerste gezicht lijkt dit de ultieme inclusieve arbeidsmarkt, want niemand wordt uitgesloten. Maar deze platforms, die niets anders doen dan taken en ‘Turkers’ aan elkaar matchen, zorgen voor een ethische discussie over de aard, omstandigheden en gevolgen van deze nieuwe werkvorm.
Installatie: Guestworker
Met Guestworker maken Merijn van Moll en Ruben van de Ven de onzichtbare arbeidersklasse achter AI zichtbaar. Hoewel we tegenwoordig steeds meer taken en processen automatiseren, ontstaan er ook nieuwe werkvormen voor de mens. Met de opkomst van diensten als Amazon Mechanical Turk worden specifieke onderdelen van automatische processen uitbesteed aan menselijke werkers. Deze Human Intelligence Tasks zijn singuliere opdrachten die een machine niet kan uitvoeren, bijvoorbeeld het overtypen van ingescande kassabon of het invullen van een Captcha code. Guestworker maakt deze menselijke arbeidersklasse zichtbaar en zorgt ervoor dat we de feedbackloop tussen mens en machine kunnen herkennen. We zien real-time hoe het geautomatiseerde proces een opdracht verkoopt aan een menselijke werker die we slechts kunnen herkennen aan een IP adres en het land van herkomst van de werker.
De meeste online taken worden aangeboden vanuit de Verenigde Staten en Europa en uitgevoerd door mensen in India en Bangladesh. Vorig jaar verscheen het boek ‘Ghost Work’ over de slechte arbeidsomstandigheden van deze werkers. Tegelijk ontstaan er ook initiatieven die het anders aanpakken en een positiever beeld van dit type werk laten zien waarbij meer mensen uit de armoede komen.
Algoritme verandert pas als we zelf inclusiever worden
Als we inclusie op de arbeidsmarkt daadwerkelijk willen bevorderen moeten we ons niet blindstaren op technologische oplossingen. Het uitgangspunt dat het aanpassen van een algoritme makkelijker is dan het aanpassen van een mens klopt niet. Je kunt mens en algoritme niet los van elkaar zien. Algoritmen kunnen pas ten goede veranderen als we zelf inclusiever worden en onze denkbeelden over diversiteit verruimen. Diversiteit gaat ook over het recht om te mogen ontsnappen aan de eigen culturele identiteit. Algoritmen doen juist het tegenovergestelde: ze pinnen sollicitanten vast op kwantificeerbare eigenschappen zoals gender, culturele achtergrond en de lengte van hun lach. De vraag is in hoeverre je daarmee diversiteit bewerkstelligt. Een team met mannen en vrouwen kan nog steeds homogeen zijn als ze qua zienswijzen op elkaar lijken en een team met verschillende culturele achtergronden kan nog steeds eenzijdig zijn als alle personen uit dezelfde sociaal-economische of subculturele groep komen. We moeten diversiteit dus ruimer en minder categorisch benaderen: niet alleen vanuit cultuur en gender maar ook vanuit disciplines, opvattingen, werkstijlen, waarden, communicatiestijlen en ideologische paradigma’s.
Maar wie moeten hiervoor gaan zorgen? Datahongerige techbedrijven? Witte programmeurs uit Silicon Valley? De vergewisplicht voor werkgevers is een goed begin, maar hoe dit gaat uitpakken is nog een grote vraag. Uiteindelijk kan er alleen een inclusieve arbeidsmarkt ontstaan als ook een diversiteit aan mensen hun macht kunnen claimen in het ontwerp van technologie. Om dat voor elkaar te krijgen moeten we het complexe vraagstuk over algoritmische inclusie invoelbaar maken voor en breed publiek. Ed, Algje, Selection Automat, Cranky en Guestworker kunnen dat als geen ander. Deze interactieve werken betrekken meer mensen bij het gesprek, en zorgen ervoor dat niet alleen tech-experts en Elon-Musketeers, maar ook andere groepen kunnen meedenken en meebouwen aan een inclusieve technologische toekomst.