Assessment en de dataficatie van talent

Vrijdag 20 september j.l. bezocht ik een seminar over assessment en innovatie. Computertechnologie in combinatie met neuropsychologie blijken de vaandeldragers van die innovatie. Een kort verslag.

In de reguliere praktijk bestaat een assessment uit de gecombineerde afname van een aantal analytische capaciteitentests, persoonlijkheidsvragenlijsten, simulaties en een interview. Uit onderzoek (bijvoorbeeld van Schmidt en Hunter) is overtuigend aangetoond dat de combinatie van deze toepassingen de hoogst voorspellende waarde heeft met betrekking tot werkprestaties.

De voortschrijdende ontwikkelingen in de computertechnologie en neuropsychologie maken dat er eindelijk wordt geïnnoveerd in assessment land. De vraag is of die onafwendbare ontwikkelingen ook verbeteringen zijn.

Vrijdag 21 september bezocht ik in Utrecht een seminar over nieuwe assessment praktijken. Termen als artificial intelligence, gamification, datafication, machinelearning, deep learning en biased algoritmes volgden elkaar in een snel tempo op. Centraal in die nieuwe assessment technologie staat de verzameling en analyse van immense hoeveelheden data. Precies wat bedrijven als Google en Facebook ook doen voor marketing doeleinden.

Dataficatie van talent

Dr. Annemarie Hiemstra (UD, Erasmus, Afd. Psychologie) trapte af. Zij was tamelijk kritisch en enigszins sceptisch over de toepassing van algoritmes bij selectievraagstukken. Algoritmes zijn namelijk biased want ook een bedenksel van mensen. Door machine learning gaat de computer zelf op zoek naar verbanden en weet niemand meer hoe de ondoorzichtige en buitengewoon complexe rekenformules tot uitspraken zijn gekomen. Er is geen achterliggende theorie, geen mensbeeld, geen inzicht en ook geen verklaring. Indien zou blijken dat alle topmanagers flaporen of rood haar zouden hebben, dan zal het algoritme daar op screenen. Annemarie noemt dat de ‘dataficatie’ van talent.

Annemarie ging nader in op de zg. Chalearn competition. Op basis van 15 duizend youtube clips is een algoritme ontwikkeld waarmee de mimische expressie van sollicitanten kan worden geduid in termen van karakter en competenties. Het woord criterium validiteit viel, maar ook het begrip ‘fairness’ (“Helaas mevrouw, de keuze is niet op u gevallen. Wij kunnen niet uitleggen waarom, maar de computer heeft het zo bepaald”). Unilever doet met dit systeem momenteel de pre-selectie van trainees.

Seedlink

Er kwamen twee meer dan vlotte ondernemers, Rutger Laman Trip en Maximilian van Boxel, aan het woord van het bedrijf Seedlink. Dit bedrijf analyseert het taalgebruik van sollicitanten en doet op basis hiervan harde uitspraken over toekomstig gedrag en werkprestaties. Wonderlijk, maar deze vorm van computional linguistics schijnt te werken. Uiteraard wordt er een benchmark aangemaakt met een ideaal profiel waartegen de sollicitant wordt afgezet. Via enkele filmpjes lieten de believers van Seedlink publiek ervaren dat mensen selectief en onvolledig waarnemen. Nee, op mensen kun je niet vertrouwen. Neem dan een computer. Die ziet alles. Door middel van deep learning maakt de computer een benchmark. Hoe dat precies werkt weet niemand, zelf de ontwikkelaars niet. Beslissingen nemen op basis van algoritmes die niemand doorziet of begrijpt, dat is best verontrustend. Transparantie? Geenszins. Een Black Box? Jawel. Deze jongens denken echter pragmatisch: als iets werkt, dan werkt het. En dan zit de hele zal vol met psychologen die zich dagelijks met selectie-vraagstukken bezig houden. Ruim tweederde van hen denkt dat algoritmes over vijf jaar hun werk gaat overnemen, zo bleek uit een zaal-enquete.

Brainsfirst

Ook interessant was het verhaal van Dr. Ilja Sligte, een nerdy maar geanimeerd spreker die als cognitief neurowetenschapper werkzaam is aan de UvA. Daarnaast is hij ook een veelbelovend bedrijf is gestart: Brainsfirst. Kennelijk is een dergelijke combinatie in de academische wereld niet problematisch, want het één voedt het ander en omgekeerd. Ilja heeft op basis van MRI scans en een serious game ontwikkeld waarmee specifieke breinfuncties in kaart worden gebracht van topvoetballers bij AZ en PSV. Het gaat daarbij om capaciteiten als anticipatie, controle, werkgeheugen en aandacht. Die denkkracht is aanwijsbaar in het brein, zo laat een MRI ons zien. Bij de topvoetballers (de internationals) gaan meeste van die cognitieve processen een fractie sneller dan bij gewone profvoetballers. Ook heeft Ilja het brein van luchtverkeersleiders onderzocht en is op die manier tot een benchmark gekomen. Op die manier kan hij vaststellen wie niet geschikt is voor luchtverkeersleider. Hij kan echter (nog?) niet voorspellen wie er wel geschikt voor is. Per jaar worden maar vier tot zes luchtverkeersleiders aangenomen.

Matchen zonder inzicht

Het domein van de selectiepsychologen wordt steeds meer ingenomen door beta-wetenschappers. Deze mensen kunnen heel goed programmeren en rekenen, maar weten weinig of niets van psychologie, organisatiecultuur, drijfveren, persoonlijkheidstheorieën etc. Er wordt gematchd, maar niet op basis van inzicht in gedrag en verklaren kan men ook niets. Dat is nogal schraal. Daarentegen: de belofte, snelheid en efficiency van het online screenen zonder zelf na te hoeven denken is kennelijk erg aantrekkelijk. Net als het aureool van het ‘meten is weten’ principe. Het meest bezwaarlijk is helaas dat niemand straks meer weet hoe er gemeten wordt en waar beslissingen op worden gebaseerd. Ook hoeft u bij een afwijzing niet op een uitleg te rekenen. Raak alvast maar gewend aan de volgende zinsnede: “Volgens ons systeem bent u helaas niet geschikt voor deze functie.” Recent onderzoek heeft laten zien dat interesses en drijfveren van grotere invloed zijn op werkprestaties dan voorheen werd gedacht. Een open deur wat mij betreft, maar toch wel fijn, zo’n inzicht.