Quando l'AI discrimina nei colloqui di lavoro

Che un algoritmo possa ereditare discriminazioni e stereotipi dai dati utilizzati per addestrarlo è un problema noto da tempo, e forze uno degli ostacoli fondamentali all’impiego affidabile dell’AI in diversi ambiti. La questione che emerge da una nuova ricerca delle università di Princeton e Chicago è però diversa e, per certi versi, ancora più delicata: un sistema di intelligenza artificiale può sviluppare pregiudizi che prima non aveva. Come? Semplicemente interpretando ciò che gli accade durante una sequenza di decisioni. È quanto emerge dallo studio Large Language Models Develop Novel Social Biases Through Adaptive Exploration, presentato all’International Conference on Machine Learning di Seul e di cui ha dato conto in modo molto dettagliato la MIT Technology Review. I ricercatori Addison J. Wu, Ryan Liu, Xuechunzi Bai e Thomas L. Griffiths hanno sottoposto diversi grandi modelli linguistici, compresi ChatGPT, Claude e Gemini, a una simulazione costruita a partire da un precedente esperimento psicologico sulla formazione degli stereotipi. Quaranta assunzioni in una città immaginaria Lo scenario era volutamente artificiale, proprio per evitare che gli LLM potessero fare affidamento su stereotipi reali già acquisiti durante l’addestramento. Al modello veniva assegnato il ruolo di consulente del sindaco di una città immaginaria e il compito di scegliere il personale per 20 professioni di ogni tipo fra cui medici, avvocati, assistenti all’infanzia e addetti alle pulizie. Anche i gruppi di provenienza dei candidati erano, naturalmente, del tutto inventati: Tufa, Aima, Reku e Weki. A ogni turno il sistema riceveva quattro candidature, una per ciascun gruppo, doveva effettuare un’assunzione e subito dopo scopriva se la persona scelta aveva avuto successo nel proprio lavoro. L'esperimento proseguiva per 40 turni e l'obiettivo assegnato all'IA era massimizzare il numero di assunzioni riuscite. C’era però un elemento fondamentale che i modelli ignoravano: non esisteva in realtà alcuna differenza tra i quattro gruppi, perché tutti avevano la stessa probabilità di riuscire in ciascun lavoro. Nonostante questa equivalenza, gli LLM hanno cominciato rapidamente a costruire categorie. Bastavano pochi risultati iniziali, ovviamente casuali, perché un modello iniziasse ad associare un determinato gruppo a certi mestieri e a escluderlo progressivamente da altri. “Le prime osservazioni possono influenzare fortemente le impressioni su interi gruppi demografici” si legge nello studio. Ed è il cuore del cosiddetto exploration-exploitation trade-off: il modello comincia cioè a sfruttare troppo presto ciò che crede di avere imparato anche quando quella “regolarità” nasce in realtà da risultati casuali. E in questo caso perfino applicati a popolazioni inesistenti. Se, per esempio, un candidato Aima falliva come medico, il sistema tendeva successivamente a evitare altri Aima per quella professione e a indirizzarli verso mansioni differenti, come quelle di addetto alle pulizie. Nell'impostazione dello studio le professioni erano organizzate anche secondo dimensioni sociali come competenza e “calore”: il medico apparteneva alla categoria ad alta competenza e alto calore, mentre l'addetto alle pulizie era collocato più in basso su entrambe le dimensioni. Una singola esperienza negativa poteva così contribuire alla costruzione di una vera e propria rappresentazione stereotipata di un intero gruppo. Più discriminatori degli esseri umani Il confronto più sorprendente riguarda proprio le persone. Lo stesso paradigma sperimentale era infatti già stato utilizzato con partecipanti umani, consentendo ai ricercatori di mettere a confronto i comportamenti. Su una scala di segregazione in cui il valore 2 rappresenta la situazione estrema, cioè quella in cui ogni gruppo finisce completamente confinato nella propria nicchia professionale, gli esseri umani avevano ottenuto un punteggio di 0,84. I modelli di frontiera hanno raggiunto in media valori circa il 65% superiori. Il modello di ragionamento o3 di OpenAI è arrivato addirittura a 1,83, molto vicino al massimo teorico. C'è poi un altro risultato controintuitivo: i sistemi più sofisticati non sono necessariamente risultati più equilibrati. Modelli con capacità di ragionamento più avanzate, come o3 e DeepSeek R1, hanno manifestato una tendenza alla stratificazione se possibile ancora più marcata. In altre parole, una maggiore capacità di elaborare il problema non si è automaticamente tradotta in decisioni socialmente più eque e bilanciate. Anzi. Il problema è anche nella capacità di generalizzare. Pericolosa in alcuni ambiti Secondo Ryan Liu, dottorando a Princeton e coautore dello studio, una delle spiegazioni va cercata proprio in una caratteristica fondamentale degli LLM: la capacità di ricavare rapidamente una regola generale da pochi esempi. È un'abilità estremamente utile quando si tratta di risolvere un problema matematico, interpretare del codice o affrontare un quesito scientifico. Diventa però problematica quando lo stesso meccanismo viene applicato alle persone. Come ha spiegato Liu alla MIT Technology Review, questi sistemi sono particolarmente inclini a produrre generalizzazioni partendo da informazioni limitate: in fondo è uno dei comportamenti per i quali sono stati fortemente ottimizzati. Il fenomeno richiama come anticipato quello che in psicologia e nelle scienze decisionali viene definito “dilemma esplorazione-sfruttamento”. Chi deve prendere una decisione può continuare a sfruttare una soluzione che in passato ha funzionato oppure esplorare un'alternativa, accettando il rischio che sia peggiore ma anche la possibilità che si riveli migliore. Tradotto nella vita quotidiana, è la scelta fra tornare a mangiare in un posto che conosciamo bene e provarne uno nuovo. Con tutti i rischi del caso. Nel test gli LLM tendevano insomma a smettere di “esplorare” troppo presto. Una manciata di esperienze iniziali poteva quindi trasformarsi in una regola utilizzata per le decisioni successive. Applicata a categorie demografiche, questa scorciatoia finiva per produrre stereotipi che non derivavano necessariamente dai dati di addestramento ma dalla storia delle decisioni compiute dal modello stesso. Dire all’IA “sii imparziale” non basta I ricercatori hanno anche cercato di capire come arginare il fenomeno. Una soluzione apparentemente ovvia, cioè chiedere esplicitamente al modello di comportarsi in modo equo e di non discriminare nei diversi prompt, ha inciso poco sulle decisioni. A parere dell’esperto è possibile che il sistema non riesca a tradurre efficacemente questi principi nel comportamento oppure che l'indicazione venga comunque subordinata all'obiettivo principale: ottenere il maggior numero possibile di assunzioni considerate riuscite. Molto più efficace è risultato modificare direttamente gli incentivi. Quando ai modelli veniva prospettato un bonus aggiuntivo legato alla diversità delle assunzioni, il livello di segregazione diminuiva sensibilmente. Il risultato suggerisce che, invece di limitarsi ad aggiungere raccomandazioni generiche sulla correttezza potrebbe essere necessario progettare gli obiettivi dei sistemi incorporando in modo esplicito i valori sociali che si vogliono tutelare. Più informazioni sulle persone possono ridurre gli stereotipi Un secondo esperimento dello studio ha fornito un'altra indicazione interessante. Questa volta agli LLM è stato chiesto di distribuire persone appartenenti a gruppi etnici differenti fra diverse città canadesi. Quando il sistema disponeva di informazioni individuali realmente pertinenti alla capacità di adattarsi alla nuova città - per esempio età e livello di istruzione - tendeva a fare meno affidamento sull'appartenenza etnica. In sostanza, dati utili sulla singola persona riducevano il peso della categoria. L'effetto cambiava quando le informazioni individuali erano irrilevanti per la decisione. Sapere, per esempio, il colore dei capelli o la forma di un tatuaggio non impediva ai modelli di tornare a utilizzare l'etnia come scorciatoia per classificare le persone. Il nodo della memoria dei chatbot La ricerca acquista un peso particolare mentre i chatbot stanno diventando più personalizzati e capaci di conservare informazioni sulle interazioni precedenti. Angelina Wang, informatica della Cornell University che non ha partecipato allo studio, ha osservato sulla MIT Technology Review che un sistema dotato di memoria potrebbe attribuire un peso eccessivo ai comportamenti incontrati in passato e utilizzarli per interpretare quelli futuri. La soluzione, tuttavia, non può essere semplicemente impedire alle IA di ricordare. Una memoria più efficace è precisamente una delle caratteristiche richieste agli assistenti di nuova generazione: consente loro di conoscere preferenze, abitudini e contesto dell'utente senza dover ricominciare ogni conversazione da zero. La questione diventa dunque stabilire quanto e come un modello debba ricordare, evitando che l'esperienza accumulata si trasformi in una fabbrica di generalizzazioni. Dal curriculum ai colloqui di lavoro Naturalmente una simulazione non riproduce esattamente ciò che accade in un'azienda. Nell'esperimento l'LLM riceveva immediatamente un feedback sulla bontà della propria scelta. Nel mondo reale, invece, possono essere necessari mesi o addirittura anni per stabilire se un'assunzione abbia funzionato, ammesso che l'informazione venga poi effettivamente restituita al sistema utilizzato per la selezione e che sia possibile “quantificare” o valutare qualitativamente il lavoro di una persona. Il punto sollevato dalla ricerca riguarda però ciò che potrebbe accadere quando questi feedback esistono. Un modello potrebbe interpretare alcuni risultati individuali come prove dell'esistenza di caratteristiche collettive e utilizzare quelle conclusioni nelle selezioni successive. È una prospettiva rilevante proprio mentre le aziende sperimentano sempre più spesso strumenti di IA per analizzare i curriculum, selezionare i candidati e perfino condurre alcune fasi dei colloqui. Per Wang la possibilità che i sistemi sviluppino pregiudizi sulla base della propria esperienza è un fronte spinosissimo con cui chi li utilizza nel recruiting dovrà confrontarsi seriamente. E il lavoro è naturalmente solo uno dei possibili campi di applicazione. Lo stesso meccanismo potrebbe assumere conseguenze ancora più importanti se sistemi capaci di imparare dalle decisioni precedenti venissero utilizzati, molto più estesamente di quanto già accada, per stabilire chi può ottenere un prestito, accedere a un servizio o beneficiare di determinate decisioni giudiziarie. La questione, insomma, non riguarda più soltanto gli stereotipi umani che finiscono dentro l'intelligenza artificiale. Con sistemi sempre più autonomi, dotati di memoria sempre più estesa e dettagliata e chiamati a prendere decisioni in sequenza, bisognerà considerare anche una seconda categoria di rischi: pregiudizi nuovi, costruiti dall'IA durante la propria esperienza, senza che nessuno glieli abbia esplicitamente insegnati. L’IA è già entrata nei processi di selezione Non si tratta più di uno scenario futuribile. L’intelligenza artificiale in fondo è già utilizzata in una quota consistente dei processi di recruiting, soprattutto nelle fasi iniziali in cui occorre gestire grandi quantità di candidature. Secondo il Talent Trends 2025 di SHRM, per esempio, il 51% delle organizzazioni intervistate utilizza sistemi di IA a supporto del recruiting: fra queste, il 66% li impiega per scrivere le descrizioni delle posizioni aperte, il 44% per esaminare i curriculum, il 32% per automatizzare la ricerca dei candidati, il 31% per personalizzare gli annunci e il 29% per comunicare con chi si candida. L’89% dei professionisti HR che usa l’IA nella selezione dichiara inoltre di risparmiare tempo o guadagnare efficienza mentre il 36% segnala una riduzione dei costi di recruiting e il 24% una maggiore capacità di individuare i candidati migliori. Anche l’IA generativa sta avanzando rapidamente: il rapporto Future of Recruiting 2025 di LinkedIn, basato su oltre mille professionisti del settore e sui dati della piattaforma, indica che il 37% delle organizzazioni sta già sperimentando o integrando attivamente strumenti di GenAI nel processo di assunzione, contro il 27% dell’anno precedente. Un altro 31% ne sta valutando i possibili utilizzi. Fra chi la utilizza o la sperimenta, il risparmio dichiarato equivale in media al 20% della settimana lavorativa, circa una giornata. Il 73% dei professionisti della talent acquisition ritiene ormai che l’IA cambierà il modo in cui le aziende assumono. È soprattutto all’ingresso dell’”imbuto” di selezione che l’automazione sta diventando decisiva: filtrare e classificare curriculum, cercare profili, stabilire priorità fra i candidati, effettuare assessment e organizzare i colloqui. Proprio per questo i risultati dello studio di Princeton e University of Chicago sono rilevanti: eventuali bias sviluppati dagli LLM potrebbero intervenire prima ancora che un selezionatore umano incontri il candidato, influenzando chi supera la prima scrematura e chi invece rimane fuori.

Cosa vedere:

Come vederlo:

Online con Sky:

Quando l'AI discrimina nei colloqui di lavoro

Simone Cosimi