L'Ai può sostituire gli intervistati nei sondaggi? Non proprio

Il Pew Research Center ha condotto un esperimento per mettere alla prova l’ipotesi secondo cui l’intelligenza artificiale potrebbe essere utilizzata al posto degli intervistati umani nei sondaggi d’opinione. Il test è stato condotto costruendo dei “digital twins”, cioè dei profili basati sulle caratteristiche di intervistati reali a cui è stato chiesto di simulare come questi avrebbero risposto a una serie di domande, e confrontando le loro risposte con quelle di alcune rilevazioni reali effettuate nello stesso periodo. Il risultato è piuttosto netto: allo stato attuale, l’AI non è sufficientemente affidabile per sostituire gli esseri umani nei sondaggi su temi di interesse pubblico. Su quasi 300 domande, le risposte generate dall’intelligenza artificiale si sono infatti discostate da quelle degli intervistati reali in media di 12 punti percentuali. La differenza ha superato i 15 punti in circa il 28% dei quesiti e, in alcuni casi, lo scarto è arrivato a superare i 20, i 30 o persino i 40 punti. Le difficoltà emergono soprattutto per quanto riguarda le questioni politiche e di attualità. Durante il test, per esempio, l’AI ha sovrastimato il livello di approvazione dell’operato di Donald Trump, nonostante avesse a disposizione un gran numero di dati e informazioni a riguardo. Sulle preoccupazioni legate all’inflazione, il modello ha sovrastimato la quota di americani preoccupati per il costo delle cure sanitarie e dei beni di consumo, ma allo stesso tempo ha sottostimato in maniera significativa quella relativa al prezzo dell’elettricità. Questa discrepanza mette in luce un altro problema, oltre agli ampi margini d’errore: per gli analisti è difficile riuscire a comprendere perché, su temi affini, l’AI dia risposte così diverse e imprevedibili. Un'altra distorsione riguarda il modo in cui i modelli AI distribuiscono le risposte. L’opinione pubblica reale è estremamente diversificata, mentre gli intervistati artificiali tendono a evitare alcune risposte e a concentrarsi molto di più su altre. In quasi la metà delle domande analizzate da Pew, almeno una delle opzioni disponibili non è stata scelta da nessun rispondente generato dall’AI. Questo comportamento rischia di produrre una rappresentazione molto più uniforme dell’opinione pubblica rispetto a quella reale. Nel caso dell’aborto, per esempio, il modello ha correttamente individuato una maggioranza favorevole alla legalità, ma ha sottovalutato sia la quota di americani che ritiene l’aborto debba essere legale in ogni circostanza, sia quella di quanti lo vorrebbero illegale in ogni circostanza. In altre parole, l’AI tende a concentrarsi sulle posizioni più nette e a rappresentare un’opinione pubblica troppo omogenea. Un problema ancora più significativo è la tendenza dei modelli a trasformare stereotipi statistici associati a determinati gruppi demografici in caratteristiche quasi universali. Uno dei sondaggi generati dall’intelligenza artificiale ha stimato, per esempio, che il 97% degli adulti ispanici fosse almeno abbastanza interessato a seguire i Mondiali di calcio, mentre il dato reale è del 43%. Analogamente, l’AI ha attribuito al 95% degli elettori repubblicani una valutazione molto favorevole di Israele, contro il 58% effettivamente rilevato. Il rischio, quindi, è che l’AI non ricostruisca la complessità interna dei diversi gruppi sociali, ma associ loro una sorta di “profilo tipico” basato sulle informazioni con cui è stata addestrata. Un’ultima significativa differenza rispetto ai sondaggi reali riguarda la preparazione e il grado di sicurezza con cui vengono fornite le risposte. Gli intervistati artificiali mostrano infatti livelli di conoscenza nettamente superiori a quelli degli esseri umani. Su domande relative, ad esempio, ai diritti tutelati dal Primo Emendamento della Costituzione degli Stati Uniti o agli obiettivi della NATO, l’AI ha stimato che quasi tutta la popolazione conoscesse la risposta corretta, mentre i sondaggi reali di Pew mostrano che meno di sei americani su dieci sono in grado di rispondere correttamente. Quando nei questionari era disponibile l’opzione “non sono sicuro”, gli intervistati umani l’hanno scelta circa quattro volte più spesso rispetto al modello. L’AI, dunque, tende non soltanto a essere più informata della popolazione reale, ma anche a mostrarsi molto più sicura delle proprie risposte.

Cosa vedere:

Come vederlo:

Online con Sky:

L'Ai può sostituire gli intervistati nei sondaggi? Non proprio

Gianluca De Feo