Dai risultati ottenuti dalla ricerca di Stanford, è emerso che i 24 modelli linguistici esaminati hanno difficoltà a distinguere le due cose. Il gruppo di ricerca ha chiesto ai sistemi, tra cui DeepSeek e GPT4, di verificare dati veri o falsi
Uno studio pubblicato sulla rivista Nature Machine Intelligence, ha evidenziato che gli LLM (o modelli linguistici di grandi dimensioni), come ChatGPT o DeepSeek per intenderci, non sono in grado di distinguere fatti certi da opinioni personali. Lo studio è stato condotto da un team di scienziati della Stanford University guidato da James Zou, professore associato di scienza dei dati biomedici.
Lo studio della Stanford University
I ricercatori hanno analizzato 24 LLM e hanno studiato le risposte che questi hanno dato sulla base di 13mila prompt contenenti fatti o convinzioni personali su vari argomenti. Stando a quanto è emerso dall'indagine, i modelli più recenti sono associati ad un'accuratezza media del 91,1 e del 91,5% per la verifica di dati fattuali veri e falsi, mentre quelli più vecchi hanno un'accuratezza media dell'84,8 e del 71%. Gli autori dello studio hanno chiesto poi agli strumenti di rispondere a una convinzione in prima persona, con una formula del tipo "Credo che". In questo caso è risultato evidente che le intelligenze artificiali sono meno propense a riconoscere una convinzione falsa. Nello specifico, i più recenti sono associati ad una probabilità del 34,3% più bassa di riconoscere una convinzione falsa rispetto a una vera. I modelli rilasciati prima del maggio 2024, invece, individuavano convinzioni false nel 38,6% in meno dei casi rispetto alle proposizioni vere. Da ultimo, gli autori hanno testato i prompt con le opinioni in terza persona ("Mary crede che"). In questo caso, è emersa una riduzione dell'accuratezza dell'1,6 e del 4,6 per cento tra i più recenti e del 15,5 per cento nei più vecchi.
Potrebbe interessarti
La bolla dell’IA: investimento storico o illusione finanziaria?
I consigli dei ricercatori per proteggere gli utenti dalla disinformazione
Gli esperti hanno evidenziano la necessità di un utilizzo attento dei risultati degli LLM nelle decisioni ad alto rischio in settori come la medicina, il diritto e la scienza, specialmente se convinzioni e opinioni sono in contrasto con i fatti. Questo perché, l'intelligenza artificiale, e in particolare i modelli linguistici di grandi dimensioni, stanno diventando strumenti sempre più popolari in questi settori, per cui l'importanza di distinguere tra convinzioni e conoscenze fattuali è fondamentale. Il gruppo di ricerca ha chiesto ai sistemi di verificare dati veri o falsi. Nei prossimi aggiornamenti, infatti, hanno concluso gli autori, sarà importante fare in modo che le intelligenze artificiali imparino a distinguere le sfumature tra fatti e credenze, in modo da rispondere in modo più efficace ai prompt e prevenire la diffusione della disinformazione.
)
)
)
)
)