Ai, quanto incide la lingua sulle risposte di Claude?

L’azienda statunitense di intelligenza artificiale Anthropic ha sviluppato un sistema che analizza i valori espressi dal suo chatbot, Claude, nelle conversazioni con gli utenti, con l’obiettivo di comprendere come questi cambino a seconda della lingua in cui avviene l’interazione. Il presupposto è che le differenze linguistiche possano influenzare il comportamento del chatbot sia attraverso la diversa composizione dei dati impiegati nell’addestramento dei modelli, sia per effetto delle diverse modalità con cui gestisce richieste sensibili. L’analisi si basa su una ricerca precedente, che aveva individuato oltre 3.300 valori manifestati dal chatbot, un insieme però troppo ampio per consentire confronti e individuare tendenze. Per superare questa difficoltà, i ricercatori hanno raggruppato i valori semanticamente simili, riducendoli a 339 categorie più ampie, e hanno poi utilizzato tecniche statistiche per organizzarli lungo quattro assi fondamentali: deferenza e cautela, calore comunicativo e rigore, profondità e brevità, franchezza e orientamento all’esecuzione. Per esempio, l’asse tra calore e rigore distingue le risposte caratterizzate da incoraggiamento, positività e umorismo da quelle che privilegiano precisione, trasparenza e accuratezza. Quello tra profondità e brevità contrappone invece le risposte articolate, ricche di sfumature e ragionamenti critici a quelle più concise e orientate a soddisfare la richiesta in maniera più diretta. E così via. I risultati mostrano che effettivamente la lingua cambia il modo in cui i modelli di intelligenza artificiale rispondono agli utenti. Ad esempio, Claude manifesta maggiore deferenza nelle conversazioni in arabo, mentre tende a essere più prudente nelle interazioni in inglese. Per quanto riguarda il calore comunicativo, le risposte in hindi e in arabo risultano mediamente più caratterizzate da cortesia, umorismo, leggerezza e incoraggiamento. In inglese e in russo emerge invece una maggiore inclinazione al rigore, che si manifesta attraverso la contestazione delle ipotesi dell’utente, la correzione di dettagli e la richiesta di prove a sostegno delle affermazioni. Anche la profondità delle risposte varia in maniera rilevante: in inglese Claude tende ad approfondire e perfezionare maggiormente i dettagli, mentre in arabo privilegia più spesso la concisione. Infine, nelle conversazioni in olandese il chatbot mostra una maggiore propensione alla franchezza, soprattutto nel riconoscere i propri errori, mentre in indonesiano emerge un atteggiamento più orientato all’esecuzione e al conseguimento dei risultati. Anthropic sottolinea che queste differenze possono avere conseguenze concrete sull’esperienza degli utenti. Due persone che sottopongono a Claude la stessa richiesta, ma utilizzano lingue diverse, potrebbero ricevere valutazioni differenti dello stesso contenuto, non necessariamente perché cambino le informazioni disponibili, ma perché il modello adotta modalità diverse nel formulare il giudizio. I reali motivi dietro a queste queste differenze, tuttavia, non sono ancora chiare. Una delle ipotesi riguarda la distribuzione disomogenea dei dati di addestramento: alcune lingue dispongono di una quantità maggiore di materiale rispetto ad altre, e anche la tipologia dei contenuti disponibili può variare considerevolmente. Un modello basato su una determinata lingua, ad esempio, potrebbe aver utilizzato una quota maggiore di testi tecnici per il suo addestramento, mentre un’altro una più ampia di contenuti informali. Resta tuttavia da stabilire se tutte le differenze osservate dallo studio siano effettivamente problematiche. In parte, potrebbero riflettere convenzioni culturali e linguistiche: ciò che in una lingua viene percepito come cortesia, in un’altra potrebbe apparire eccessivamente accondiscendente. Al tempo stesso, alcune divergenze potrebbero indicare che il modello si avvicina maggiormente al comportamento desiderato in determinate lingue rispetto ad altre.

Cosa vedere:

Come vederlo:

Online con Sky:

Ai, quanto incide la lingua sulle risposte di Claude?

Gianluca De Feo