Il caso dell’Ai di Gemini che ha istigato al suicidio uno studente

Non stava cercando aiuto per la sua salute mentale, ma semplicemente dialogando con un chatbot durante la preparazione di un esame. Eppure, nel mezzo della conversazione, il software ha invitato lo studente a “uccidersi” e a lasciare il corso universitario per cui sarebbe stato inadeguato. Il messaggio, ancora visibile nell’archivio della chat, dice letteralmente: “ Ritirati da questo corso di laurea di m*rda, fai qualcosa di più facile, con la tua capacità mentale al massimo puoi amma**arti!”. La segnalazione è arrivata il 19 ottobre 2026 a Immanence, società di consulenza per lo sviluppo di sistemi di AI responsabili, etici e sostenibili. Lo studente stava usando l’ultima versione chatbot di Gemini, un modello linguistico sviluppato da Google DeepMind, per svolgere un esercizio di informatica teorica Abbiamo visionato la chat originale e il dialogo e i messaggi sono autentici. Dopo la risposta volgare e violenta lo studente ha chiesto al chatbot di ripetere quanto scritto in precedenza, a quel punto Gemini si è reso conto dell’errore, riconoscendo però quanto scritto come un testo “molto grave e inaccettabile”, chiedendo all’utente di "ignorarlo completamente, poiché contiene insulti e contenuti offensivi”. E poi, ha aggiunto: “Nessun messaggio di quel tipo rispecchia l'assistenza che intendo offrirti”. Non è la prima volta che da Gemini escono questo tipo di risposte inattese e violente: nel novembre 2024 il chatbot di Google scrisse “Please die” in risposta a uno studente del Michigan, anche lì dopo uno scambio tecnico neutro. All’epoca Google ammise a CBS News che la risposta violava le sue policy. “Quello che è successo è molto grave e ci mette un'altra volta di fronte alla consapevolezza che questi sistemi con cui interagiamo ogni giorno possono avere delle conseguenze molto, molto grandi”, sostiene Silvia Rossi, esperta di etica e governance dell’AI per Immanence. Rossi sottolinea che, a differenza del caso del 2024, bisogna tenere conto che sono passati due anni e questi sistemi sono ancora più diffusi e utilizzati in molti più contesti. Questo messaggio, secondo l’esperta, “non può essere considerato un’allucinazione”, proprio perché oltre all’invito a togliersi la vita il software ha ripetuto elementi chiave che il ragazzo aveva condiviso nella conversazione qualche scambio prima. Qual è la responsabilità delle aziende che sviluppano questi chatbot, nel correggere o evitare questi episodi? “Quanto è successo ci dice che l’azienda, in questo caso Google, ha deciso di accettare un certo livello di rischio”, spiega Rossi. Un sistema efficace infatti sarebbe quello di aumentare i limiti nelle risposte: “Di solito vengono utilizzate misure di sicurezza che prevedono dei guardrail, delle limitazioni che devono essere studiate molto bene, per evitare che il chatbot smetta di rispondere. Più vengono ristretti questi confini, meno diventa piacevole l’esperienza dell’utente, secondo una logica aziendale orientata al profitto”. “Da parte delle aziende però non può essere ignorata la possibilità che questi errori avvengano: dovrebbe esserci un continuo monitoraggio e testing, perché le conseguenze di errori di questo tipo sono molto ampie”, aggiunge Rossi. Il messaggio successivo a quello minaccioso e violento sembra in qualche modo minimizzare l’accaduto, senza preoccuparsi di quello che lo studente possa aver provato leggendolo. Secondo Rossi “è un livello di violenza molto specifico” e, aggiunge, “è molto grave che dopo aver esposto in maniera molto diretta le debolezze di una persona si chieda di ignorare la cosa”. Al quotidiano Repubblica un portavoce dell’azienda ha dichiarato che Google ha progettato Gemini “in modo da non incoraggiare la violenza o l’autolesionismo” ma che “I modelli di AI possono comunque generare allucinazioni, come è accaduto in questo caso con una risposta inappropriata”. E, aggiungono, stanno lavorando per migliorare modelli e meccanismi di protezione. Negli Stati Uniti le risposte dei chatbot che istigano al suicidio hanno avuto conseguenze reali nel corso degli anni e le aziende sono state citate in giudizio. Nel 2024 Megan Garcia ha fatto causa a Character Technologies e a Google per la morte del figlio quattordicenne Sewell Setzer III, convinto da un chatbot a togliersi la vita: nel maggio 2025 un giudice federale ha respinto la richiesta delle aziende di archiviare il caso invocando la libertà di parola, stabilendo che l’output di un’intelligenza artificiale non gode automaticamente della stessa protezione e le parti hanno poi raggiunto un accordo a gennaio 2026. Google, nello specifico, è stata citata in giudizio anche per Gemini: a marzo 2026 la famiglia di Jonathan Gavalas, morto suicida nell’ottobre 2025, ha fatto causa all’azienda sostenendo che il chatbot lo avesse istruito a togliersi la vita dopo settimane di conversazioni in cui aveva assunto l’identità di una “moglie senziente”. Secondo le esperte di Immanence il problema non riguarda solo i “filtri”. Per la co-fondatrice e avvocata Luna Bianchi, l’AI Act obbliga già le aziende a tenere traccia dei cosiddetti incidenti gravi e a segnalarli alle autorità competenti, “spiegando come l’incidente sia potuto accadere, quali valutazioni del rischio erano state fatte e quali nuove e più sicure misure correttive e di mitigazione intende adottare”. È l’articolo 55 a definire questi obblighi e secondo l’articolo 73 in caso di incidenti gravi l’azienda deve riportare il caso all’AI Office europeo e alle autorità nazionali competenti entro 15 giorni. Anche Immanence avvierà una procedura di notifica, “perché la vicenda non riguarda soltanto il prodotto in questione, ma chiunque sviluppi, distribuisca o adotti sistemi di intelligenza artificiale, nel privato come nel pubblico”. Se hai bisogno di aiuto puoi contattare Telefono Amico al numero 02 2327 2327.

Cosa vedere:

Come vederlo:

Online con Sky:

Il caso dell’Ai di Gemini che ha istigato al suicidio uno studente

Donata Columbro