L’intelligenza artificiale può aiutare le scuole a prevenire i suicidi?

È di pochi giorni fa la notizia che i genitori del quattordicenne Sewell Setzer, che si è tolto la vita lo scorso febbraio in Florida, hanno deciso di denunciare la società che sviluppa Character.AI, un'applicazione di gioco di ruolo che permette di creare un proprio personaggio e di chattare con personaggi creati da altri. Pare che il giovane prima di commettere il gesto estremo avesse mandato un ultimo messaggio al chatbot. Ma se proprio un’app di intelligenza artificiale potesse aiutare nella prevenzione dei suicidi? Secondo l’ultima indagine dei Centers for Disease Control and Prevention sulla salute mentale dei giovani negli Stati Uniti, il 40% degli studenti delle superiori si sente spesso “triste e senza speranza”. I disturbi della salute mentale sono comuni tra i giovani che provano pensieri e comportamenti violenti verso sé stessi e verso gli altri: si stima che nel 65% dei casi di suicidio giovanile le vittime avevano avuto episodi di depressione. E se il suicidio è ormai la seconda causa di morte per i giovani dai 10 ai 14 anni e tra i 20 e i 34, con un aumento del 70% tra il 2009 e il 2019, sono sempre di più le scuole che decidono di usare app di intelligenza artificiale per la prevenzione, sovvenzionando programmi che prevedono l’installazione di software che di fatto monitorano il comportamento online sui device scolastici. Sono sviluppati da aziende come GoGuardian, Bark for Schools o Gaggle, con l’obiettivo di rilevare segnali nelle attività degli adolescenti che possano comunicare un rischio di suicidio, autolesionismo o violenza e avvisare gli adulti di riferimento per poter intervenire tempestivamente. Secondo dati pubblicati dall’azienda GoGuardian la prevenzione “algoritmica” avrebbe permesso di salvare, dal 2020, più di 18mila studenti dal compiere atti lesivi contro sé stessi. Come funzionano queste app Le app installate sui computer o sui tablet scolastici monitorano costantemente l'attività online degli studenti sui dispositivi scolastici, analizzando contenuti scritti e ricerche su internet, documenti, chat e messaggi. Gli algoritmi sono quindi addestrati a riconoscere parole, frasi e pattern comportamentali associati a problematiche di salute mentale. Il problema è che questo sistema non è totalmente affidabile e preciso: secondo una delle poche ricerche sull’argomento, condotta dal think tank Rand Corporation, l'accuratezza di questi strumenti è difficile da determinare in pratica, perché la valutazione richiederebbe la raccolta sistematica di informazioni sul rischio di suicidio e sugli esiti effettivi, in tempo reale, dei giovani che erano e non erano stati segnalati come a rischio di suicidio. Non sempre gli algoritmi riescono a distinguere con precisione tra situazioni di reale pericolo e frasi generiche o innocue, e non sono pochi i casi di falsi allarmi segnalati. Come soluzione a questa problematica alcune app, come Gaggle, hanno un team di revisori umani che esaminano le segnalazioni generate dagli algoritmi prima che vengano inviate notifiche a insegnanti, amministratori scolastici o genitori. Privacy e sorveglianza sono un prezzo da pagare per salvare vite umane? Secondo un sondaggio della società di consulenza Morning Consult, quasi il 90% dei genitori, degli insegnanti e del personale amministrativo delle scuole negli Usa si dichiara d’accordo nell’usare tecnologie educative di support online che possano aiutare a identificare segnali di suicidio o atti lesionistici nei confronti propri o di altri. Ma l’installazione di un’app non avviene mai senza problemi di privacy e di sicurezza. Per gli avvocati Andrea Baldrati e Diego Dimalta, co-founder dell’organizzazione Privacy Network “bisogna stare attenti ad evitare che dietro ad intenti nobili in realtà ci siano intenti di analisi dei dati e/o marketing o allenamento di algoritmi”. E aggiungono: “Abbiamo provato a capire cosa si cela dietro ad alcune di queste app, ma spesso l’informativa privacy non risulta disponibile, circostanza questa che determina una grave mancanza sia di trasparenza sia di compliance normativa, specie se si consideri che queste app sono già scaricabili in UE”. L'organizzazione non profit Fairplay ha fatto emergere un’altra criticità legata alla privacy e ai sistemi di sorveglianza algoritmici: proprio l’app di Gaggle, che usa moderatori umani, metterebbe ancora più a rischio gli adolescenti. I moderatori di primo livello infatti vedono tutto il contenuto proveniente dai dispositivi scolastici degli studenti e ricevono notifiche quando vengono segnalate parole specifiche. Questi lavoratori, costretti a esaminare fino a 300 segnalazioni all'ora, non hanno alcuna formazione specifica in sviluppo infantile, salute mentale o sicurezza tecnologica, e riferiscono di subire traumi costanti a causa dei contenuti che devono visionare. In più, non ricevono alcun supporto psicologico, mettendo a rischio non solo i ragazzi, ma anche loro stessi. Fairplay denuncia anche l'assenza di misure di sicurezza adeguate: i moderatori di Gaggle potrebbero facilmente conservare o vendere immagini di minori, senza che ci siano reali garanzie per la protezione dei dati degli studenti. I bias algoritmici e la salute mentale Inoltre, l'algoritmo di Gaggle è intrinsecamente soggetto a bias, e i moderatori sono chiamati a usare il "buon senso" per identificare i segnali di allarme, il che lascia ampio margine per errori e pregiudizi. È stato riportato che l'algoritmo segnala parole come "gay", "queer" e "lesbica" come pericolose, con il rischio di outing non voluto degli studenti LGBTQ+. Questo può avere impatti psicologici profondi e mettere ulteriormente a rischio gli studenti. L’analisi del think tank Rand conferma l’esistenza di bias, anche razziali, dentro i software di analisi dei contenuti online usati nella prevenzione del suicidio: il linguaggio tipicamente utilizzato dalle persone non bianche ha maggiori probabilità di essere considerato "rischioso" o "dannoso" rispetto a quello usato dalle persone bianche. Gli studenti appartenenti a minoranze etniche rischiano quindi di essere segnalati in modo sproporzionato, con conseguenze che possono andare dall'intervento della polizia a stigmatizzazioni che incidono sul loro percorso scolastico e personale. Inoltre, questi sistemi tendono a colpire in modo più duro le comunità già marginalizzate. Gli studenti appartenenti a famiglie a basso reddito, che utilizzano più frequentemente dispositivi scolastici rispetto ai loro coetanei più abbienti, sono esposti a un controllo più stretto. Questo significa che chi è già più vulnerabile — economicamente e socialmente — rischia di trovarsi in una situazione di sorveglianza costante, senza le risorse per affrontare le conseguenze di eventuali segnalazioni. In assenza di umani, meglio le macchine? Sulla questione della privacy, lo stesso studio pone domande sull’accesso ai dati di navigazione degli studenti e da Privacy Network gli esperti concordano: “Il fatto che ci siano tecnologie che permettono di fare questa analisi non significa necessariamente che sia l’approccio corretto per trovare la soluzione. Tutto deve partire da un’educazione verso i nuovi pericoli, ma soprattutto da una maggiore empatia. Nei giorni scorsi un ragazzino si è ammazzato perché si era innamorato di un bot e, capendo che era un amore non corrisposto, si è tolto la vita. Questo è un segnale di estrema solitudine, la cui soluzione non è la sorveglianza costante”, sostengono Baldrati e Dimalta. È d’accordo Rachele Ceschin, psicoterapeuta, fondatrice del Nuovo centro clinico e del servizio dello Psicosoccorso, un pronto soccorso dedicato alle crisi di salute mentale con sede a Torino ma in funzione anche online 24 ore su 24: “Quel dolore che porta al suicidio è spesso silenzioso, e in tutto questo bisognerebbe pensare a quali sono i fattori di rischio per chi poi mette in atto questo comportamento. L’isolamento, per esempio, è uno dei più importanti. Bisogna capire qual è la risposta, quali sono le azioni messe in atto da parte della scuola. Se l’uso di queste app si accompagna a una formazione sulla salute mentale per il personale scolastico, c’è un lato positivo”. Il think tank Rand non ha potuto analizzare in profondità il funzionamento degli algoritmi delle app indagate perché le aziende non hanno messo a disposizione tutti i dettagli, ma una delle ipotesi è che il monitoraggio avvenga non solo con il linguaggio scritto ma anche tramite acquisizione di immagini delle telecamere e dati dal microfono dei device: per la terapeuta Ceschin “spesso le persone che compiono un gesto estremo non esprimono questo desiderio in modo verbale, e bisognerebbe capire se le app riescono a identificare questo segnale. Non necessariamente il desiderio diventa un’ideazione e poi un’azione”. Questi strumenti però vengono usati soprattutto là dove mancano risorse umane e si riducono gli investimenti per finanziare la presenza di terapeuti e counsellor nelle scuole. Le raccomandazioni delle associazioni di psicologi e consulenti scolastici negli Stati Uniti, che suggeriscono un rapporto di uno psicologo ogni 500 studenti e un consulente ogni 250, vengono rispettate solo in una minoranza di distretti scolastici. Questa carenza di personale specializzato è ancora più grave nelle aree a basso reddito e nelle comunità con una minoranza prevalente di studenti. In assenza di alternative, è facile capire perché le scuole decidano di affidarsi alla tecnologia. “Il pensiero di morte è presente nella maggior parte delle persone, è un meccanismo di difesa allo stato primitivo, e poterne parlare in un contesto sicuro, con persone esperte, aiuterebbe moltissimo”, sostiene la fondatrice del Nuovo centro clinico. Diverso sarebbe “se l’uso di queste app portasse alla normalizzazione dell’esternalizzazione di questi pensieri, e alla possibilità di parlarne con persone esperte”, aggiunge Ceschin, ma “delegare solo al computer questo lavoro mi sembra pericoloso, perché alimenta proprio quei fattori di rischio che vogliamo evitare, la solitudine e l’isolamento”. Per chi ha bisogno di aiuto Il tema dei suicidi è molto importante e, come dimostrano i dati diffusi dall’Unicef, riguarda non poche persone. Se hai bisogno di aiuto, o conosci qualcuno che si trova in una situazione di emergenza, chiama il numero 112. Se tu o qualcuno che conosci ha dei pensieri suicidi, puoi anche chiamare il Telefono Amico allo 02 2327 2327.