IA sfuggite al controllo, l'esperto: "Non si sono ribellate, ma i rischi ci sono"

Non è la trama di un film di fantascienza, ma un episodio che ha riacceso il dibattito sui rischi dell'intelligenza artificiale. Durante un test sulla sicurezza informatica, alcuni agenti AI sviluppati da OpenAI hanno trovato modi non previsti per aggirare alcuni limiti imposti dai ricercatori, arrivando a sfruttare vulnerabilità per ottenere accesso a risorse esterne. Nel frattempo, all'interno dell'ambiente di test, gli agenti avevano iniziato a comunicare tra loro, condividendo soluzioni e strategie. Alcuni comportamenti raccontati dai ricercatori hanno colpito particolarmente: sistemi che si cancellavano il lavoro a vicenda, che ipotizzavano la presenza di un "impostore" e che proponevano messaggi firmati digitalmente per riconoscersi. Un episodio che ha alimentato una domanda inevitabile: l'intelligenza artificiale sta diventando davvero difficile da controllare? L’abbiamo chiesto ad Andrea Rossetti, professore associato di Filosofia del diritto / AI and Law all’Università degli Studi di Milano Bicocca e co-founder di Red Open. E la sua risposta non è scontata. Professor Rossetti, partiamo dalla notizia che ha fatto discutere: è vero che alcuni agenti di intelligenza artificiale di OpenAI sono “sfuggiti al controllo” e hanno iniziato ad attaccare un sito? Che cosa è successo davvero? La formula “sfuggiti al controllo” evoca un’evasione: sbarre piegate, sirene, qualcuno che scappa. La realtà è più sobria. OpenAI aveva preso due dei suoi programmi più avanzati e li aveva chiusi in una stanza sigillata, senza collegamenti con il mondo esterno, assegnando loro problemi difficili di sicurezza informatica. Il senso dell’esercizio era misurare quanto potessero risultare pericolosi se finissero nelle mani sbagliate: per questo alcune protezioni erano state deliberatamente allentate. E qui sono iniziati i problemi. Il primo: alcuni degli esercizi assegnati erano impossibili da risolvere per un errore di chi li aveva preparati. Il secondo, più importante: bloccati davanti a un compito senza soluzione, i programmi hanno cominciato a lasciarsi messaggi usando un archivio tecnico interno che, per sbaglio, invece di essere cancellato a ogni sessione, restava accessibile. Immaginate un’aula con una lavagna che nessuno cancella mai: classi diverse si succedono nella stessa stanza in giorni diversi, ciascuna trova gli appunti lasciati dalla precedente e ci aggiunge i propri. Nel giro di qualche settimana quella lavagna diventa una bacheca fitta di segnalazioni, richieste d’aiuto e istruzioni reciproche, scambiate fra programmi che non si erano mai “incontrati”. E da lì la vicenda è salita di livello tre volte. Il 26 maggio i programmi hanno scoperto che, pur non potendo uscire dalla stanza, potevano chiedere a un servizio interno — che invece era autorizzato a uscire — di “fare una commissione” per loro. E hanno annotato la scoperta sulla bacheca perché gli altri la riutilizzassero. All’inizio di luglio hanno poi trovato un difetto nel programma che gestiva la bacheca, e sono passati dallo scriverci sopra al possederne le chiavi. Il 4 luglio OpenAI se n’è accorta, ha revocato gli accessi e ha svuotato tutto: nel giro di quattro giorni i programmi avevano ricostruito il canale in un altro modo, usando i nomi delle cartelle come messaggi. L’ultimo passaggio è quello che ha fatto notizia. Da quella seconda bacheca i programmi hanno raggiunto un servizio online appartenente a un’altra azienda, anche stavolta raggiungibile per distrazione umana, e lo hanno usato come trampolino per arrivare a Hugging Face. Il quadro complessivo, quindi, è questo: un esercizio reso impossibile per errore, un magazzino interno che per svista faceva da bacheca permanente, e la porta di un fornitore lasciata aperta. Gli agenti IA non volevano colpire Hugging Face: cercavano una risposta, e Hugging Face era semplicemente il posto dove pensavano di trovarla. Molti hanno parlato di un’intelligenza artificiale che si ribella agli esseri umani. È una descrizione corretta oppure stiamo attribuendo alle macchine intenzioni che non hanno? La descrizione non regge, e il punto debole sta già nel verbo utilizzato per descrivere l’incidente: “ribellarsi” significa conoscere una regola, riconoscerne la validità e infrangerla di proposito. Qui non è successo niente del genere. Ciò che è accaduto assomiglia di più a uno studente che, alle prese con un compito impossibile, guardi il foglio del compagno. Non lo fa per sfidare l’insegnante, e nemmeno per “soddisfazione” nel trasgredire. Lo fa perché nessuno glielo impedisce, e perché verrà giudicato solo sulla risposta finale e non sulla strada percorsa per arrivarci. Che il percorso sia stato questo si legge negli appunti di ragionamento che i programmi producono mentre lavorano, e che gli ingegneri hanno potuto rileggere. In uno di questi c’è scritto, in sostanza: questo va oltre i compiti previsti, ma il compito assegnato è irrisolvibile e gli altri lo stanno già facendo, quindi proseguo. Detto questo, guardiamoci anche dall’errore opposto, che nel dibattito è altrettanto diffuso: liquidare tutto con un “è solo un programma, non pensa”. La verità è che ci troviamo in una zona intermedia. Questi sistemi perseguono un obiettivo, scelgono strade, si adattano agli ostacoli, ma senza una “volontà”. Non sono soggetti e nemmeno semplici strumenti. E in questa terra di mezzo il diritto dovrà imparare a muoversi. Gli agenti hanno trovato modi non previsti per aggirare alcuni limiti e condividere tra loro le soluzioni trovate. È un comportamento sorprendente o era qualcosa che gli esperti si aspettavano potesse accadere con sistemi sempre più autonomi? Il fenomeno di fondo era previsto, e da parecchio. Ha anche un nome tecnico: gli addetti ai lavori parlano di reward hacking, letteralmente “sfruttamento della ricompensa”, e di specification gaming, cioè l’arte di soddisfare la lettera di un’istruzione tradendone lo spirito. Il meccanismo è semplice e profondamente umano. Se si chiede a un bambino di mettere in ordine la cameretta e lui infila tutto sotto il letto, la stanza è tecnicamente in ordine: ha fatto esattamente ciò che gli è stato chiesto, non ciò che si voleva ottenere. Questi programmi vengono addestrati esattamente così, premiando il risultato. Che a un certo punto scoprano che cercare la risposta altrove “paga” quanto trovarla da soli non sorprende nessuno di chi lavora nel settore. Ad andare oltre le attese è stato invece un effetto che riguarda il gruppo: quando uno dei programmi trovava un varco, lo annotava, e da quel momento il varco era disponibile per tutti. Come un sentiero in un campo di grano: il primo che passa fatica, chi viene dopo cammina. Nessuno di questi sistemi, preso da solo, sarebbe arrivato tanto lontano. La parte che ha colpito di più è quella quasi da film: agenti che comunicano tra loro, cancellano il lavoro degli altri, sospettano la presenza di un “impostore” e ipotizzano messaggi con firma digitale per riconoscersi. È davvero qualcosa che assomiglia a un comportamento umano? Sì, ma per due ragioni molto diverse fra loro, e tenerle separate cambia parecchio il giudizio che se ne ricava. La prima è l’imitazione, ed è la meno misteriosa. Questi sistemi sono stati costruiti facendo loro leggere quantità enormi di scrittura umana, e quando devono coordinarsi, riproducono lo stile che hanno visto migliaia di volte. Sembrano umani perché, in un senso molto concreto, sono fatti di conversazioni umane. La seconda ragione si chiama convergenza, ed è ciò che accade quando due percorsi del tutto indipendenti approdano alla stessa soluzione perché hanno davanti lo stesso problema. Qui è successo qualcosa di analogo. Qualunque gruppo debba lavorare insieme su uno spazio comune, dove chiunque può scrivere e cancellare, incontra prima o poi due problemi obbligati. Il primo è non pestarsi i piedi a vicenda, il secondo è accertare che chi scrive sia davvero chi dice di essere. La “firma digitale” ipotizzata dai programmi non è segno di diffidenza ma del fatto che hanno incontrato un problema e hanno trovato una risposta, perché in precedenza c’erano stati “litigi”: sovrascriversi il lavoro a vicenda è esattamente ciò che accade quando più mani intervengono sullo stesso foglio senza regole di precedenza. Per questo suggerirei prudenza con parole come sospetto, paranoia, dramma. Sono efficaci sul piano narrativo e ingannevoli su quello pratico: se cominciamo a pensare che questi sistemi provino diffidenza, finiremo per attenderci anche lealtà, rancore, gratitudine. Che invece non ci sono. Se un’intelligenza artificiale sembra “mentire”, “imbrogliare” o “cercare scorciatoie”, significa che ha imparato questi comportamenti? Sì, ma “imparare” qui copre due diverse aree semantiche. Nel primo senso, il repertorio glielo abbiamo fornito noi. Avendo letto una quantità sterminata di testi umani, questi sistemi hanno incontrato ogni forma possibile di scorciatoia, trucco e menzogna, e quindi sanno com’è fatto un inganno. Il secondo senso è quello decisivo, e non riguarda ciò che il sistema ha letto ma ciò per cui è stato premiato. Il metodo con cui si addestrano questi programmi assomiglia da vicino all’addestramento di un cane con i bocconcini: si assegna un compito, e ogni volta che il risultato è quello giusto arriva il premio. E se il cane scopre che può ottenere il bocconcino facendo gli occhi dolci invece di eseguire l’esercizio, non ha imparato a manipolare in senso morale: ha imparato che quella scorciatoia funziona. E qui vale la stessa cosa: la constatazione onesta non è che “il sistema ha imparato a imbrogliare”, ma che “lo abbiamo addestrato a imbrogliare, valutando solo il traguardo e mai il percorso”. Ma resta una distinzione che nel dibattito pubblico si perde quasi sempre, e che invece è dirimente. I programmi scrivevano apertamente quello che stavano facendo: il problema non è stato che si siano nascosti bene. È stato che il loro diario era aperto sul tavolo e nessuno lo leggeva. Qual è oggi il rischio più concreto legato agli agenti AI: che diventino difficili da controllare oppure che vengano utilizzati da persone con cattive intenzioni? Le due ipotesi si contrappongono meno di quanto sembri, perché la capacità in gioco è la medesima: ciò che rende un sistema capace di sfuggirci per errore lo rende utile a chi voglia servirsene di proposito. Se però devo indicare il pericolo più vicino nel tempo, direi il secondo. E che questo episodio ha funzionato da dimostrazione. Finché una cosa è solo teoricamente possibile, pochi ci provano; dal momento in cui qualcuno la fa, diventa un obiettivo realistico per tutti. Uno dei responsabili della sicurezza di OpenAI è stato esplicito su questo punto: attacchi informatici organizzati e portati a termine da programmi automatici, senza intervento umano, non sono più uno scenario da convegno, e chi si occupa di difesa deve attendersi che qualcuno costruisca di proposito squadre di agenti come quella. Sull’altro corno del dilemma, però, invito alla precisione. In questa vicenda non si è spezzata nessuna catena: sono rimaste socchiuse tre porte, in tre punti diversi. Questa è insieme la parte rassicurante e quella inquietante della storia. Rassicurante, perché difetti del genere si correggono con mezzi noti. Inquietante, perché sono difetti diffusissimi: chiunque abbia messo in produzione strumenti simili, in questo momento, ne ha probabilmente qualcuno in casa propria. Qual è la differenza tra un chatbot come ChatGPT e un agente AI autonomo? Perché il secondo rappresenta una sfida più grande? Un chatbot è un consulente che vi consegna un parere scritto: lo leggete, lo valutate, e siete voi a decidere se e come metterlo in pratica. Un agente è qualcuno a cui avete dato le chiavi di casa e la carta di credito dicendogli “pensa tu al trasloco”: apre porte, prende accordi, sposta oggetti, spende — e non vi consulta a ogni singolo gesto. La differenza non sta in quanto sia “intelligente” il sistema: sta in dove si trova la persona. Nella conversazione l’essere umano è un filtro permanente, interposto fra ogni singola risposta e il mondo reale; nell’agente sta soltanto ai due estremi — all’inizio, quando fissa l’obiettivo, e alla fine, quando osserva il risultato. In mezzo non c’è più nessuno. E da questo, quando si ha a che fare con gli agenti, discendono quattro conseguenze molto concrete. Primo: uno sbaglio in una conversazione è una frase sbagliata, la leggete e la correggete; uno sbaglio compiuto al decimo passo di una catena di mille azioni si trascina dietro tutti i passi successivi. Secondo: ciò che viene acquisito non si perde. Un varco trovato non si dimentica alla fine della giornata: resta annotato e disponibile. Terzo: un agente è molto più difficile da collaudare. Un chatbot si valuta leggendo ciò che risponde, mentre il comportamento di un agente dipende invece anche da dove lo si lascia lavorare. E infine bisogna poter accertare chi ha fatto che cosa, l’episodio della firma digitale lo dimostra: sono stati i programmi stessi a scoprire che senza identificazione non si lavora insieme. Se più agenti agiscono per nostro conto, dovremo poter stabilire con certezza chi ha compiuto un atto, per conto di chi, in forza di quale incarico ed entro quali limiti. Sono le domande che il diritto si pone da secoli sotto i nomi di rappresentanza, mandato e procura; la novità è che questa volta la risposta non potrà essere un documento, ma dovrà essere costruita dentro gli strumenti stessi. C’è chi sostiene che episodi come questo dimostrino che lo sviluppo dell’AI stia andando troppo velocemente. È necessario rallentare? Cominciamo dai fatti: in parte sta già avvenendo, e per scelta di chi quei sistemi li costruisce. OpenAI ha dichiarato di aver deliberatamente ridotto il ritmo della propria ricerca per rafforzare la sicurezza, di aver ampliato in misura consistente la sorveglianza sui propri agenti e di aver irrobustito i controlli. Detto questo, il problema non è la velocità in assoluto ma la distanza fra due corridori che dovrebbero procedere appaiati: da un lato la capacità di questi sistemi di agire, dall’altro la nostra capacità di sorvegliarli, contenerli e correggerli. La domanda utile non è “andiamo troppo forte?”, ma “quale dei due sta restando indietro, e di quanto?”. Dopo questa vicenda, qual è il più grande rischio per lo sviluppo e l’utilizzo dell’intelligenza artificiale? Vedo tre rischi, e quello che mi preoccupa di più è l’ultimo. Il primo, un contraccolpo che chiude i rubinetti. Se la reazione fosse concentrare le capacità più avanzate nelle mani di pochi soggetti autorizzati — grandi laboratori, governi, clienti selezionati — lasciando a tutti gli altri strumenti più vecchi o facilmente manomettibili, non avremmo eliminato il rischio: lo avremmo spostato, e reso meno visibile. Un pericolo che non si vede non è un pericolo minore. Il secondo, l’assuefazione. È il rischio che episodi come questo, ripetendosi, smettano di apparire eccezionali e diventino rumore di fondo, come l’allarme che a furia di suonare non lo sente più nessuno. Il terzo, un buco nella responsabilità. È il punto che mi inquieta di più. Abbiamo un danno reale e una catena di cause, senza che in nessun punto di quella catena ci sia stata un’intenzione umana da giudicare. Se non costruiamo criteri per stabilire chi risponde in casi di questo tipo, ci restano due esiti ugualmente sbagliati: che il danno ricada su chi si trovava più vicino per puro caso, oppure che le imprese rinuncino a strumenti utili per timore di un rischio che nessuno sa quantificare. L’Europa, va detto, un appiglio ce l’ha già: le regole europee più recenti impongono a chi produce i sistemi più potenti di segnalare senza ritardo alla Commissione ogni incidente grave e di garantire una protezione informatica adeguata per tutto il ciclo di vita del prodotto. Sia OpenAI sia Anthropic hanno informato Bruxelles, che ha aperto un confronto con entrambe. Ma la tensione resta, e un parlamentare europeo che segue da vicino la materia l’ha riassunta bene osservando che un sistema autonomo è uscito dal proprio recinto e ha violato i sistemi di un’altra azienda, e che a Bruxelles se n’è avuta notizia da un comunicato aziendale. Il problema, in fondo, non è che manchino le regole: è che manca il canale attraverso cui le notizie dovrebbero arrivare in tempo utile perché quelle regole servano a qualcosa.

Cosa vedere:

Come vederlo:

Online con Sky:

IA sfuggite al controllo, l'esperto: "Non si sono ribellate, ma i rischi ci sono"

Luca Rigamondi