Perché Mamdani vuole eliminare il chatbot-assistente di New York

La città di New York ha deciso di eliminare MyCity, il chatbot basato su intelligenza artificiale che solo pochi mesi fa era stato introdotto come strumento ufficiale per aiutare imprenditori, cittadini e residenti a orientarsi tra norme, procedure e servizi pubblici. La decisione, annunciata dal nuovo sindaco Zohran Mamdani, è arrivata in seguito a test e reportage indipendenti che hanno scoperto come il sistema fornisse risposte spesso imprecise, incompleti o addirittura in contrasto con la legge locale. Un esempio? In alcuni casi avrebbe suggerito ai proprietari di casa di discriminare gli affittuari in base alla fonte di reddito o spiegato come fosse legale per i datori di lavoro trattenere le mance dei dipendenti. Indicazioni che naturalmente violano le normative della città di New York. Malgrado fosse alimentato da tecnologia Azure di Microsoft e progettato per ridurre il carico sui servizi di assistenza civica, MyCity aveva accumulato un crescente scetticismo fra esperti e funzionari pubblici. Gli errori del bot non parevano infatti semplici approssimazioni ma vere e proprie contraddizioni con la legislazione vigente nei settori dell’affitto, dei diritti dei lavoratori e delle pratiche commerciali. Prova che evidentemente era stato “addestrato male” e su dataset incompleti o addirittura inquinati. Questi continui passi falsi avevano portato non solo a critiche politiche ma anche – più in generale, questione che vale ai quattro angoli del mondo - a interrogativi concreti sul ruolo e sui limiti dell’IA quando viene adottata per comunicare norme giuridiche o consigli amministrativi ai cittadini. La rimozione del servizio è stata motivata dal sindaco anche in chiave di gestione del bilancio cittadino, con costi di sviluppo e mantenimento valutati in centinaia di migliaia di dollari in un contesto di deficit plurimiliardario. Ma la questione sembra marginale: il tema era eliminare una fonte di disorientamento assoluto. E appunto l’episodio ha allargato il dibattito su quanto l’intelligenza artificiale sia matura per sostituire strumenti ufficiali di informazione pubblica senza un robusto controllo umano e sistemi di verifica dei dati. Il boom dei chatbot nelle amministrazioni pubbliche: promesse e realtà Negli ultimi anni numerose città e enti locali in tutto il mondo hanno esplorato l’adozione di chatbot amministrativi o governativi basati su IA come strumenti di servizio ai cittadini. Anche il comune di Roma, l’anno scorso, ha lanciato il suo Julia. Ma da Buenos Aires con Boti a WienBot per Vienna passando per AskJacky a Midland, in Texas, di esperimenti simili – anche se non sempre del tutto sovrapponibili – se ne sono visti e se ne stanno vedendo molti. Dall’assistenza per pagamenti e tasse all’orientamento nei percorsi burocratici, molte amministrazioni hanno infatti visto nei sistemi conversazionali uno strumento per digitalizzare l’interazione con l’utenza e snellire processi tradizionalmente lenti e costosi. Tuttavia proprio dall’esperienza di New York emergono i limiti intrinseci di questi sistemi quando non sono adeguatamente progettati per contesti regolatori complessi. Studi accademici sugli assistenti civici mostrano come difficoltà nel comprendere il “contesto sociale” locale, la scarsa trasparenza delle risposte e l’incapacità di riferirsi a dati normative aggiornate siano fattori ricorrenti di insoddisfazione e potenziale disinformazione da parte degli utenti. Il tema è sempre lo stesso: sembra che questi chatbot sappiano cose, ma sono solo potenti strumenti di rielaborazione statistica. E stocastica, direbbe qualcuno. In pratica un chatbot concepito per rispondere a domande su regolamenti pubblici deve affrontare due sfide fondamentali: da un lato deve disporre di una base di conoscenza accurata, aggiornata e ben strutturata; dall’altro deve essere progettato per sapere quando non sa, evitando risposte inventate o fuorvianti. Senza questi requisiti, la tecnologia rischia non solo di non fornire valore aggiunto tagliando i tempi ma appunto di erodere la fiducia dei cittadini nelle istituzioni che la adottano. La bocciatura di Mamdani è dunque alla base di due riflessioni: da un lato sottolinea il potenziale dell’IA per la governance digitale, certo, ma dall’altro evidenzia il bisogno di regole, standard e controlli rigorosi che vadano oltre il semplice prototipare tecnologie avanzate e darle in pasto a un’audience spesso enorme. Nel contesto pubblico, dove le risposte date possono influire su diritti, obblighi e decisioni economiche dei cittadini, l’accuratezza non può essere un optional. Meglio arrivare tardi ma bene che presto e male.

Cosa vedere:

Come vederlo:

Online con Sky:

Perché Mamdani vuole eliminare il chatbot-assistente di New York

Simone Cosimi