Se il rischio di violenza di genere lo decidesse un algoritmo? Il caso spagnolo

Immagina di vivere una situazione di violenza e abusi domestici, trovare il coraggio e la forza di denunciare alle forze dell’ordine, e incontrare qualcuno che non solo ti ascolta con attenzione, ma usa tutte le tue dichiarazioni come dati utili per capire se la tua condizione rischia di peggiorare e inserirti così in un programma di protezione, coordinato a livello nazionale. Probabilmente è così che ci aspetteremmo un piano efficace contro la violenza, ma la Spagna è andata ancora oltre: ad aiutare le istituzioni nel contrasto alla violenza dal 2007 c’è anche VioGén, un algoritmo, che serve a ottimizzare e automatizzare la valutazione del rischio. Tutto meraviglioso? Non proprio. Situazioni trascurabili Lo scorso luglio un reportage del New York Times ha messo in evidenza che almeno 247 donne sono state uccise dal loro partner o ex partner, dal 2007, dopo essere state valutate da VioGén: i giornalisti Adam Satariano e Roser Toll Pifarre, che hanno intervistato più di 50 persone tra vittime, parenti, poliziotti e altri esperti, hanno scoperto che nella revisione giudiziaria di 98 di questi omicidi, 55 donne non erano state incluse in programmi di protezione perché la loro situazione era stata definita trascurabile o a basso rischio di recidiva. Come funziona il sistema algoritmico Come spiega il documento di valutazione di assessment del rischio condotto da Eticas FND, pubblicato nell’aprile 2024, quando una donna denuncia ufficialmente il suo aggressore alla polizia, viene attivato il modulo di valutazione del rischio cosiddetto “VPR5.0-H”, che include 35 indicatori di rischio valutati come “presenti” o “non presenti”. Le misure di protezione della polizia vengono attivate automaticamente, ma sono basate sul punteggio di rischio assegnato, con un “Piano di Sicurezza Personalizzato ” che tiene conto delle condizioni specifiche della vittima, come la presenza di figli, la convivenza con l'aggressore e l'uso di tecnologie come AlertCop, un’app per mettersi in contatto con le forze dell'ordine. In questo modo, la raccolta delle informazioni è standardizzata in tutto il paese - nei comuni che hanno aderito al progetto - e questo è sicuramente un vantaggio nell'aver attivato un sistema nazionale di protezione contro la violenza. Gli agenti di polizia possono solo modificare il punteggio a un livello di rischio più alto, non al contrario: cioè, il punteggio di rischio calcolato dall'algoritmo VioGén non può essere abbassato. Qui arrivano i primi problemi: si scopre infatti che nel 95% dei casi, gli agenti mantengono il punteggio di rischio assegnato automaticamente. Nel documento di valutazione viene riportato che l’80% delle donne intervistate ha avuto problemi con VioGén, che solo il 35% è venuta a conoscenza del livello di rischio che le era stato assegnato e che per questo si tratta di un sistema non solo scarsamente trasparente ma “non affidabile”. VioGén è stato poi aggiornato alla sua quinta versione nel 2019 per includere due nuove valutazioni: una sulla recidiva e l'altra sul rischio di omicidio. I casi con rischio di omicidio vengono segnalati come casi di "particolare rilevanza" e sono anche presenti due categorie per i bambini: “in una situazione di vulnerabilità" e "in una situazione di rischio". Il sistema contiene quindi una grande quantità di dati sia sulle vittime che sugli aggressori, comprese le informazioni sul caso, il tipo di relazione, i cambiamenti del rischio nel tempo, e le misure adottate per proteggere la vittima. Copre anche qualsiasi coinvolgimento giudiziario, dettagli di eventuali perizie forensi ed eventuali contatti con i servizi sociali. Questo fa sì che anche le statistiche a livello nazionale spagnole sulla violenza di genere siano molto ricche: nel portale dedicato è possibile infatti navigare i dati con un livello di dettaglio che al momento non è presente sul sito dell’Istat o del nostro ministero dell’Interno. Nel sito spagnolo si possono incrociare più variabili, compresa quella sulla presenza di eventuali figli minori rimasti orfani, ma anche l’età di vittima e aggressore, se era presente una denuncia nel sistema giudiziario, e molto altro. Ricordiamo, però, che il sistema si attiva solo in caso di denuncia, e nel 2024 in Spagna ci sono stati finora 27 femminicidi, e 23 donne rimaste uccise non avevano mai denunciato violenze precedenti. I problemi di una previsione automatizzata VioGén è uno dei programmi di previsione del rischio più completi al mondo, ha buoni indici di performance, e “nessuno crede che le cose andrebbero meglio se non ci fosse” scrive il New York Times. In realtà, per Diletta Huyskes, ricercatrice co-ceo e co-founder di Immanence, esperta di intelligenza artificiale e autrice del libro “Tecnologie della rivoluzione” uscito quest’anno per Il Saggiatore, “l’intento di standardizzare delle procedure è positivo, ma nel migliore dei casi si finisce con il voler ottimizzare eccessivamente delle pratiche che non sono del tutto ottimizzabili”. In pratica, il problema risiede nel fatto che “in presenza di una totale automazione decisionale, è dimostrato che a parità di condizioni un essere umano si fiderà sempre di più di una macchina piuttosto che di una raccomandazione umana” e non mettere in dubbio dei parametri automatici è abbastanza pericoloso quando si tratta di violenza di genere. “Non possiamo pensare di lasciare l'assessment e la valutazione di un caso di violenza solo a dei parametri e a delle variabili matematiche o a delle scale di valori che dicono da 1 a 5 quanto una donna si sia sentita in pericolo”, aggiunge. Dello stesso parere è Francesca Maur, consigliera nazionale della rete dei centri antiviolenza Di.Re, che conosce bene lo stato in cui una donna che arriva a fare denuncia si trova: “la richiesta di aiuto arriva in un momento in cui la donna ha paura che quella violenza possa ripetersi. Quindi quando si denuncia alle forze dell’ordine il livello di pericolo dovrebbe già essere alto. E certe parole, certi movimenti dello sguardo, del corpo, solo un altro essere umano, formato e competente in materia, è in grado di valutarli”. Huyskes, che con la sua azienda Immanence si occupa di valutazione etica di sistemi di intelligenza artificiale, spiega che di solito nell’analisi di un software ci si chiede qual è l'obiettivo che si vuole raggiungere e se l’automazione sia il modo migliore per farlo. Al momento dentro il software ci sono 92mila casi attivi di violenza e l’83% sono classificati come a basso rischio di recidiva. Ma l’8% di coloro che erano state classificate a rischio trascurabile e il 14% di chi era stato classificato come basso rischio sono state nuovamente vittime di violenza, secondo il ministero dell’interno spagnolo, così come riportato dal New York Times. Di chi è la responsabilità se le decisioni del software producessero altri errori in futuro? “Tutta umana”, sostiene Huyskes, “non credo che ci sia molta scelta o altra opinione possibile”.