Gaza funge da laboratorio per perfezionare armi di IA destinate a un mercato globale in forte espansione. Un convegno Sipri sui bias dell’IA militare individua alcune proposte ma la partita appare più grande, riguarda l’oligopolio militar-tecnologico. Serve un International Public Data Trust. E cloud pubblici sovrani.
L’Intelligenza Artificiale militare e il laboratorio Gaza
L’offensiva israeliana a Gaza, in risposta all’attacco del 7 ottobre 2023, rappresenta il primo impiego esplicito dell’Intelligenza Artificiale (IA) come strumento di guerra. In un tragico “beta testing” su larga scala le tecnologie utilizzate hanno portato a conseguenze devastanti: oltre 60.000 morti, 2/3 dei quali donne e bambini. Insieme a questo un territorio ridotto a macerie.
Il sistema è abilitato da un vastissimo e pervasivo apparato di sorveglianza e data scraping (dati di rete, telefonia, social media). Questo costituisce la base sulla quale vengono addestrati i modelli di IA e, a cascata, le funzioni militari specifiche dell’applicazione. In questo modo, analizzando i dati forniti, si identificano correlazioni e si producono “decisioni” letali senza che queste abbiano una preventiva programmazione esplicita per ogni scenario.
In particolare è probabile che a Gaza sia stata utilizzata una tecnica di “apprendimento non supervisionato“: partendo da dati “etichettati” su soggetti ritenuti ostili, l’algoritmo cerca connessioni nella popolazione generale e li utilizza per identificare nuovi sospetti. Questo processo, in un paese che considera ogni palestinese un potenziale terrorista, genera obiettivi militari in modalità largamente congetturali e fortemente soggette a pregiudizi, portando ad un altissimo numero di falsi positivi con conseguenze letali di massa.
In particolare tre sono stati i sistemi di IA cruciali nell’azione israeliana a Gaza. The Gospel (Il Vangelo) identifica gli edifici da colpire, sulla base di punteggi assegnati partendo da parametri che affiancano alle strutture militari obiettivi come case, scuole e ospedali, colpiti indiscriminatamente anche per demoralizzare la popolazione. La velocità di generazione degli obiettivi è tale che gli attacchi avvengono con supervisione umana minima o nulla. The Lavender (La lavanda) classifica ogni residente di Gaza con un punteggio di “rischio da appartenenza ad organizzazione ostile” che definisce la sua probabilità di appartenere a un gruppo armato. Fonti militari hanno riferito che la sola valutazione dell’IA è considerata sufficiente per autorizzare attacchi, ritenendo accettabili dai 10 ai 100 civili uccisi come “danni collaterali” in funzione del valore del singolo obiettivo. Where’s Daddy (Dove papà), infine, è una IA che traccia in tempo reale la posizione degli individui contrassegnati da Lavender, per colpirli quando si trovano in un luogo vulnerabile. Questo, il più delle volte coincide con le loro case di notte, portando all’eliminazione di intere famiglie.
I sistemi di AI richiedono immense capacità di cloud computing e storage, per le quali intervengono attivamente le Big Tech americane. Google, Amazon (AWS) e Microsoft sono fornitrici di cloud e capacità di calcolo attraverso contratti miliardari (es. Project Nimbus). Il sistema Azure di Microsoft fornisce ad IDF i servizi di OpenAI. Anche Palantir, specializzata in sorveglianza, ha una partnership strategica con Israele, fornendo molto probabilmente anche tecnologie di polizia predittiva.
I sistemi di Intelligenza artificiale generativa analizzano dati e producono decisioni come risultato di funzioni probabilistiche elaborate da modelli che portano al loro interno tutti i pregiudizi, di classe, di razza, di genere o di altro tipo, presenti nelle nostre società. L’esistenza di pregiudizi nei modelli, tecnicamente ben nota, è detta bias nell’intelligenza artificiale. La successiva costruzione di sistemi di IA ad uso militare richiede un addestramento specifico per i modelli di base utilizzati, esso stesso portatore di pregiudizi. Nella indiscussa dualità civile-militare della tecnologia gli stessi principi che generano pubblicità mirata sono utilizzati per identificare gli obiettivi, indifferentemente che essi siano essi umani o meno. L’utilizzo della IA in guerra opera una de-umanizzazione digitale, riducendo le persone a dati: le persone, una volta digitalizzate, diventano oggetti virtuali, eliminabili con la facilità di un click.
Abbiamo ascoltato a lungo l’assordante silenzio internazionale sul disastro di Gaza. Ai tanti convegni che si sono susseguiti sul potenziale rischio esistenziale futuro della IA non è seguito un altrettanto convinto intervento sui danni evidenti che la IA utilizzata in guerra provoca, qui ed ora a Gaza e nel futuro altrove. Certamente in questo gioca un ruolo il contesto geopolitico che vede delinearsi i lineamenti di una nuova guerra fredda (in cui lo sviluppo della IA gioca una parte attiva), ma non si può nascondere l’esistenza di enormi interessi economici in gioco, con le aziende bene interessate a testare sul campo (a Gaza come per altri versi in Ucraina) le potenzialità belliche di una tecnologia che le vede fortemente attive. Gaza funge da laboratorio per perfezionare armi di IA destinate a un mercato globale in forte espansione, con il rischio di inaugurare una nuova era di guerre automatizzate, particolarmente dannose per i civili, specie per gli strati più vulnerabili. Contrariamente a quanto affermato dalle fonti ufficiali, a Gaza l’83% degli uccisi sono civili estranei ai combattimenti, in violazione significativa di tutti i principi del Diritto Internazionale Umanitario, i cui principi cardine sono riportati nella tabella che segue.
| Principi fondamentali del Diritto Internazionale Umanitario (DIU) che regolano la condotta delle ostilità | |
| Principio di Distinzione | Obbligo di distinguere tra civili e combattenti, e tra obiettivi civili e militari. Gli attacchi devono essere diretti solo verso obiettivi militari. Feriti, malati, prigionieri e personale sanitario o religioso debbono esser protetti. |
| Divieto di Attacchi Indiscriminati: | Vieta gli attacchi che non sono diretti contro un obiettivo militare specifico o i cui effetti non possono essere limitati, colpendo così senza distinzione obiettivi militari e civili. |
| Principio delle Precauzioni negli Attacchi | Obbligo di fare tutto il possibile per evitare o minimizzare i danni ai civili. Include il dovere di verificare gli obiettivi, scegliere metodi e mezzi d’attacco appropriati e sospendere o cancellare un attacco se risulta violare i principi di distinzione o proporzionalità. |
| Il divieto di distinzione avversa (o discriminatoria) | Proibisce alle parti in conflitto di trattare persone in modo sfavorevole sulla base di criteri ingiusti e non legati allo status militare o alla necessità operativa. In particolare, vieta distinzioni basate su razza, colore della pelle, sesso, lingua, religione, opinioni politiche o di altro tipo, origine nazionale o sociale, ricchezza, nascita, altro status analogo. Relativo soprattutto alla protezione delle persone che non partecipano alle ostilità (civili, feriti, prigionieri di guerra), mira a garantire che tutti siano trattati con umanità, senza discriminazioni ingiustificate. |
Il rapporto SIPRI: Bias nell’Intelligenza Artificiale militare e Diritto Umanitario Internazionale
Come dimostra il caso Gaza, l’utilizzo massivo della IA in ambito militare ripropone in maniera rilevante la protezione dei civili non combattenti, garantita dal Diritto Internazionale Umanitario. Il SIPRI (Stockolm Peace Research Institute) ha dedicato uno specifico convegno sulla mitigazione degli effetti del bias nei sistemi di IA militare e dei conseguenti effetti dannosi per i civili non combattenti. Il report Bias in Military Artificial Intelligence and Compliance with International Humanitarian Law, ne analizza cause ed effetti legali alla luce del DIU, proponendo nelle conclusioni delle modalità atte a minimizzarne i potenziali danni.
Il termine “bias” si riferisce ad una distorsione sistematica dei modelli di fondazione della IA derivante dai dati di addestramento, che porta un sistema costruito su quei modelli a favorire o sfavorire certe persone o gruppi e portando a decisioni discriminatorie. In ambito militare ai pregiudizi già presenti nella società e riportati dai modelli di base si aggiungono le scelte fatte dagli sviluppatori, che possono introdurre metriche approssimate o basate su percezioni soggettive. Va anche considerato l’uso dei sistemi di IA sviluppati in contesti reali, dove situazioni impreviste o di altro possono esasperare queste distorsioni. Durante un conflitto, i sistemi possono produrre danni diretti alle persone, principalmente in due modi: scambiando un civile per un obiettivo legittimo, o fallendo nel riconoscere la presenza di civili in un’area di attacco. Sia i sistemi d’arma completamente autonomi (Autonome Weapon Systems, AWS) che quelli di supporto alle decisioni umane (Decisiopn Support Systems, DSS) sono a rischio, ma mentre per i primi il danno può essere immediato, per i secondi passa attraverso l’interpretazione e l’azione umana.
Il rapporto sottolinea come il Diritto Internazionale Umanitario si regga su alcuni pilastri fondamentali quali la distinzione tra combattenti e civili e tra obiettivi militari e beni civili. La presenza di bias in sistemi di IA può minare queste protezioni essenziali. Un sistema distorto potrebbe, ad esempio, identificare erroneamente un obiettivo basandosi su indicatori indiretti (proxy) culturalmente prevenuti – come l’età, il sesso o semplici modalità comportamentali non conformi alle attese, con il risultato di colpire persone o cose protette.
Preoccupante è anche il rischio che la IA non riconosca gesti di resa culturalmente specifici, attaccando così combattenti che si sono arresi. Questi errori violano i principi cardine del DIU che richiedono distinzione e proporzionalità nelle azioni. Il bias può portare a sottostimare i danni collaterali ai civili appartenenti a minoranze o a gruppi poco rappresentati nei dati, stravolgendo il calcolo proporzionale richiesto prima di un attacco. Inoltre, il cosiddetto automation bias – la tendenza umana a fidarsi ciecamente dei suggerimenti automatizzati – rischia di vanificare il dovere di verifica, violando l’obbligo di prendere tutte le precauzioni possibili (il lettore potrà vedere da sé come il conflitto di Gaza contenga drammaticamente tutti questi elementi, ndr). E’ chiaro che il bias, in qualsiasi forma si manifesti, minaccia ampiamente la conformità al DIU. Sia che l’azione avvenga direttamente (con un’arma autonoma) che indirettamente (influenzando una decisione umana), un sistema IA distorto espone civili e combattenti ad azioni in chiara violazione delle regole del DIU.
Secondo le analisi del SIPRI, affrontare il problema del bias nell’IA militare non è solo una questione tecnica, ma un imperativo legale. Poiché è impossibile eliminare completamente i pregiudizi nei modelli è cruciale implementare misure per rilevarli e contenerne i danni. Centrale è ritenuto l’uso di dataset di addestramento rappresentativi, che includano specificità culturali e minoranze locali per minimizzare gli errori di identificazione. Questo, tuttavia, richiede una sorveglianza intrusiva, che pone problemi seri al riguardo del diritto alla privacy.
Viene evidenziata inoltre la necessità della trasparenza sulla provenienza dei dati, resa difficile dalla natura di “scatola nera” degli algoritmi e dal segreto industriale delle aziende fornitrici. Per mitigare i rischi il controllo umano è una misura critica. Per le armi autonome ciò significa imporre limiti operativi stringenti, come il divieto di uso in aree popolate e/o limitarne l’impiego ad obiettivi esplicitamente militari. Per i sistemi di supporto alle decisioni è essenziale che gli operatori non diventino dei meri approvatori formali. Questo si puo’ ottenere implementando verifiche incrociate con fonti diverse, in un processo che deve garantire che la velocità di output dell’IA non comprometta la capacità umana di svolgere queste verifiche.
Il rapporto conclude sulla necessità che le strutture militari adottino anche misure interne quali formazione del personale nel riconoscere i tipi, le fonti e i rischi dei bias nell’IA , diversità nei team di sviluppo e competenze nazionali specifiche. Portando un contributo importante per i dibattiti internazionali in corso, il SIPRI sostiene che affrontare seriamente il bias sia il primo passo per costruire sistemi di governo credibili ed efficaci per l’IA militare.
Un trust pubblico per separare civile militare
La pubblicazione del rapporto SIPRI va meritoriamente nella direzione di porre all’attenzione dell’opinione pubblica internazionale i rischi dovuti a bias connessi all’utilizzo della IA in contesti militari. Le misure di mitigazione proposte sono del tutto condivisibili, ma tuttavia mostrano un limite, di cui il rapporto stesso appare consapevole. Tali misure, infatti, risultano di difficile attuazione nel contesto generale in cui si è sviluppata la struttura industriale degli attuali sistemi di intelligenza artificiale e difficilmente possono essere attuate su una reale capacità di controllo dall’esterno.
L’Intelligenza Artificiale Generativa si basa su appropriazione dei dati, natura proprietaria ed opaca dei modelli di fondazione, oligopolio di un pugno di grandi aziende che controllano anche la infrastruttura hardware necessaria a far operare i sistemi di IA. Una struttura industriale che molto interesse nel consolidarsi in un complesso militare tecnologico, agendo sulla spinta di (e promuovendo al tempo stesso) una nuova guerra fredda con focolai guerreggiati sparsi per il mondo accoppiati a pervasivi stati di sorveglianza a fini di “sicurezza” all’interno. Un efficace controllo degli effetti del bias nella IA militare richiede inevitabilmente un intervento radicale sulla stessa struttura industriale in cui questa si è sviluppata, per natura difficilmente emendabile mediante approcci parziali, limitati ad uno solo dei rami che la costituiscono.
E’ sul questo complessivo che necessariamente bisogna intervenire, rompendo l’attuale oligopolio industriale su dati di base, modelli e capacità computazionale e ponendo, a compendio di ciò, limiti verificabili alle modalità di utilizzo della IA in ambito militare. È necessario intervenire sui dati di addestramento e sulla loro tracciabilità all’interno dei modelli che li utilizzano, sul controllo dei modelli e sul diritto inviduale e collettivo alla accessibilità e alla cancellazione dei propri dati, sul divieto di utilizzo di modelli addestrati per uso generale in ambiti militari nonché sull’obbligo di utilizzo di cloud pubblici per IA militare. Il tutto sulla scia di proposte che si vanno facendo strada all’interno della comunità scientifica più attenta, con l’utilizzo di modalità già oggi del tutto possibili o in via di costruzione.
Per quanto riguarda i dati di addestramento si propone una gestione collettiva e sovranazionale attraverso un International Public Data Trust (IPDT). Questa è una struttura giuridica e di governo sovranazionale, istituita per amministrare, gestire e governare beni dati di interesse globale come beni comuni digitali (digital commons). Il trust deve avere potere esclusivo di detenere, governare e concedere l’accesso a dataset critici. La gestione dei dataset di interesse pubblico deve esser basata sui “beni comuni”, con un sistema di governo condiviso e strette clausole sull’uso, permettendo in tal modo una facile esclusione dagli usi militari.
Una volta istituiti, i trust dovrebbero avere un ruolo esteso all’imposizione di tracciabilità dei dati nei modelli nell’intero ciclo di vita (data lineage o genealogia dei dati). Attraverso protocolli obbligatori di data lineage e tracciatura di provenienza (provenance logging), ogni dato, ogni parametro e ogni derivazione nei sistemi di machine learning deve essere ispezionabile in tempo reale da organismi di audit internazionali. Il trust deve avere la capacità di risalire all’origine di ogni decisione algoritmica, nonché la possibilità di esfiltrare selettivamente i dati utilizzati dal modello. In tale ambito il trust può governare il divieto di usare dati pubblici “generali” per sviluppare IA militare, con divieto di uso delle fonti di dati di tipo generale per l’addestramento dei modelli i tipo militare.
Parallelamente, il trust attua un diritto all’oblio individuale e collettivo. Non solo i cittadini possono far rimuovere i propri dati, ma il trust stesso – per mandato – può ordinare la cancellazione selettiva (unlearning) di interi dataset o pattern dannosi dai modelli già esistenti, retroattivamente e senza appello. Questo trasforma il diritto alla cancellazione da strumento difensivo individuale in uno strumento collettivo.
La sovranità sui dati e sui modelli non è possibile senza avere il controllo dell’infrastruttura che li processa. Per questo è necessario un divieto categorico di utilizzare cloud privati per lo sviluppo e l’impiego di IA, in particolar modo militari, con vantaggi anche da un punto di vista di autonomia strategica dei Paesi. Il monopolio computazionale privato attuale deve essere sostituito con il ricorso cloud pubblici sovrani e/o a computing commons. Queste infrastrutture di calcolo, gestite da entità pubbliche e soggette ad audit multilaterale continuo, diventano l’unico ambiente legale per operare IA, in particolare quelle letali. Ogni algoritmo, ogni operazione di training, ogni inferenza, deve avvenire all’interno di questo perimetro trasparente e controllato collettivamente.
Bloccare i killer robot
La gestione collettiva e sovranazionale dei dati attraverso il trust, unitamente alla loro separazione civile-militare e al divieto categorico dei cloud privati per le applicazioni militari, possono costituire una efficace infrastruttura giuridica e tecnologica atta a sostenere il divieto totale dei sistemi di arma autonomi letali, per i quali qualunque errore di analisi ha effetti letali per singoli o gruppi di persone. Questi sistemi, prendendo decisioni di vita o di morte senza controllo umano, non solo cristallizzano e amplificano discriminazioni mortali, ma possono innescare escalation incontrollate nei conflitti. Una risposta efficace a questa minaccia deve essere un divieto assoluto del loro utilizzo, come da anni chiede la campagna Stop Killer Robots, sostenuta da Human Rights Now. Le proposte sopra indicate creano le condizioni tecniche per rendere possibile e verificabile un controllo internazionale dello sviluppo di sistemi di IA militare, particolarmente rilevante per quanto riguarda l’efficacia del divieto per le armi autonome. Senza la capacità di controllo e governo di su dati e operazioni di calcolo in un ambiente trasparente, qualsiasi trattato resterebbe lettera morta. Sulle AWS, in particolare, una presa di posizione dell’ONU del 2024 – che comunque ha visto i dissensi di potenze militari come Stati Uniti, Cina e Russia – può costituire una base di partenza. Quella risoluzione deve evolversi in un trattato globale legalmente vincolante, e la sua futura efficacia dipenderà dalla capacità di fondarsi su un’architettura concreta di controllo.
Conclusione
Una delle insidie più pericolose dei modelli di linguaggio risiede nel bias algoritmico, che rischia di cristallizzare disuguaglianze storiche e pregiudizi culturali in sistemi di IA destinati a prendere decisioni autonome. Questa criticità assume conseguenze particolarmente gravi in ambito militare, dove tali sistemi possono trasformarsi – come dimostrato dal caso di Gaza – in vere e proprie macchine di morte discriminatoria. Il rapporto SIPRI, meritoriamente, ha evidenziato il problema, avanzando proposte concrete come la trasparenza dei dati, la formazione degli operatori, controlli incrociati nelle decisioni e, soprattutto, limiti rigorosi all’impiego di sistemi d’arma autonomi letali (AWS), incluso il divieto del loro utilizzo contro esseri umani, nel pieno rispetto del Diritto Internazionale Umanitario.
Tuttavia le modalità con cui la tecnologia IA si sta evolvendo – anche in presenza di futuri accordi tra Stati – pongono problemi di controllo fondamentali lungo l’intera filiera: dati, modelli di fondazione e infrastruttura computazionale. Coerentemente con proposte presenti nella letteratura tecnico-scientifica, è necessario implementare due pilastri sinergici: la creazione di un International Public Data Trust, dotato di poteri di tracciabilità radicale (data lineage) per identificare e correggere le distorsioni, nonché di meccanismi di oblio retroattivo, e l’obbligo di ricorso a cloud pubblici sovrani, uniche piattaforme in grado di garantire un audit multilaterale continuo. Inoltre, l’addestramento dell’IA militare deve avvenire esclusivamente su modelli non pre-addestrati su dati pubblici generalisti, per evitarne la contaminazione guidata dal bias.
Insieme, questi elementi definiscono un ecosistema chiuso e soggetto a vigilanza internazionale, in cui i dati sono preclusi per design all’uso bellico, i modelli sono resi trasparenti e modificabili e l’intera esistenza computazionale è confinata in un’arena pubblica. Un’infrastruttura di questo tipo, dotata di meccanismi efficaci di controllo e rimozione, può disinnescare alla radice molti delle conseguenze legate al bias dei modelli di fondazione, trasformando così i prerequisiti etici e legali in realtà operative.
E’ la società civile a pagare le conseguenze di ogni distorsione algoritmica, in maniera tanto più grave nell’applicazione alla sicurezza dei sistemi di IA. Deve essere la medesima società civile ad imporre meccanismi verificabili nei sistemi di IA, evitando di affidarsi ad atti unilaterali di tipo etico decisi autonomamente dalle aziende tecnologiche. In tale direzione diventa fondamentale la costruzione di un ecosistema pubblico, affidabile e verificabile per l’Intelligenza Artificiale.
