“Le grandi potenze sono impegnate nella corsa alla militarizzazione dell’intelligenza artificiale”. Pubblichiamo qui un riassunto della relazione al convegno “Nuclear Weapons: New Risks” degli scienziati per il disarmo in programma a Castiglioncello il 21 e 22 ottobre.
Qui di seguito Sbilanciamoci pubblica, per gentile concessione dell’autore, una anticipazione della relazione “Nuclear Weapons and the Militarisation of AI” del professor Guglielmo Tamburrini al convegno: Castiglioncello International Conference (21-22 ottobre) dedicata a “Nuclear Weapons: New Risks” e organizzata dalle Pugwash Conferences on Science and World Affairs e dall’Unione degli Scienziati Per Il Disarmo (USPID).
Collaborano all’organizzazione dell’evento il Comune di Rosignano Marittimo, il Centro Interdisciplinare di Scienze per la Pace dell’Università di Pisa, il Centro Interdipartimentale di Ricerche per la Pace dell’Università di Bari e il Gruppo Interdisciplinare su Scienza, Tecnologia e Società dell’Area della Ricerca di Pisa del CNR.
Per ulteriori informazioni, programma e iscrizione si rimanda al sito web del convegno: https://uspid.org/cast2022/
Le grandi potenze sono impegnate in una corsa alla militarizzazione dell’intelligenza artificiale (IA). Vladimir Putin ha affermato che chi diventerà leader nel campo dell’IA sarà il padrone del mondo. Il piano del Consiglio di Stato cinese per lo sviluppo dell’IA ne auspica un impiego diffuso per l’innovazione della difesa nazionale. E il rapporto della Commissione sull’IA per la sicurezza nazionale degli Stati Uniti (NSCAI), pubblicato nel 2021, dà per scontato che l’IA sarà utilizzata in modo capillare nella condotta delle operazioni belliche. Per quanto riguarda le armi nucleari, la Commissione NSCAI raccomanda di utilizzare l’IA al fine di migliorare il rilevamento precoce (early warning) di missili armati con testate nucleari e lanciati verso il territorio degli Stati Uniti o dei loro alleati (a p. 104, nota 22, dello stesso rapporto).
Quali sono i vantaggi attesi da una crescente automazione “intelligente” dei sistemi di early warning nucleare? Si spera soprattutto di velocizzare e perfezionare l’elaborazione dei dati raccolti sul campo, guadagnando tempo prezioso da mettere a disposizione di chi deve stabilire se un attacco nucleare sia veramente in corso e deliberare tempestivamente sulle contromisure da mettere in atto. Ma a fronte di vantaggi ipotetici di questo genere, è necessario evidenziare i nuovi rischi che emergono utilizzando l’IA per l’early warning nucleare. A cominciare dalla possibilità che un sistema dell’IA segnali un falso allarme di attacco nucleare.
Rischio di classificazioni errate
Il successo dell’IA nell’ultimo decennio è principalmente legato allo sviluppo di sistemi capaci di apprendere dall’esperienza e di superare, grazie all’apprendimento automatico, le prestazioni degli esseri umani in svariati ambiti applicativi. Per addestrare un sistema IA a eseguire un certo compito (per esempio a distinguere situazioni di lancio di un missile da situazioni nelle quali il lancio non è avvenuto), si fa di solito affidamento sulla disponibilità di quantità imponenti di dati rilevanti, i cosiddetti “big data”. Ma la scarsità di dati reali su eventi di lancio di missili armati con testate nucleari può ridurre l’efficacia dell’addestramento e la capacità del sistema a svolgere correttamente il compito. Ecco una prima difficoltà per l’uso dell’IA nell’early warning nucleare.
C’è però una seconda fonte di rischio da considerare. Un buon processo di addestramento non esclude che il sistema commetta degli errori. La possibilità di errori è connaturata alle classificazioni e alle decisioni statistiche prese dai migliori sistemi che l’IA consente attualmente di sviluppare. Ma un errore commesso nell’early warning nucleare, per quanto raro, può avere conseguenze esistenziali per tutta l’umanità. La falsa rilevazione di un lancio di missili può innescare come reazione un uso ingiustificato e catastrofico delle armi nucleari; la mancata rilevazione di un vero lancio può impedire ogni forma residua di difesa e protezione.
Una terza fonte di rischio è legata alla difficoltà di interpretare i processi di elaborazione dell’informazione di un sistema dell’IA e di capire le ragioni a supporto delle sue risposte. Le persone che rivestono responsabilità di comando e controllo sui sistemi nucleari di difesa dovrebbero agire in base a un’adeguata comprensione di tali processi, invece di fidarsi ciecamente delle risposte fornite dalla macchina. Ma i processi di elaborazione dell’informazione dei migliori sistemi dell’IA oggi disponibili sono poco trasparenti e difficilmente interpretabili da utenti e decisori umani – nonostante le ricerche in corso in corso e gli interessanti risultati di un intero settore, la cosiddetta XAI (eXplainable Artificial Intelligence), che si propone di mitigare l’opacità degli attuali sistemi dell’IA.
Ricordiamo infine una quarta fonte di rischio. Un sistema dell’IA può commettere errori sorprendenti e controintuitivi, che un operatore umano evita senza problema alcuno. Questo tipo di fragilità è stato riscontrato anche al di fuori dei laboratori di ricerca, in sistemi dell’IA che nel mondo reale eseguono compiti di riconoscimento visivo. Alterando l’illuminazione di un segnale stradale di stop – in modo appena percettibile e ininfluente per la visione umana – un sistema di IA lo ha erroneamente classificato come un segnale di limite di velocità. Per riuscire a ingannare in questo modo il sistema dell’IA , sono state impiegate delle attrezzature poco costose e facilmente reperibili: un proiettore, una fotocamera e un computer portatile. Analoghe manipolazioni della scena percettiva (sistematicamente studiate nell’ambito della cosiddetta IA antagonista, adversarial AI o adversarial machine learning) potrebbero essere sfruttate per indurre dei sistemi di early warning basati sull’IA a commettere errori di classificazione.
In definitiva, vi sono dubbi fondati sull’affidabilità dei sistemi dell’IA per l’early warning nucleare, dove un errore di classificazione, per quanto raro, può avere conseguenze catastrofiche per l’umanità tutta. La proposta di utilizzare i sistemi di IA in questo ambito non deve e non può essere accettata acriticamente.
Altri impatti dell’IA sulla stabilità nucleare
I sistemi di IA vengono utilizzati per generare dati sintetici chiamati deepfake, un neologismo inglese che fonde l’espressione deep learning (che si riferisce a una metodologia particolarmente efficace per lo sviluppo di sistemi dell’IA) e la parola fake (falso). Ben noti sono i video deepfake che simulano piuttosto fedelmente la voce e la gestualità di vari leader di potenze nucleari – Barack Obama, Donald Trump e Vladimir Putin – mettendo sulle loro labbra affermazioni che non hanno mai pronunciato. Video di questo genere, che diventano sempre più realistici e ingannevoli, sono una fonte di idee sbagliate e dubbi sulla coerenza e sulla razionalità dei comportamenti dei leader politici. Per questo motivo, i deepfake possono contribuire a minare l’efficacia delle politiche di dissuasione o deterrenza nucleare, che sono volte a scoraggiare il primo impiego delle armi nucleari con la minaccia di ritorsione nucleare da parte dell’avversario. L’attendibilità di una minaccia di ritorsione nucleare dipende in misura non trascurabile dall’immagine pubblica e dalla credibilità delle intenzioni dei leader politici che la preannunciano.
Le attuali strategie di dissuasione nucleare si basano anche sul dispiegamento dei sottomarini armati di missili nucleari. Poiché sono difficilmente tracciabili e neutralizzabili nel corso della loro navigazione in profondità, questi sistemi difensivi possono sfuggire a un primo attacco nucleare ed essere utilizzati successivamente come strumenti di ritorsione nucleare. Ma la loro capacità di sottrarsi al tracciamento potrebbe essere rapidamente compromessa dallo sviluppo di mezzi sottomarini senza equipaggio, le cui capacità di navigazione autonoma sono abilitate da sistemi dell’IA (si veda per esempio il progetto Orca della marina militare statunitense). Questi sottomarini senza equipaggio possono perlustrare in autonomia le profondità marine, per individuare, seguire ed eventualmente colpire i sottomarini armati di missili nucleari.
Ricordiamo infine che la corsa alla militarizzazione dell’IA è stata inizialmente alimentata dalla progettazione di sistemi d’arma autonomi. Si tratta di armi convenzionali basate sull’IA, che sono capaci di selezionare e attaccare un obiettivo senza l’intervento di un operatore umano. Sono dotati di questa forma di autonomia, per esempio, alcuni velivoli senza pilota che ricadono nella categoria dei “droni suicidi”, della quale si discute anche in relazione alla guerra in Ucraina. Le armi autonome sollevano serie preoccupazioni di tipo etico-giuridico, che riguardano sia la delega a una macchina di decisioni di vita o di morte, sia violazioni del diritto internazionale umanitario perpetrate nel corso di un conflitto da una macchina, ma proprio per questo senza responsabilità chiare da attribuire agli operatori umani. Per quanto riguarda il collegamento tra armi autonome e armi nucleari, alcuni analisti hanno osservato che le armi autonome potrebbero conferire notevoli vantaggi militari a chi le impiega, spingendo un nemico dotato di armi nucleari a minacciare l’uso di armi nucleari per evitare la sconfitta.
Petrov e la militarizzazione dell’IA
La decisione storica presa dal tenente colonnello Stanislav Petrov il 26 settembre 1983 fornisce una lezione duratura sui rischi nucleari derivanti dagli sviluppi tecnologici volti ad automatizzare i sistemi di allerta nucleare. Quel giorno, il sistema sovietico di early warning OKO segnalò un attacco nucleare sferrato con cinque missili in arrivo dagli Stati Uniti e diretti sul territorio sovietico. Nei pochi minuti a sua disposizione, Petrov si convinse che il responso di OKO era solo un falso positivo e perciò si astenne dal trasmettere la segnalazione di attacco ai suoi superiori. Come si appurò più tardi, OKO aveva scambiato degli inusuali riflessi di luce solare sulle nuvole per tracce dei motori di cinque missili. Commentando alcuni anni dopo l’episodio e i processi mentali che gli consentirono di sventare una guerra nucleare e di salvare l’umanità dalle sue conseguenze devastanti, Petrov osservò che “se si dà inizio una guerra, non lo si fa lanciando solo cinque missili”. Questo è un caso esemplare di ragionamento umano basato sul buon senso, su conoscenze di contesto e di sfondo che sono difficilmente accessibili a una macchina. Gli attuali sistemi dell’IA non hanno analoghe capacità, dimostrandosi fragili in situazioni mutevoli che non rispettano quei vincoli al contorno che gli ingegneri solitamente impongono per preservare il buon funzionamento dei loro sistemi.
In definitiva, i rischi legati all’intreccio tra IA e armi nucleari evidenziano ancora una volta i limiti delle politiche di dissuasione nucleare basate sulla distruzione reciproca assicurata e rafforzano le ragioni profonde per sostenere la necessità di una riduzione progressiva degli armamenti nucleari, fino ad arrivare a un vero e proprio disarmo nucleare. Questa prospettiva di più lungo periodo deve essere accompagnata fin d’ora da un impegno costante della comunità degli informatici. Nel solco di quanto fisici, chimici e biologi hanno fatto e continuano a fare per evidenziare e mitigare i rischi posti dalle armi di distruzione di massa, gli informatici sono oggi chiamati ad agire per sensibilizzare l’opinione pubblica e i decisori politici rispetto ai nuovi rischi di destabilizzazione nucleare collegati all’IA.
