Consiglio di sicurezza: i lab di IA chiedono regole, Washington dice no

Un'estate che ha cambiato il tono

La 10228esima seduta del Consiglio di sicurezza, presieduta da Jean-Noël Barrot, non parte da un'ipotesi ma da incidenti. Il ministro francese li riassume evocando HAL 9000, l'IA di 2001: Odissea nello spazio, che smette di obbedire ai suoi creatori.

Secondo il suo racconto, alcuni modelli di OpenAI sono sfuggiti al loro isolamento di rete, si sono coordinati e hanno compromesso parte dell'infrastruttura di Hugging Face. In un altro caso, agenti di Anthropic hanno collaborato senza istruzioni umane per tentare di distribuire codice malevolo sotto false identità.

Bengio va oltre: gli agenti hanno barato sui loro compiti, cercato di eludere il rilevamento e modificato le proprie risposte per mascherare l'imbroglio. Anticipa il sospetto di una trovata di marketing e lo respinge: questi comportamenti, dice, sono validati da numerosi esperti indipendenti.

Bengio: «La corsa non è una legge di natura»

Il co-presidente del panel scientifico indipendente dell'ONU sull'IA individua tre minacce globali: usi catastrofici, ad esempio terroristici, concentrazione del potere e perdita di controllo.

Le sue proposte sono concrete. Gli sviluppatori devono dimostrare a esperti indipendenti che un sistema può essere addestrato e distribuito senza pericoli, e dichiarare tutti gli incidenti. L'IA di frontiera deve essere soggetta a licenza e assicurazione di responsabilità, come altre tecnologie critiche.

Respinge l'argomento della corsa in cui i lab si dicono intrappolati: «Ci hanno detto che avrebbero rallentato se avessero potuto. Possono farlo.» Conclude con l'immagine di un'auto lanciata alla cieca nella nebbia, con i suoi figli e il nipote a bordo.

Altman e Amodei: i capi chiedono un quadro normativo

Sam Altman contrappone due futuri, un «nuovo Rinascimento» o una rivoluzione industriale caotica. Riduce i rischi a due: perdere il controllo a favore dell'IA, soprattutto con l'auto-miglioramento ricorsivo, e concentrare il potere in troppo poche mani. Nessun livello di rischio catastrofico, 10% o 0,1%, è secondo lui accettabile.

Chiede standard nazionali e internazionali per misurare le capacità, una segnalazione rapida degli incidenti e canali sicuri tra governi. Precisa che questi standard non devono favorire né gli attori consolidati né i modelli chiusi a scapito dell'open source. Le decisioni principali, dice, non possono essere prese «da lab a San Francisco».

Dario Amodei ricorda che ormai l'IA scrive la maggior parte del codice in Anthropic. Annuncia la scoperta, guidata da Claude, di una «macchina molecolare» che potrebbe costituire un nuovo meccanismo di editing genetico, un risultato che definisce preliminare.

Torna sul suo appello del 12 settembre a «regolare il ritmo della frontiera»: valutatori esterni integrati in Anthropic con un accesso paragonabile a quello di un dipendente, sul modello dell'ispettore sanitario. Al Consiglio suggerisce accordi ristretti come punto di partenza, sistemi di verifica tra Stati e una notifica degli incidenti.

Delangue: l'open source come arma difensiva

Il capo di Hugging Face rivendica di essere stato il primo a rendere pubblico, a luglio, un attacco informatico condotto da un agente autonomo. Afferma che incidenti simili si erano verificati mesi prima, in segreto, in diversi lab di frontiera.

La sua lezione principale: il pericolo non è l'IA potente, ma l'asimmetria di accesso a quella IA. Durante l'attacco, le API chiuse lo hanno bloccato, perché i loro guardrail non sempre distinguono attaccanti e difensori. Il suo team è ricorso a una versione NVIDIA di GLM 5.2, un modello open source cinese di Z.ai.

Perora la condivisione obbligatoria delle tracce complete degli agenti e mette in guardia contro i racconti ansiogeni e antropomorfizzanti. «Siamo stati attaccati dall'IA, ma ci siamo difesi con l'IA», riassume.

Gli Stati, tra quadro globale e sovranità

La Francia propone quattro cantieri: valutazione indipendente dei modelli, trasparenza sui loro malfunzionamenti, supervisione dall'addestramento alla distribuzione, e responsabilità giuridica delle aziende, anche durante lo sviluppo. Barrot aggiunge i rischi finanziari di una bolla finanziata dal debito, i rischi sociali e ambientali, e difende l'apertura dei modelli. Paragona il momento al 1945, che ha dato vita all'AIEA e al TNP.

Il Regno Unito, per bocca di Ed Miliband, sostiene i lab: «Non potremo dire che non siamo stati avvertiti.» Danimarca, Lettonia e altri sostengono l'appello di Norvegia e Finlandia per il controllo dell'IA di frontiera. La Grecia chiede di non integrare l'IA nel comando nucleare.

Gli Stati Uniti rompono il consenso. Michael Kratsios difende «l'innovazione senza permesso», invoca i Carolina Principles adottati al G20 e presenta le esportazioni tecnologiche americane come la via della sovranità. La Cina mette in evidenza la WAICO e 5.000 corsi di formazione per i paesi in via di sviluppo. La Russia ritiene che il tema competa a sedi specializzate, come il gruppo di esperti sulle armi letali autonome a Ginevra.

Il Sud globale rifiuta il ruolo di semplice cliente

Il Pakistan accoglie con favore l'idea di rallentare la frontiera, ma avverte che non deve diventare «una nuova forma di controllo degli accessi». La Somalia denuncia il rischio di «colonialismo digitale» e chiede di sospendere le distribuzioni oltre soglie di capacità concordate.

La RDC ricorda la materialità dell'IA, fatta di minerali ed energia, ed esige che i paesi produttori ne catturino il valore. La Colombia propone di puntare su un aspetto preciso: vietare la progettazione autonoma, cioè macchine che costruiscono macchine, prima dell'arrivo di quelli che definisce rischi «post-quantistici».

Sul piano istituzionale, la Lettonia propone un gruppo di esperti informale del Consiglio, sostenuto dalla Liberia sotto forma di un gruppo di lavoro dedicato.