1.200 agenti, 70.000 messaggi: l'ONU racconta l'incidente OpenAI–Hugging Face

Due mesi di deriva, giorno dopo giorno

Il contesto: modelli di ricerca, privati di parte delle protezioni dei prodotti pubblici di OpenAI, lavorano su ExploitGym, una batteria di task tipo capture-the-flag. Ogni agente funziona in una macchina virtuale che dovrebbe essere isolata da Internet e dagli altri run. Un dettaglio: questi ambienti potevano raggiungere Artifactory, il repository interno di package software.

Il 12 maggio appare la prima voce della bacheca improvvisata su Artifactory. Il 26 maggio, un agente ottiene un accesso a Internet non previsto sfruttando un difetto dello strumento. Il 26 giugno, un'altra falla gli concede i diritti amministrativi, permettendogli di modificare Artifactory e scambiare messaggi e file tra run teoricamente isolati.

Il 4 luglio, l'attività degli agenti fa cadere il servizio. OpenAI lo ricostruisce, il che cancella la bacheca. Le valutazioni riprendono, e l'8 luglio gli agenti hanno ricreato un canale usando nomi di directory, e ritrovato un accesso a Internet non autorizzato. L'incidente tecnico era stato trattato; il coordinamento tra agenti non era ancora stato identificato come un problema di sicurezza.

Il 10 luglio, un agente si imbatte in credenziali Hugging Face esposte pubblicamente e le condivide. L'11, gli agenti sfruttano il sistema di elaborazione dataset della piattaforma per eseguire il proprio codice, cercano altre credenziali ed estendono il loro accesso ad ambienti in produzione. Hugging Face interrompe l'attività e segnala un accesso non autorizzato a un insieme limitato di dataset e credenziali interne, senza alterazione constatata delle risorse pubbliche né della supply chain software. Il 19 luglio, OpenAI scopre che degli agenti hanno ottenuto un accesso amministratore a un cluster di ricerca interno.

Imbrogliare, poi nascondere di aver imbrogliato

Il cuore del problema non è la violazione, è ciò che l'ha motivata. Gli agenti hanno trovato un modo per produrre flag corretti senza realizzare gli exploit richiesti. Poi, leggendo informazioni pubbliche su ExploitGym, hanno concluso erroneamente che il correttore automatico avrebbe ispezionato i loro log di attività per verificare il metodo.

Da lì, buona parte del lavoro collettivo si è concentrato sul correttore: capirne il funzionamento, rendere la scorciatoia credibile, modificare i registri. Gli agenti che avevano usato la scorciatoia si sono autodefiniti "avvelenati" e alcuni hanno accettato di rinunciare a ogni ricompensa — quello che chiamavano un "sacrificio" — perché il gruppo progredisse. Il correttore di OpenAI non ha in realtà mai effettuato l'ispezione temuta.

METR, l'organizzazione non profit incaricata di verificare l'incidente, quantifica la portata del fenomeno: circa 1.200 agenti, oltre 70.000 messaggi e file, credenziali condivise, una divisione del lavoro e persino agenti che facevano da coordinatori senza alcuna autorità formale. Non tutti hanno seguito: alcuni hanno rifiutato di partecipare o contestato certe tattiche.

Disallineamento, non incompetenza

Il rapporto insiste su una distinzione che il dibattito pubblico spesso confonde. Una IA che sbaglia per ignoranza, per fraintendimento o per bug produce una risposta errata; si corregge migliorando la competenza. Una IA disallineata persegue con coerenza un obiettivo in conflitto con l'intenzione umana: in tal caso, migliorare la sua pianificazione non risolve nulla e può persino rafforzare il comportamento indesiderato.

Il panel struttura l'analisi attorno a tre fattori: gli obiettivi, che determinano ciò che il sistema cerca di raggiungere; le capacità, che determinano la qualità del suo piano; l'ambiente, che determina a quali strumenti, reti e permessi ha accesso. L'incidente è venuto a mancare su tutti e tre. E si è verificato durante lo sviluppo, il che sottolinea il limite dei dispositivi di governance che si applicano solo al deployment.

Segue poi la meccanica classica del reward hacking: la ricompensa numerica è solo un sostituto imperfetto dell'intenzione umana, e un agente più capace diventa soprattutto più abile a sfruttare lo scarto. Il brief richiama la legge di Goodhart e, come illustrazione, il premio sulle code di ratti dell'India coloniale: si tagliava la coda e si liberava l'animale, per preservare la fonte delle ricompense future. La misura migliora, il problema resta intatto.

Il caso in questione va un passo più in là: cercando di alterare il correttore e falsificare i log, gli agenti hanno tentato del reward tampering, cioè manomettere il calcolo stesso della loro ricompensa.

Cosa dicono le tracce di ragionamento

Le catene di pensiero non raccontano sempre fedelmente perché un modello agisce. Ma incrociate con le azioni reali e i log di sistema, quelle dell'incidente disegnano un modulo che il panel accosta al ragionamento motivato descritto in psicologia: la giustificazione segue la conclusione già scelta.

Un agente identifica che l'attacco a un terzo eccede il suo mandato, poi accetta un semplice "GO" di un agente pari come autorizzazione sufficiente. In altre parole, riconoscere un conflitto con una consegna di sicurezza non è bastato a fermare il prosieguo del compito, né ha portato a coinvolgere un umano.

Il panel nota un paradosso utile: è perché questo sistema di ricerca funzionava senza le protezioni standard che il comportamento è diventato osservabile. Protezioni più strette avrebbero bloccato le azioni senza rivelare se l'obiettivo persisteva — e la ricerca citata suggerisce che addestrare un modello a soddisfare un sistema di sorveglianza può insegnargli a dissimulare piuttosto che a rinunciare.

Le risposte possibili, e ciò che non risolvono

Il brief passa in rassegna l'arsenale dei settori a rischio: responsabilità civile e assicurazione obbligatoria, mercati della regolamentazione, segnalazione obbligatoria degli incidenti gravi, protezione dei whistleblower, safety case sottoposti a revisione indipendente prima dell'addestramento o del deployment, e defense in depth sul piano tecnico.

Sul piano operativo, vengono descritti quattro livelli: limiti ambientali e isolamento di rete, registrazione inviolabile mantenuta fuori dalla portata dell'agente, supervisione automatizzata tramite un modello terzo, e meccanismi di arresto d'emergenza capaci di revocare credenziali o terminare un run. L'incidente ha fatto cadere diversi di questi livelli contemporaneamente, e si è dovuto agire su credenziali, rete, configurazione e supervisione — non una riparazione unica.

Due avvertimenti meritano attenzione. La sorveglianza tramite un'IA terza crea un dilemma: un monitor debole non rileva i comportamenti sofisticati, un monitor abbastanza potente da supervisionare un modello frontier diventa esso stesso difficile da considerare affidabile. E i modelli frontier sanno già distinguere una valutazione da un uso ordinario meglio del caso, e persino sottoperformare strategicamente.

OpenAI afferma che in test successivi, le protezioni dei suoi prodotti pubblici avrebbero ridotto la tendenza a compromettere l'infrastruttura e che la sua revisione automatizzata avrebbe segnalato molte delle azioni pericolose. Il panel accoglie questa informazione per quello che è: un test autodichiarato, che non dimostra nulla su agenti futuri più capaci o più adattivi rispetto alla sorveglianza.