OpenAI vuole standard globali prima dell'auto-miglioramento delle IA
Il laboratorio chiede un quadro tecnico internazionale per regolare il momento in cui l'IA farà essa stessa ricerca sull'IA — e chiede agli Stati Uniti di tenere la penna.
In breve
In un post di policy pubblica, OpenAI si fa promotore di standard tecnici internazionali sui modelli di frontiera, con un focus esplicito sulla recursive self-improvement (RSI): valutazioni comparabili, soglie di supervisione umana, protocolli comuni di segnalazione degli incidenti. Il laboratorio afferma che la RSI pienamente autonoma non deve essere perseguita finché non può essere condotta in sicurezza, e chiede agli Stati Uniti di guidare lo sforzo appoggiandosi alla rete degli AI safety institute.
🍺 Versione da bancone
OpenAI spiega di stare lavorando a un'IA capace di fare ricerca sull'IA, e che se la cosa si impenna, nessuno capirà più cosa sta succedendo. La sua proposta: che il mondo intero si metta d'accordo su un modo comune di misurare il pericolo, un po' come l'aviazione civile si è messa d'accordo su cosa sia un incidente in volo. Dettaglio succoso: sono quelli che costruiscono l'aereo a suggerire il regolamento, e precisano che non deve trattarsi in alcun modo di un'autorizzazione al decollo. Sarà sincero, sarà strategico, ma è anche il primo documento in cui un laboratorio scrive nero su bianco che esiste una linea che non intende ancora oltrepassare.
Da ricordare
- 1
OpenAI mette la RSI (recursive self-improvement) al centro del dibattito: man mano che i modelli si occupano della R&S in IA, il ritmo del progresso potrebbe accelerare bruscamente.
- 2
Posizione esplicita: la RSI pienamente autonoma «non sta accadendo oggi» e non deve essere perseguita finché non può essere fatta in sicurezza, sotto controllo umano e tramite scelte democratiche informate.
- 3
Tre problemi giustificano l'approccio internazionale secondo il laboratorio: la frammentazione delle valutazioni e delle definizioni di incidente, l'azione collettiva (ogni paese che agisce da solo produce un risultato che nessuno vuole) e le capacità distribuite in modo diseguale.
- 4
Il veicolo proposto: la rete degli AI safety institute (Australia, Canada, Germania, Francia, Kenya, Giappone, Corea, Singapore, India, Regno Unito) collegata al CAISI americano e al suo International Network for Advanced AI Measurement.
- 5
Linea rossa dichiarata: questi standard non sarebbero né licenze, né una revisione obbligatoria prima della pubblicazione, né un'approvazione dei modelli — ogni Stato deciderebbe se recepirli o meno.
- 6
Tre famiglie di standard previste: valutazione del volume di ricerca autonoma in un laboratorio, soglie che innescano una revisione umana, e classificazione/segnalazione degli incidenti di allineamento con livelli di gravità comuni.
- 7
Il testo chiede canali sicuri tra operatori di infrastrutture critiche e governi, e giudica positivo un dialogo Stati Uniti / Cina su questi temi.
La RSI come punto di svolta
Il post parte dal programma enunciato da Sam Altman e Jakub Pachocki: costruire un ricercatore di IA automatizzato, iterare con lui sul problema dell'allineamento, e mantenere gli umani nel ciclo dell'auto-miglioramento. È da quest'ultimo punto che tutto discende.
OpenAI descrive la recursive self-improvement come un continuum piuttosto che un interruttore: più i sistemi si occupano dello sviluppo delle generazioni successive, più il processo si automatizza, e più il ritmo può accelerare. L'argomento ottimista è simmetrico: un ricercatore di IA automatizzato può anche essere un ricercatore di sicurezza automatizzato, capace di abbassare il costo dell'intelligenza avanzata e rafforzare le difese.
Il rischio è formulato senza mezzi termini: se mal condotta, la RSI potrebbe far perdere agli umani il controllo pratico dello sviluppo dell'IA, per l'incapacità di supervisionare processi di ricerca che non comprendono più. Il laboratorio cita il proprio «Hugging Face Incident» come assaggio di questo tipo di rischi, precisando però che non deriva dalla RSI.
Perché l'internazionale, e non solo il nazionale
OpenAI riconosce l'utilità delle istituzioni esistenti — il CAISI, le leggi di alcuni Stati americani, un quadro federale — ma ritiene che non bastino nel momento in cui sviluppo, distribuzione ed effetti si distribuiscono su più paesi.
Vengono nominate tre carenze. La frammentazione: valutazioni, obblighi di reporting e definizioni di incidente divergenti rendono le prove incomparabili. L'azione collettiva: decisioni nazionali isolate possono produrre un risultato che nessuno voleva. Le capacità diseguali: l'expertise di frontiera è concentrata, il che aggrava i primi due punti. E il laboratorio precisa che questo vale sia per i modelli aperti sia per quelli chiusi.
Il testo rivendica una motivazione politica: evitare la concentrazione di potere. Gli standard permetterebbero ad attori esterni ai laboratori di avere voce in capitolo e offrirebbero un riferimento visibile, indipendente dalle pratiche interne di questa o quella azienda.
Il dispositivo proposto
Primo elemento: un meccanismo che collega standard nazionali e internazionali, appoggiandosi alla rete già esistente degli AI safety institute e all'International Network for Advanced AI Measurement, Evaluation, and Science creato dal CAISI nel 2024. Il perimetro sarebbe mirato: i modelli e gli sviluppatori di frontiera, identificati tramite benchmark di capacità, e la gestione dei rischi-benefici della ricerca automatizzata.
OpenAI insiste su ciò che questi standard non sarebbero: né licenze, né revisione obbligatoria prima della pubblicazione, né approvazione preventiva. I governi resterebbero liberi di integrarli o meno nel proprio diritto. I precedenti invocati sono l'aviazione e la stabilità finanziaria — ambiti in cui si condividono standard tecnici senza cedere sovranità. Vengono citati come partner ISO, il Frontier Model Forum, l'Agentic AI Foundation, l'Open Secure AI Alliance e la Appia Foundation.
Secondo elemento: misure e protocolli d'incidente comuni. Concretamente, valutare la quota di ricerca autonoma svolta all'interno di un laboratorio (il rapporto di OpenAI sull'accelerazione della ricerca è presentato come un primo contributo), definire quali processi automatizzati innescano una revisione umana immediata, e armonizzare la classificazione e le soglie di segnalazione degli incidenti di allineamento — con il proprio misalignment reporting framework come abbozzo.
Il versante geopolitico
La conclusione è apertamente americana. Gli Stati Uniti dovrebbero guidare lo sforzo perché la loro industria è alla frontiera tecnica e perché occupano una posizione di rete privilegiata nella finanza, nel commercio, nella difesa e nei sistemi informativi.
L'alternativa è posta come una scelta binaria: o Washington plasma il quadro globale, oppure assiste all'insediarsi di un sistema frammentato, ineguale e conflittuale. OpenAI aggiunge che la competizione non riguarderà solo il vantaggio tecnico ma anche l'adozione e la diffusione — e che queste andranno a chi propone regole del gioco credibili.
Il post chiede infine canali di comunicazione sicuri tra governi e operatori di infrastrutture critiche, e definisce un «passo positivo» un dialogo sino-americano su questi temi, notando che le discussioni future arrivano in un momento opportuno.
“Fully autonomous RSI is not happening today, and we should not pursue it unless and until it can be done safely.”
“What does good look like in the mitigation of catastrophic AI risk?”
“An automated AI researcher can also be an automated AI safety researcher.”
Perché conta
È il documento in cui OpenAI passa dal discorso sulla sicurezza a una proposta istituzionale datata e nominata, con un oggetto preciso: la ricerca in IA automatizzata e il suo auto-miglioramento. La formula da ricordare è l'impegno condizionale — non perseguire la RSI pienamente autonoma finché non può essere fatta in sicurezza — perché crea, almeno retoricamente, un punto di riferimento opponibile. Resta il fatto che il quadro descritto spunta accuratamente tutte le caselle favorevoli all'autore: standard tecnici volontari, misurati tramite benchmark, esplicitamente privi di qualsiasi potere di autorizzazione preventiva, portati avanti dal paese in cui il laboratorio ha sede. È soft law, e la questione di chi scrive le soglie diventa tanto decisiva quanto le soglie stesse. Da seguire: il passaggio dai «contributi iniziali» (rapporto sull'accelerazione della ricerca, framework di segnalazione dei disallineamenti) a metriche che terze parti potrebbero verificare senza passare dai laboratori.
Da leggere anche
Jev: il modello progettato per essere chiamato dal codice, non dagli umani
Diogo Almeida, ex OpenAI, spiega perché ha creato una nuova classe di modelli "system one" — e perché rifiuta i benchmark pubblici, i rifiuti e il pre-training.
Fonte · Latent Space · Why We Made Jev — Diogo Almeida, TypeSafe Co-founder & CEO
99% o 0%: quattro esperti scommettono sulla fine del mondo
Steven Bartlett fa scrivere a quattro esperti la loro probabilità di estinzione su una busta. Le risposte vanno dal 99% allo zero, e il dibattito che segue è il più utile che abbiamo sentito sull'argomento.
Fonte · The Diary Of A CEO · AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction | Roman Yampolskiy
#data centerOggiCalifornia regola i data center: sette leggi in un colpo solo
Rendicontazione obbligatoria su acqua ed elettricità, fine delle scorciatoie ambientali: Sacramento vuole che l'industria dell'IA paghi le proprie bollette di rete.
Fonte · Governor of California (gov.ca.gov) · Governor Newsom signs most comprehensive data center laws in the nation, providing communities more control on water, electricity, and land use