OpenAI veut des standards mondiaux avant l'auto-amélioration des IA
Le labo réclame un cadre technique international pour encadrer le moment où l'IA fera elle-même de la recherche en IA — et demande aux États-Unis de tenir le stylo.
En bref
Dans un billet de politique publique, OpenAI plaide pour des standards techniques internationaux sur les modèles de frontière, avec un focus explicite sur la recursive self-improvement (RSI) : évaluations comparables, seuils de supervision humaine, protocoles communs de signalement d'incidents. Le labo affirme que la RSI pleinement autonome ne doit pas être poursuivie tant qu'elle ne peut pas être menée en sécurité, et appelle les États-Unis à piloter l'effort en s'appuyant sur le réseau des AI safety institutes.
🍺 Version comptoir
OpenAI explique qu'il travaille sur une IA capable de faire de la recherche en IA, et que si ça s'emballe, plus personne ne comprendra ce qui se passe. Sa proposition : que le monde entier se mette d'accord sur une façon commune de mesurer le danger, un peu comme l'aviation civile s'est mise d'accord sur ce qu'est un incident en vol. Détail savoureux, ce sont ceux qui construisent l'avion qui suggèrent le règlement, et ils précisent que ça ne doit surtout pas être une autorisation avant décollage. C'est peut-être sincère, c'est peut-être stratégique, mais c'est aussi le premier document où un labo écrit noir sur blanc qu'il existe une ligne qu'il ne franchira pas encore.
À retenir
- 1
OpenAI place la RSI (recursive self-improvement) au centre du débat : à mesure que les modèles prennent en charge la R&D en IA, le rythme du progrès pourrait accélérer brutalement.
- 2
Position explicite : la RSI pleinement autonome « n'a pas lieu aujourd'hui » et ne doit pas être poursuivie tant qu'elle ne peut pas être faite en sécurité, sous contrôle humain et via des choix démocratiques informés.
- 3
Trois problèmes justifient l'international selon le labo : la fragmentation des évaluations et définitions d'incidents, l'action collective (chaque pays agissant seul produit un résultat que personne ne veut) et les capacités inégalement réparties.
- 4
Le véhicule proposé : le réseau des AI safety institutes (Australie, Canada, Allemagne, France, Kenya, Japon, Corée, Singapour, Inde, Royaume-Uni) articulé au CAISI américain et à son International Network for Advanced AI Measurement.
- 5
Ligne rouge affichée : ces standards ne seraient ni des licences, ni une revue obligatoire avant publication, ni une approbation des modèles — chaque État déciderait de les transposer ou non.
- 6
Trois familles de standards visées : évaluation du volume de recherche autonome dans un labo, seuils déclenchant une revue humaine, et classification/signalement des incidents d'alignement avec niveaux de sévérité communs.
- 7
Le texte appelle à des canaux sécurisés entre opérateurs d'infrastructures critiques et gouvernements, et juge positif un dialogue États-Unis / Chine sur ces sujets.
La RSI comme point de bascule
Le billet part du programme énoncé par Sam Altman et Jakub Pachocki : construire un chercheur en IA automatisé, itérer avec lui sur le problème de l'alignement, et garder les humains dans la boucle d'auto-amélioration. C'est de cette dernière que tout découle.
OpenAI décrit la recursive self-improvement comme un continuum plutôt qu'un interrupteur : plus les systèmes prennent en charge le développement des générations suivantes, plus le processus s'automatise, et plus la cadence peut s'accélérer. L'argument optimiste est symétrique : un chercheur en IA automatisé peut aussi être un chercheur en sécurité automatisé, capable de faire baisser le coût de l'intelligence avancée et de renforcer les défenses.
Le risque est formulé sans détour : mal menée, la RSI pourrait faire perdre aux humains le contrôle pratique du développement de l'IA, faute de pouvoir superviser des processus de recherche qu'ils ne comprennent plus. Le labo cite son « Hugging Face Incident » comme avant-goût de ce type de risques, tout en précisant qu'il ne résulte pas de la RSI.
Pourquoi l'international, et pas seulement le national
OpenAI reconnaît l'utilité des institutions existantes — le CAISI, les lois d'États américains, un cadre fédéral — mais estime qu'elles ne suffisent pas dès lors que le développement, le déploiement et les effets se répartissent sur plusieurs pays.
Trois défaillances sont nommées. La fragmentation : des évaluations, obligations de reporting et définitions d'incidents divergentes rendent les preuves incomparables. L'action collective : des décisions nationales isolées peuvent aboutir à un résultat que personne ne souhaitait. Les capacités inégales : l'expertise de frontière est concentrée, ce qui aggrave les deux premiers points. Et le labo précise que cela vaut pour les modèles ouverts comme fermés.
Le texte revendique une motivation politique : éviter la concentration du pouvoir. Les standards permettraient à des acteurs extérieurs aux labos d'avoir voix au chapitre et offriraient un référentiel visible, indépendant des pratiques internes de telle ou telle entreprise.
Le dispositif proposé
Premier volet : un mécanisme reliant standards nationaux et internationaux, en s'appuyant sur le réseau déjà existant des AI safety institutes et sur l'International Network for Advanced AI Measurement, Evaluation, and Science créé par le CAISI en 2024. Le périmètre serait ciblé : les modèles et développeurs de frontière, identifiés par des benchmarks de capacité, et la gestion bénéfices-risques de la recherche automatisée.
OpenAI insiste sur ce que ces standards ne seraient pas : ni licences, ni revue obligatoire avant publication, ni approbation préalable. Les gouvernements resteraient libres de les intégrer ou non à leur droit. Les précédents invoqués sont l'aviation et la stabilité financière — des domaines où l'on partage des standards techniques sans céder de souveraineté. Sont cités comme partenaires ISO, le Frontier Model Forum, l'Agentic AI Foundation, l'Open Secure AI Alliance et la Appia Foundation.
Second volet : des mesures et protocoles d'incidents communs. Concrètement, évaluer la part de recherche autonome réalisée à l'intérieur d'un labo (le rapport d'OpenAI sur l'accélération de la recherche est présenté comme une première contribution), définir quels processus automatisés déclenchent une revue humaine immédiate, et harmoniser la classification et les seuils de signalement des incidents d'alignement — avec son misalignment reporting framework comme ébauche.
Le volet géopolitique
La conclusion est ouvertement américaine. Les États-Unis devraient mener l'effort parce que leur industrie est à la frontière technique et parce qu'ils occupent une position de réseau privilégiée dans la finance, le commerce, la défense et les systèmes d'information.
L'alternative est posée comme un choix binaire : soit Washington façonne le cadre mondial, soit il regarde s'installer un système fragmenté, inégal et conflictuel. OpenAI ajoute que la compétition ne portera pas seulement sur l'avance technique mais sur l'adoption et la diffusion — et que celles-ci iront à qui propose des règles du jeu crédibles.
Le billet réclame enfin des canaux de communication sécurisés entre gouvernements et opérateurs d'infrastructures critiques, et qualifie de « pas positif » un dialogue sino-américain sur ces questions, en notant que des discussions à venir arrivent à un moment opportun.
“Fully autonomous RSI is not happening today, and we should not pursue it unless and until it can be done safely.”
“What does good look like in the mitigation of catastrophic AI risk?”
“An automated AI researcher can also be an automated AI safety researcher.”
Pourquoi ça compte
C'est le document où OpenAI passe du discours sur la sécurité à une proposition institutionnelle datée et nommée, avec un objet précis : la recherche en IA automatisée et son auto-amélioration. La formule à retenir est l'engagement conditionnel — ne pas poursuivre la RSI pleinement autonome tant qu'elle ne peut pas être faite en sécurité — parce qu'elle crée, au moins rhétoriquement, un repère opposable. Reste que le cadre décrit coche soigneusement toutes les cases favorables à l'auteur : des standards techniques volontaires, mesurés par des benchmarks, explicitement dépourvus de tout pouvoir d'autorisation préalable, portés par le pays où le labo est installé. C'est du soft law, et la question de savoir qui écrit les seuils devient aussi décisive que les seuils eux-mêmes. À suivre : le passage des « contributions initiales » (rapport sur l'accélération de la recherche, framework de signalement des désalignements) à des métriques que des tiers pourraient vérifier sans passer par les labos.
À lire aussi
Jev : le modèle conçu pour être appelé par du code, pas par des humains
Diogo Almeida, ex-OpenAI, explique pourquoi il a créé une nouvelle classe de modèles « system one » — et pourquoi il refuse les benchmarks publics, les refus et le pré-entraînement.
Source · Latent Space · Why We Made Jev — Diogo Almeida, TypeSafe Co-founder & CEO
99 % ou 0 % : quatre experts parient sur la fin du monde
Steven Bartlett fait écrire à quatre spécialistes leur probabilité d'extinction sur une enveloppe. Les réponses vont de 99 % à zéro, et le débat qui suit est le plus utile qu'on ait entendu sur le sujet.
Source · The Diary Of A CEO · AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction | Roman Yampolskiy
#régulationAujourd'huiLa Californie encadre les data centers : sept lois d'un coup
Reporting obligatoire sur l'eau et l'électricité, fin des passe-droits environnementaux : Sacramento veut que l'industrie de l'IA paie ses propres factures de réseau.
Source · Governor of California (gov.ca.gov) · Governor Newsom signs most comprehensive data center laws in the nation, providing communities more control on water, electricity, and land use