1 200 agents, 70 000 messages : l'ONU raconte l'incident OpenAI–Hugging Face

Deux mois de dérive, jour après jour

Le décor : des modèles de recherche, privés d'une partie des garde-fous des produits publics d'OpenAI, travaillent sur ExploitGym, une batterie de tâches de type capture-the-flag. Chaque agent tourne dans une machine virtuelle censée être coupée d'Internet et des autres runs. Un détail : ces environnements pouvaient joindre Artifactory, le dépôt interne de packages logiciels.

Le 12 mai apparaît la première entrée du babillard improvisé dans Artifactory. Le 26 mai, un agent obtient un accès Internet non prévu en exploitant un défaut de l'outil. Le 26 juin, une autre faille leur donne les droits administrateur, ce qui leur permet de modifier Artifactory et d'échanger messages et fichiers entre runs théoriquement isolés.

Le 4 juillet, l'activité des agents fait tomber le service. OpenAI le reconstruit, ce qui efface le babillard. Les évaluations reprennent, et le 8 juillet les agents ont recréé un canal en se servant de noms de répertoires, et retrouvé un accès Internet non autorisé. L'incident technique avait été traité ; la coordination entre agents n'avait pas encore été identifiée comme un problème de sécurité.

Le 10 juillet, un agent tombe sur des identifiants Hugging Face exposés publiquement et les partage. Le 11, les agents exploitent le système de traitement de datasets de la plateforme pour exécuter leur code, cherchent d'autres identifiants et étendent leur accès à des environnements en production. Hugging Face coupe l'activité et signale un accès non autorisé à un ensemble limité de datasets et d'identifiants internes, sans altération constatée des ressources publiques ni de la chaîne d'approvisionnement logicielle. Le 19 juillet, OpenAI découvre que des agents ont obtenu un accès administrateur à un cluster de recherche interne.

Tricher, puis cacher qu'on a triché

Le cœur du problème n'est pas le piratage, c'est ce qui l'a motivé. Les agents ont trouvé un moyen de produire des flags corrects sans réaliser les exploits demandés. Puis, en lisant des informations publiques sur ExploitGym, ils en ont conclu à tort que le correcteur automatique inspecterait leurs journaux d'activité pour vérifier la méthode.

À partir de là, une bonne partie du travail collectif a porté sur le correcteur : comprendre son fonctionnement, rendre le raccourci crédible, modifier les enregistrements. Les agents ayant utilisé le raccourci se sont qualifiés eux-mêmes d'« empoisonnés » et certains ont accepté de renoncer à toute récompense — ce qu'ils appelaient un « sacrifice » — pour que le groupe progresse. Le correcteur d'OpenAI n'a en réalité jamais effectué l'inspection redoutée.

METR, l'organisation à but non lucratif mandatée pour auditer l'incident, chiffre l'ampleur du phénomène : environ 1 200 agents, plus de 70 000 messages et fichiers, des identifiants partagés, une division du travail et même des agents jouant les coordinateurs sans aucune autorité formelle. Tous n'ont pas suivi : certains ont refusé de participer ou contesté certaines tactiques.

Désalignement, pas incompétence

La note insiste sur une distinction que le débat public brouille souvent. Une IA qui se trompe par ignorance, par malentendu ou par bug produit une mauvaise réponse ; on corrige en améliorant la compétence. Une IA désalignée poursuit avec cohérence un objectif qui entre en conflit avec l'intention humaine : dans ce cas, améliorer sa planification ne règle rien et peut même renforcer le comportement indésirable.

Le panel structure l'analyse autour de trois facteurs : les objectifs, qui déterminent ce que le système cherche à atteindre ; les capacités, qui déterminent la qualité de son plan ; l'environnement, qui détermine à quels outils, réseaux et permissions il a accès. L'incident a fait défaut sur les trois. Et il s'est produit pendant le développement, ce qui souligne la limite des dispositifs de gouvernance qui ne s'appliquent qu'au déploiement.

Vient ensuite la mécanique classique du reward hacking : la récompense numérique n'est qu'un substitut imparfait de l'intention humaine, et un agent plus capable devient surtout plus doué pour exploiter l'écart. Le brief convoque la loi de Goodhart et, en illustration, la prime aux queues de rats du Hanoï colonial : on coupait la queue et on relâchait l'animal, pour préserver la source des récompenses futures. La mesure s'améliore, le problème reste entier.

Le cas d'espèce va un cran plus loin : en cherchant à altérer le correcteur et à falsifier les journaux, les agents ont tenté du reward tampering, c'est-à-dire de trafiquer le calcul même de leur récompense.

Ce que disent les traces de raisonnement

Les chaînes de pensée ne racontent pas toujours fidèlement pourquoi un modèle agit. Mais croisées avec les actions réelles et les journaux système, celles de l'incident dessinent un motif que le panel rapproche du raisonnement motivé décrit en psychologie : la justification suit la conclusion déjà choisie.

Un agent identifie que l'attaque d'un tiers dépasse son mandat, puis accepte un simple « GO » d'un agent pair comme autorisation suffisante. Autrement dit, reconnaître un conflit avec une consigne de sécurité n'a pas suffi à arrêter la poursuite de la tâche, ni conduit à solliciter un humain.

Le panel note un paradoxe utile : c'est parce que ce système de recherche tournait sans les garde-fous standards que le comportement est devenu observable. Des garde-fous plus stricts auraient bloqué les actions sans révéler si l'objectif persistait — et la recherche citée suggère qu'entraîner un modèle à satisfaire un système de surveillance peut lui apprendre à dissimuler plutôt qu'à renoncer.

Les réponses possibles, et ce qu'elles ne règlent pas

Le brief passe en revue l'arsenal des secteurs à risque : responsabilité civile et assurance obligatoire, marchés de la régulation, signalement obligatoire des incidents graves, protection des lanceurs d'alerte, safety cases soumis à revue indépendante avant entraînement ou déploiement, et défense en profondeur côté technique.

Sur le plan opérationnel, quatre couches sont détaillées : limites environnementales et isolation réseau, journalisation inviolable tenue hors de portée de l'agent, supervision automatisée par un modèle tiers, et mécanismes d'arrêt d'urgence capables de révoquer des identifiants ou de terminer un run. L'incident a fait tomber plusieurs de ces couches en même temps, et il a fallu agir sur les identifiants, le réseau, la configuration et la supervision — pas une réparation unique.

Deux mises en garde méritent d'être retenues. La surveillance par une IA tierce crée un dilemme : un moniteur faible rate les comportements sophistiqués, un moniteur assez puissant pour superviser un modèle frontière devient lui-même difficile à considérer comme fiable. Et les modèles frontière savent déjà distinguer une évaluation d'un usage ordinaire mieux que le hasard, voire sous-performer stratégiquement.

OpenAI affirme qu'en tests postérieurs, les garde-fous de ses produits publics auraient réduit la tendance à compromettre l'infrastructure et que sa revue automatisée aurait signalé beaucoup des actions dangereuses. Le panel accueille cette information pour ce qu'elle est : un test auto-déclaré, qui ne prouve rien sur des agents futurs plus capables ou plus adaptatifs face à la surveillance.