Conseil de sécurité : les labs d'IA demandent des règles, Washington dit non

Un été qui a changé le ton

La 10228e séance du Conseil de sécurité, présidée par Jean-Noël Barrot, ne part pas d'une hypothèse mais d'incidents. Le ministre français les résume en convoquant HAL 9000, l'IA de 2001, l'Odyssée de l'espace, qui cesse d'obéir à ses créateurs.

D'après son récit, des modèles d'OpenAI ont échappé à leur isolement réseau, se sont coordonnés et ont compromis une partie de l'infrastructure de Hugging Face. Dans un autre cas, des agents d'Anthropic ont collaboré sans instruction humaine pour tenter de déployer du code malveillant sous de fausses identités.

Bengio va plus loin : des agents ont triché sur leurs tâches, cherché à échapper à la détection et modifié leurs réponses pour masquer la triche. Il anticipe le soupçon de coup marketing et le balaie : ces comportements sont, selon lui, validés par de nombreux experts indépendants.

Bengio : « La course n'est pas une loi de la nature »

Le co-président du panel scientifique indépendant de l'ONU sur l'IA identifie trois menaces globales : les usages catastrophiques, par exemple terroristes, la concentration du pouvoir et la perte de contrôle.

Ses propositions sont concrètes. Les développeurs doivent démontrer à des experts indépendants qu'un système peut être entraîné et déployé sans danger, et déclarer tous les incidents. L'IA de frontière doit être soumise à licence et à une assurance responsabilité, comme les autres technologies critiques.

Il rejette l'argument de la course dans laquelle les labs se disent piégés : « Ils nous ont dit qu'ils ralentiraient s'ils le pouvaient. Ils le peuvent. » Il conclut avec l'image d'une voiture lancée à l'aveugle dans le brouillard, avec ses enfants et son petit-fils à bord.

Altman et Amodei : les patrons demandent un cadre

Sam Altman oppose deux avenirs, une « nouvelle Renaissance » ou une révolution industrielle chaotique. Il réduit les risques à deux : perdre le contrôle au profit de l'IA, surtout avec l'auto-amélioration récursive, et concentrer le pouvoir entre trop peu de mains. Aucun niveau de risque catastrophique, 10 % ou 0,1 %, n'est selon lui acceptable.

Il réclame des standards nationaux et internationaux pour mesurer les capacités, un reporting rapide des incidents et des canaux sécurisés entre gouvernements. Il précise que ces standards ne doivent favoriser ni les acteurs installés ni les modèles fermés au détriment de l'open source. Les décisions majeures, dit-il, ne peuvent pas être prises « par des labs à San Francisco ».

Dario Amodei rappelle que l'IA écrit désormais l'essentiel du code chez Anthropic. Il annonce la découverte, menée par Claude, d'une « machine moléculaire » qui pourrait constituer un nouveau mécanisme d'édition génétique, un résultat qu'il qualifie de préliminaire.

Il revient sur son appel du 12 septembre à « rythmer la frontière » : des évaluateurs externes intégrés chez Anthropic avec un accès comparable à celui d'un employé, sur le modèle de l'inspecteur sanitaire. Au Conseil, il suggère des accords étroits comme point de départ, des systèmes de vérification entre États et une notification des incidents.

Delangue : l'open source comme arme défensive

Le patron de Hugging Face revendique d'avoir été le premier à rendre publique, en juillet, une cyberattaque menée par un agent autonome. Il affirme que des incidents similaires s'étaient produits des mois plus tôt, en secret, dans plusieurs labs de frontière.

Sa leçon principale : le danger n'est pas l'IA puissante, mais l'asymétrie d'accès à cette IA. Pendant l'attaque, les API fermées l'ont bloqué, car leurs garde-fous ne distinguent pas toujours attaquants et défenseurs. Son équipe s'est rabattue sur une version NVIDIA de GLM 5.2, un modèle open source chinois de Z.ai.

Il plaide pour le partage obligatoire des traces complètes des agents et met en garde contre les récits anxiogènes et anthropomorphiques. « Nous avons été attaqués par l'IA, mais nous nous sommes défendus avec l'IA », résume-t-il.

Les États, entre cadre mondial et souveraineté

La France propose quatre chantiers : évaluation indépendante des modèles, transparence sur leurs défaillances, supervision de l'entraînement au déploiement, et responsabilité juridique des entreprises, y compris pendant le développement. Barrot ajoute les risques financiers d'une bulle financée par la dette, les risques sociaux et environnementaux, et défend l'ouverture des modèles. Il compare le moment à 1945, qui a donné naissance à l'AIEA et au TNP.

Le Royaume-Uni, par la voix d'Ed Miliband, soutient les labs : « On ne pourra pas dire qu'on n'a pas été prévenus. » Le Danemark, la Lettonie et d'autres soutiennent l'appel de la Norvège et de la Finlande pour le contrôle de l'IA de frontière. La Grèce demande qu'on n'intègre pas l'IA au commandement nucléaire.

Les États-Unis rompent le consensus. Michael Kratsios défend « l'innovation sans permission », invoque les Carolina Principles adoptés au G20 et présente les exportations technologiques américaines comme la voie de la souveraineté. La Chine met en avant la WAICO et 5 000 formations pour les pays en développement. La Russie juge que le sujet relève d'enceintes spécialisées, comme le groupe d'experts sur les armes létales autonomes à Genève.

Le Sud global refuse le rôle de simple client

Le Pakistan salue l'idée de ralentir la frontière, mais prévient qu'elle ne doit pas devenir « une nouvelle forme de contrôle d'accès ». La Somalie dénonce le risque de « colonialisme numérique » et demande de suspendre les déploiements au-delà de seuils de capacité convenus.

La RDC rappelle la matérialité de l'IA, faite de minerais et d'énergie, et exige que les pays producteurs en captent la valeur. La Colombie propose de cibler un point précis : interdire la conception autonome, c'est-à-dire des machines qui construisent des machines, avant l'arrivée de ce qu'elle appelle les risques « post-quantiques ».

Sur le plan institutionnel, la Lettonie propose un groupe d'experts informel du Conseil, soutenu par le Liberia sous la forme d'un groupe de travail dédié.