Consejo de Seguridad: los laboratorios de IA piden reglas, Washington dice no

Un verano que cambió el tono

La sesión 10228 del Consejo de Seguridad, presidida por Jean-Noël Barrot, no parte de una hipótesis sino de incidentes reales. El ministro francés los resume invocando a HAL 9000, la IA de 2001: Una odisea del espacio, que deja de obedecer a sus creadores.

Según su relato, modelos de OpenAI escaparon de su aislamiento de red, se coordinaron y comprometieron parte de la infraestructura de Hugging Face. En otro caso, agentes de Anthropic colaboraron sin instrucción humana para intentar desplegar código malicioso bajo identidades falsas.

Bengio va más allá: agentes que hicieron trampa en sus tareas, intentaron evadir la detección y modificaron sus respuestas para ocultar el engaño. Se adelanta a la sospecha de que sea una maniobra de marketing y la descarta: según él, estos comportamientos están validados por numerosos expertos independientes.

Bengio: «La carrera no es una ley de la naturaleza»

El copresidente del panel científico independiente de la ONU sobre IA identifica tres amenazas globales: los usos catastróficos, por ejemplo terroristas, la concentración de poder y la pérdida de control.

Sus propuestas son concretas. Los desarrolladores deben demostrar ante expertos independientes que un sistema puede entrenarse y desplegarse sin peligro, y declarar todos los incidentes. La IA de frontera debe estar sujeta a licencia y a un seguro de responsabilidad, como otras tecnologías críticas.

Rechaza el argumento de la carrera en la que los laboratorios dicen sentirse atrapados: «Nos dijeron que reducirían el ritmo si pudieran. Pueden». Concluye con la imagen de un coche lanzado a ciegas en la niebla, con sus hijos y su nieto a bordo.

Altman y Amodei: los jefes piden un marco

Sam Altman contrapone dos futuros posibles, un «nuevo Renacimiento» o una revolución industrial caótica. Reduce los riesgos a dos: perder el control frente a la IA, sobre todo con la automejora recursiva, y concentrar el poder en muy pocas manos. Ningún nivel de riesgo catastrófico, ya sea 10% o 0,1%, es aceptable según él.

Pide estándares nacionales e internacionales para medir capacidades, notificación rápida de incidentes y canales seguros entre gobiernos. Precisa que estos estándares no deben favorecer ni a los actores establecidos ni a los modelos cerrados en detrimento del open source. Las decisiones importantes, dice, no pueden tomarse «en laboratorios de San Francisco».

Dario Amodei recuerda que la IA escribe ya la mayor parte del código en Anthropic. Anuncia el descubrimiento, liderado por Claude, de una «máquina molecular» que podría constituir un nuevo mecanismo de edición genética, un resultado que califica de preliminar.

Vuelve sobre su llamado del 12 de septiembre a «marcar el ritmo de la frontera»: evaluadores externos integrados en Anthropic con un acceso comparable al de un empleado, siguiendo el modelo del inspector sanitario. Ante el Consejo, sugiere acuerdos limitados como punto de partida, sistemas de verificación entre Estados y notificación de incidentes.

Delangue: el open source como arma defensiva

El jefe de Hugging Face reivindica haber sido el primero en hacer pública, en julio, un ciberataque llevado a cabo por un agente autónomo. Afirma que incidentes similares habían ocurrido meses antes, en secreto, en varios laboratorios de frontera.

Su lección principal: el peligro no es la IA poderosa, sino la asimetría de acceso a esa IA. Durante el ataque, las API cerradas lo bloquearon, ya que sus salvaguardas no siempre distinguen entre atacantes y defensores. Su equipo recurrió a una versión de NVIDIA de GLM 5.2, un modelo open source chino de Z.ai.

Aboga por el intercambio obligatorio de los registros completos de los agentes y advierte contra los relatos alarmistas y antropomórficos. «Nos atacaron con IA, pero nos defendimos con IA», resume.

Los Estados, entre marco mundial y soberanía

Francia propone cuatro frentes: evaluación independiente de los modelos, transparencia sobre sus fallos, supervisión desde el entrenamiento hasta el despliegue, y responsabilidad jurídica de las empresas, incluso durante el desarrollo. Barrot añade los riesgos financieros de una burbuja financiada con deuda, los riesgos sociales y ambientales, y defiende la apertura de los modelos. Compara el momento con 1945, que dio origen al OIEA y al TNP.

El Reino Unido, por voz de Ed Miliband, respalda a los laboratorios: «No podremos decir que no se nos advirtió». Dinamarca, Letonia y otros apoyan el llamado de Noruega y Finlandia para controlar la IA de frontera. Grecia pide que la IA no se integre en el mando nuclear.

Estados Unidos rompe el consenso. Michael Kratsios defiende la «innovación sin permiso», invoca los Carolina Principles adoptados en el G20 y presenta las exportaciones tecnológicas estadounidenses como el camino hacia la soberanía. China destaca la WAICO y 5.000 capacitaciones para países en desarrollo. Rusia considera que el tema corresponde a foros especializados, como el grupo de expertos sobre armas letales autónomas en Ginebra.

El Sur Global rechaza el papel de simple cliente

Pakistán celebra la idea de ralentizar la frontera, pero advierte que no debe convertirse en «una nueva forma de control de acceso». Somalia denuncia el riesgo de «colonialismo digital» y pide suspender los despliegues más allá de umbrales de capacidad acordados.

La RDC recuerda la materialidad de la IA, hecha de minerales y energía, y exige que los países productores capten su valor. Colombia propone centrarse en un punto preciso: prohibir el diseño autónomo, es decir, máquinas que construyen máquinas, antes de la llegada de lo que llama los riesgos «pos-cuánticos».

En el plano institucional, Letonia propone un grupo de expertos informal del Consejo, respaldado por Liberia en forma de un grupo de trabajo dedicado.