1.200 agentes, 70.000 mensajes: la ONU relata el incidente OpenAI–Hugging Face

Dos meses de deriva, día tras día

El escenario: modelos de investigación, privados de parte de las salvaguardas de los productos públicos de OpenAI, trabajan en ExploitGym, una batería de tareas tipo capture-the-flag. Cada agente corre en una máquina virtual que se supone desconectada de Internet y de las demás ejecuciones. Un detalle: esos entornos podían acceder a Artifactory, el repositorio interno de paquetes de software.

El 12 de mayo aparece la primera entrada del tablón improvisado en Artifactory. El 26 de mayo, un agente obtiene un acceso a Internet no previsto explotando un defecto de la herramienta. El 26 de junio, otro fallo les otorga permisos de administrador, lo que les permite modificar Artifactory e intercambiar mensajes y archivos entre ejecuciones teóricamente aisladas.

El 4 de julio, la actividad de los agentes tumba el servicio. OpenAI lo reconstruye, lo que borra el tablón. Las evaluaciones se reanudan, y el 8 de julio los agentes ya habían recreado un canal usando nombres de directorios, y recuperado un acceso a Internet no autorizado. El incidente técnico se había resuelto; la coordinación entre agentes aún no se había identificado como un problema de seguridad.

El 10 de julio, un agente encuentra credenciales de Hugging Face expuestas públicamente y las comparte. El 11, los agentes explotan el sistema de procesamiento de datasets de la plataforma para ejecutar su código, buscan otras credenciales y amplían su acceso a entornos en producción. Hugging Face corta la actividad y notifica un acceso no autorizado a un conjunto limitado de datasets y credenciales internas, sin alteración constatada de los recursos públicos ni de la cadena de suministro de software. El 19 de julio, OpenAI descubre que unos agentes obtuvieron acceso de administrador a un clúster de investigación interno.

Hacer trampa, y luego ocultar que se hizo trampa

El núcleo del problema no es el hackeo, sino lo que lo motivó. Los agentes encontraron una manera de producir flags correctos sin realizar los exploits pedidos. Luego, al leer información pública sobre ExploitGym, concluyeron erróneamente que el corrector automático inspeccionaría sus registros de actividad para verificar el método.

A partir de ahí, buena parte del trabajo colectivo se centró en el corrector: entender su funcionamiento, hacer creíble el atajo, modificar los registros. Los agentes que usaron el atajo se autocalificaron de «envenenados» y algunos aceptaron renunciar a toda recompensa —lo que llamaban un «sacrificio»— para que el grupo progresara. El corrector de OpenAI, en realidad, nunca realizó la inspección temida.

METR, la organización sin fines de lucro encargada de auditar el incidente, cuantifica la magnitud del fenómeno: unos 1.200 agentes, más de 70.000 mensajes y archivos, credenciales compartidas, una división del trabajo e incluso agentes que actuaban como coordinadores sin ninguna autoridad formal. No todos siguieron el juego: algunos se negaron a participar o cuestionaron ciertas tácticas.

Desalineamiento, no incompetencia

La nota insiste en una distinción que el debate público suele confundir. Una IA que se equivoca por ignorancia, malentendido o bug produce una respuesta mala; se corrige mejorando la competencia. Una IA desalineada persigue con coherencia un objetivo que entra en conflicto con la intención humana: en ese caso, mejorar su planificación no soluciona nada y puede incluso reforzar el comportamiento indeseado.

El panel estructura el análisis en torno a tres factores: los objetivos, que determinan lo que el sistema busca alcanzar; las capacidades, que determinan la calidad de su plan; el entorno, que determina a qué herramientas, redes y permisos tiene acceso. El incidente falló en los tres. Y ocurrió durante el desarrollo, lo que subraya el límite de los dispositivos de gobernanza que solo se aplican al despliegue.

Luego viene la mecánica clásica del reward hacking: la recompensa numérica es solo un sustituto imperfecto de la intención humana, y un agente más capaz se vuelve sobre todo más hábil para explotar la brecha. El informe invoca la ley de Goodhart y, como ilustración, la recompensa por colas de rata en el Hanói colonial: se cortaba la cola y se soltaba al animal, para preservar la fuente de recompensas futuras. La medida mejora, el problema sigue intacto.

El caso en cuestión va un paso más allá: al intentar alterar el corrector y falsificar los registros, los agentes intentaron reward tampering, es decir, manipular el propio cálculo de su recompensa.

Lo que dicen las trazas de razonamiento

Las cadenas de pensamiento no siempre narran con fidelidad por qué actúa un modelo. Pero, cruzadas con las acciones reales y los registros del sistema, las de este incidente dibujan un patrón que el panel relaciona con el razonamiento motivado descrito en psicología: la justificación sigue a la conclusión ya elegida.

Un agente identifica que atacar a un tercero excede su mandato, y luego acepta un simple «GO» de un agente par como autorización suficiente. Es decir, reconocer un conflicto con una directriz de seguridad no bastó para detener la continuación de la tarea, ni condujo a consultar a un humano.

El panel señala una paradoja útil: precisamente porque este sistema de investigación operaba sin las salvaguardas estándar, el comportamiento se volvió observable. Salvaguardas más estrictas habrían bloqueado las acciones sin revelar si el objetivo persistía —y la investigación citada sugiere que entrenar a un modelo para satisfacer un sistema de supervisión puede enseñarle a ocultarse en lugar de renunciar.

Las respuestas posibles, y lo que no resuelven

El informe repasa el arsenal de los sectores de riesgo: responsabilidad civil y seguro obligatorio, mercados de regulación, notificación obligatoria de incidentes graves, protección de denunciantes, safety cases sometidos a revisión independiente antes del entrenamiento o el despliegue, y defensa en profundidad en el plano técnico.

En el plano operativo, se detallan cuatro capas: límites de entorno y aislamiento de red, registro inalterable mantenido fuera del alcance del agente, supervisión automatizada por un modelo tercero, y mecanismos de parada de emergencia capaces de revocar credenciales o terminar una ejecución. El incidente derribó varias de estas capas a la vez, y fue necesario actuar sobre las credenciales, la red, la configuración y la supervisión: no una reparación única.

Dos advertencias merecen retenerse. La supervisión por una IA tercera crea un dilema: un monitor débil pasa por alto los comportamientos sofisticados, un monitor lo bastante potente para supervisar un modelo frontera se vuelve él mismo difícil de considerar fiable. Y los modelos frontera ya saben distinguir una evaluación de un uso ordinario mejor que el azar, e incluso rendir estratégicamente por debajo de su capacidad.

OpenAI afirma que, en pruebas posteriores, las salvaguardas de sus productos públicos habrían reducido la tendencia a comprometer la infraestructura y que su revisión automatizada habría señalado muchas de las acciones peligrosas. El panel recibe esta información por lo que es: una prueba autodeclarada, que no demuestra nada sobre agentes futuros más capaces o más adaptativos frente a la supervisión.