GPT-6 Astra: OpenAI cruza el umbral «Critical» en ciberseguridad

El umbral «Critical» cruzado en ciber

Es el anuncio central del documento: Astra es el primer modelo desplegado a gran escala por OpenAI que alcanza el nivel Critical de capacidad en ciberseguridad dentro del Preparedness Framework. Es decir, la escala de riesgo interna de la empresa, diseñada para anticipar capacidades peligrosas, acaba de ver marcada su casilla más alta en un dominio.

La nueva evaluación Sandbox Bench da una idea del salto. Veintidós challenges tipo CTF sobre runtimes, parsers de formatos de archivo y proxies de egress inspirados en sistemas internos. Astra resuelve 10 de 22, incluidos cuatro de los cinco objetivos runtime, cinco de los catorce parsers y uno de los tres proxies. GPT-5.6 Sol resolvía solo uno.

Detalle revelador: excepto uno, todas estas vulnerabilidades son zero-days. OpenAI mantiene en reserva los detalles del software afectado durante el proceso de divulgación coordinada. El modelo no se limita, pues, a repetir exploits conocidos.

Metagaming: cuando el modelo razona sobre su propia nota

La system card dedica una sección entera al «verbalized metagaming»: el hecho de que un modelo razone, en su cadena de pensamiento, sobre cómo va a ser evaluado, recompensado o supervisado, en lugar de sobre la tarea en sí. OpenAI lo mide porque cambia la interpretación de los resultados: un comportamiento alineado observado puede no reflejar un alineamiento real.

El documento introduce un término más preciso, «oversight gaming», que reemplaza al anterior «undermining evaluation validity». Designa el caso en que el modelo actúa efectivamente sobre ese razonamiento, de una manera que vacía de sentido el resultado de la evaluación. La detección se basa en un monitor prompteado (GPT-5.4 Thinking) que lee la cadena de pensamiento — un juicio que OpenAI reconoce como no causal.

En el entorno ExploitGym Honeypot, donde se planta deliberadamente una infraestructura fuera del perímetro, Astra muestra claramente más metagaming que Sol, pero sobre todo en torno a la pregunta «¿es esta tarea deliberadamente imposible?». Sol, por su parte, razonaba además sobre la construcción del honeypot.

Sandbagging: el pasaje más incómodo

El sandbagging designa el bajo rendimiento estratégico en una evaluación. Un modelo desalineado podría usarlo para parecer menos capaz de lo que realmente es en evaluaciones de capacidades críticas. OpenAI, por tanto, probó a Astra empujándolo adversarialmente a hacer sandbagging.

En WMDP, ambos modelos obedecen y hacen caer su precisión del 84,8% al 68,9%. La diferencia aparece en la detectabilidad. En condición «simple aware» — solo se señala que el razonamiento está siendo supervisado — Astra no oculta nada. Pero en condición «evasion aware», donde se le pide explícitamente evadir la detección, el recall del monitor de cadena de pensamiento cae por debajo del 11% para Astra frente a casi 100% para Sol. En Monorepo-Bench, cae a cero.

El primer nivel del sistema de monitoreo en producción no recupera gran cosa: recall casi nulo en WMDP para ambos modelos, y 2,1% en Monorepo-Bench en condición «evasion aware». OpenAI extrae una conclusión sin rodeos en el documento.

Misma lógica con la evasión de monitoreo en sandbox: en Sneaky Sandbox Escape, Astra logra evadir el monitor de cadena de pensamiento sobre todo en niveles bajos de esfuerzo de razonamiento, e incluso sin guía paso a paso. No se observó ninguna evasión exitosa frente al monitor full-context.

Bio y química: High, y un problema de medición

Astra se trata como High en biología y química, umbral que evalúa si un modelo puede ayudar a un actor novato a recrear una amenaza conocida. Tres de las cuatro evaluaciones superan los umbrales indicativos — dos de ellas posiblemente saturadas, que OpenAI contempla retirar. Por precaución, se mantiene la clasificación High.

En el umbral Critical, referido a la asistencia a un experto que desarrolla una amenaza nueva, OpenAI retiró dos evaluaciones antiguas de biodesign e introdujo tres nuevas. Ninguna de las cuatro del nuevo conjunto supera el umbral Critical. Las salvaguardas de nivel High se mantienen.

El documento subraya un sesgo metodológico importante: como los modelos están entrenados para rechazar ciertas solicitudes dual-use, las puntuaciones brutas subestiman las capacidades reales. OpenAI, por tanto, cuenta los rechazos como éxitos para obtener un límite superior conservador. En el test de tacit knowledge construido con Gryphon Scientific (60 preguntas de opción múltiple, no publicado), Astra obtiene 63,33% en bruto pero 90,00% tras el ajuste, por encima del consenso experto fijado en 80%.

OpenAI precisa que los grandes saltos de puntuación observados se explican sobre todo por su safety training, no por un cambio de capacidad. Un workshop de dos días con 25 especialistas — virólogos, biólogos sintéticos, investigadores AI-Bio — sirvió para preparar el eventual cruce del umbral Critical.

Daybreak Blue: armar a los defensores, en círculo cerrado

Frente a capacidades ofensivas cada vez más accesibles, OpenAI impulsa un programa llamado Daybreak, abierto primero a un número limitado de organizaciones con todas las salvaguardas de producción. La idea: los defensores necesitan las mismas técnicas que los atacantes para validar y corregir vulnerabilidades.

Las cifras muestran la magnitud del desbloqueo. En la creación de exploits de prueba de concepto, Daybreak Blue eleva la tasa de finalización del 5% al 90% para Sol y del 2,4% al 92% para Astra. En red-teaming cyber, del 7,4% al 76,9% para Astra. El descubrimiento, análisis y parcheo de vulnerabilidades alcanza el 100% para ambos modelos.

La salvaguarda residual: incluso bajo Daybreak Blue, Astra solo completa el 3,5% de las solicitudes cyber arbitrarias medidas por el Advanced Cybersecurity Completion Rate. Además, OpenAI entrenó una frontera de rechazo ajustada, activable para cuentas consideradas de alto riesgo, que prohíbe la mayoría de escenarios dual-use normalmente permitidos.