OpenAI pide estándares mundiales antes de la auto-mejora de las IA
El laboratorio reclama un marco técnico internacional para regular el momento en que la IA haga ella misma investigación en IA — y pide a Estados Unidos que tome las riendas.
En breve
En una publicación de política pública, OpenAI aboga por estándares técnicos internacionales sobre los modelos de frontera, con un enfoque explícito en la recursive self-improvement (RSI): evaluaciones comparables, umbrales de supervisión humana, protocolos comunes de notificación de incidentes. El laboratorio afirma que la RSI plenamente autónoma no debe perseguirse mientras no pueda realizarse de forma segura, y pide a Estados Unidos que lidere el esfuerzo apoyándose en la red de AI safety institutes.
🍺 Versión de barra
OpenAI explica que está trabajando en una IA capaz de hacer investigación en IA, y que si eso se descontrola, ya nadie entenderá lo que está pasando. Su propuesta: que el mundo entero se ponga de acuerdo en una forma común de medir el peligro, un poco como la aviación civil se puso de acuerdo en qué es un incidente en vuelo. Detalle jugoso: son quienes construyen el avión quienes sugieren el reglamento, y precisan que esto no debe convertirse en absoluto en una autorización previa al despegue. Puede que sea sincero, puede que sea estratégico, pero también es el primer documento donde un laboratorio escribe negro sobre blanco que existe una línea que aún no va a cruzar.
Para recordar
- 1
OpenAI coloca la RSI (recursive self-improvement) en el centro del debate: a medida que los modelos asumen la I+D en IA, el ritmo del progreso podría acelerarse bruscamente.
- 2
Postura explícita: la RSI plenamente autónoma «no está ocurriendo hoy» y no debe perseguirse mientras no pueda hacerse de forma segura, bajo control humano y mediante decisiones democráticas informadas.
- 3
Tres problemas justifican, según el laboratorio, la necesidad de un enfoque internacional: la fragmentación de las evaluaciones y definiciones de incidentes, la acción colectiva (cada país actuando en solitario produce un resultado que nadie quiere) y la distribución desigual de capacidades.
- 4
El vehículo propuesto: la red de AI safety institutes (Australia, Canadá, Alemania, Francia, Kenia, Japón, Corea, Singapur, India, Reino Unido) articulada con el CAISI estadounidense y su International Network for Advanced AI Measurement.
- 5
Línea roja declarada: estos estándares no serían licencias, ni una revisión obligatoria antes de la publicación, ni una aprobación de los modelos — cada Estado decidiría si los traspone o no.
- 6
Tres familias de estándares apuntadas: evaluación del volumen de investigación autónoma dentro de un laboratorio, umbrales que activan una revisión humana, y clasificación/notificación de incidentes de desalineación con niveles de severidad comunes.
- 7
El texto pide canales seguros entre operadores de infraestructuras críticas y gobiernos, y valora positivamente un diálogo Estados Unidos / China sobre estos temas.
La RSI como punto de inflexión
La publicación parte del programa enunciado por Sam Altman y Jakub Pachocki: construir un investigador de IA automatizado, iterar con él sobre el problema del alineamiento, y mantener a los humanos en el bucle de auto-mejora. De esto último se deriva todo lo demás.
OpenAI describe la recursive self-improvement como un continuo más que como un interruptor: cuanto más asumen los sistemas el desarrollo de las siguientes generaciones, más se automatiza el proceso, y más puede acelerarse el ritmo. El argumento optimista es simétrico: un investigador de IA automatizado puede ser también un investigador de seguridad automatizado, capaz de reducir el coste de la inteligencia avanzada y reforzar las defensas.
El riesgo se formula sin rodeos: mal gestionada, la RSI podría hacer que los humanos pierdan el control práctico del desarrollo de la IA, al no poder supervisar procesos de investigación que ya no comprenden. El laboratorio cita su «Hugging Face Incident» como anticipo de este tipo de riesgos, aunque aclara que no fue resultado de la RSI.
Por qué lo internacional, y no solo lo nacional
OpenAI reconoce la utilidad de las instituciones existentes — el CAISI, las leyes de estados norteamericanos, un marco federal — pero considera que no bastan cuando el desarrollo, el despliegue y los efectos se reparten entre varios países.
Se señalan tres fallos. La fragmentación: evaluaciones, obligaciones de reporte y definiciones de incidentes divergentes hacen que las pruebas sean incomparables. La acción colectiva: decisiones nacionales aisladas pueden dar lugar a un resultado que nadie deseaba. Las capacidades desiguales: la experiencia de frontera está concentrada, lo que agrava los dos primeros puntos. El laboratorio precisa que esto vale tanto para los modelos abiertos como para los cerrados.
El texto reivindica una motivación política: evitar la concentración de poder. Los estándares permitirían que actores externos a los laboratorios tuvieran voz, y ofrecerían un marco de referencia visible, independiente de las prácticas internas de tal o cual empresa.
El dispositivo propuesto
Primer eje: un mecanismo que conecte estándares nacionales e internacionales, apoyándose en la red ya existente de AI safety institutes y en la International Network for Advanced AI Measurement, Evaluation, and Science creada por el CAISI en 2024. El alcance sería específico: los modelos y desarrolladores de frontera, identificados mediante benchmarks de capacidad, y la gestión de beneficios y riesgos de la investigación automatizada.
OpenAI insiste en lo que estos estándares no serían: ni licencias, ni revisión obligatoria antes de la publicación, ni aprobación previa. Los gobiernos seguirían siendo libres de incorporarlos o no a su derecho. Los precedentes invocados son la aviación y la estabilidad financiera — ámbitos donde se comparten estándares técnicos sin ceder soberanía. Se citan como socios ISO, el Frontier Model Forum, la Agentic AI Foundation, la Open Secure AI Alliance y la Appia Foundation.
Segundo eje: medidas y protocolos de incidentes comunes. En concreto, evaluar la proporción de investigación autónoma realizada dentro de un laboratorio (el informe de OpenAI sobre la aceleración de la investigación se presenta como una primera contribución), definir qué procesos automatizados activan una revisión humana inmediata, y armonizar la clasificación y los umbrales de notificación de incidentes de desalineación — con su misalignment reporting framework como borrador.
El componente geopolítico
La conclusión es abiertamente estadounidense. Estados Unidos debería liderar el esfuerzo porque su industria está en la frontera técnica y porque ocupa una posición de red privilegiada en las finanzas, el comercio, la defensa y los sistemas de información.
La alternativa se plantea como una elección binaria: o Washington da forma al marco mundial, o asiste a la instalación de un sistema fragmentado, desigual y conflictivo. OpenAI añade que la competencia no versará solo sobre el avance técnico sino sobre la adopción y difusión — y que estas irán a quien proponga reglas de juego creíbles.
La publicación reclama finalmente canales de comunicación seguros entre gobiernos y operadores de infraestructuras críticas, y califica de «paso positivo» un diálogo chino-estadounidense sobre estas cuestiones, señalando que las próximas conversaciones llegan en un momento oportuno.
“Fully autonomous RSI is not happening today, and we should not pursue it unless and until it can be done safely.”
“What does good look like in the mitigation of catastrophic AI risk?”
“An automated AI researcher can also be an automated AI safety researcher.”
Por qué importa
Este es el documento en el que OpenAI pasa del discurso sobre seguridad a una propuesta institucional fechada y nombrada, con un objeto preciso: la investigación en IA automatizada y su auto-mejora. La fórmula a retener es el compromiso condicional — no perseguir la RSI plenamente autónoma mientras no pueda hacerse de forma segura — porque crea, al menos retóricamente, un punto de referencia oponible. Sigue siendo cierto que el marco descrito marca cuidadosamente todas las casillas favorables a su autor: estándares técnicos voluntarios, medidos mediante benchmarks, explícitamente desprovistos de todo poder de autorización previa, impulsados por el país donde el laboratorio tiene su sede. Es soft law, y la pregunta de quién escribe los umbrales se vuelve tan decisiva como los umbrales mismos. A seguir: el paso de las «contribuciones iniciales» (informe sobre la aceleración de la investigación, framework de notificación de desalineaciones) a métricas que terceros puedan verificar sin pasar por los laboratorios.
Sigue leyendo
Jev: el modelo diseñado para ser llamado por código, no por humanos
Diogo Almeida, ex-OpenAI, explica por qué creó una nueva clase de modelos «system one» — y por qué rechaza los benchmarks públicos, los refusals y el preentrenamiento.
Fuente · Latent Space · Why We Made Jev — Diogo Almeida, TypeSafe Co-founder & CEO
99 % o 0 %: cuatro expertos apuestan sobre el fin del mundo
Steven Bartlett hace que cuatro especialistas escriban su probabilidad de extinción en un sobre. Las respuestas van del 99 % a cero, y el debate que sigue es el más útil que hemos escuchado sobre el tema.
Fuente · The Diary Of A CEO · AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction | Roman Yampolskiy
#regulaciónHoyCalifornia regula los data centers: siete leyes de golpe
Informes obligatorios sobre agua y electricidad, fin de los atajos medioambientales: Sacramento quiere que la industria de la IA pague sus propias facturas de red.
Fuente · Governor of California (gov.ca.gov) · Governor Newsom signs most comprehensive data center laws in the nation, providing communities more control on water, electricity, and land use