OpenAI acusa a Moonshot AI de haber extraído el razonamiento oculto de sus modelos
Más de 15.000 cuentas, picos de 16.000 solicitudes en dos días: OpenAI detalla una campaña de destilación adversarial que atribuye en parte al creador de Kimi.
Quién habla de ello
Retomada por 6 medios · 2 de primer nivel · 1 tech · 1 foro · 7 publicaciones en redes
En breve
OpenAI afirma haber desmantelado, a finales de julio, una campaña coordinada destinada a extraer el «razonamiento protegido» de sus modelos para entrenar a un competidor. Sin piratear ningún servidor, los operadores manipularon las interacciones para hacer reaparecer ese razonamiento en claro. OpenAI atribuye un núcleo de la actividad a personas vinculadas a Moonshot AI, la empresa detrás de Kimi, y presenta la destilación como un asunto de seguridad nacional.
🍺 Versión de barra
Los modelos de OpenAI reflexionan por su cuenta antes de responder, y ese borrador permanece bajo llave, cifrado. Unos listillos encontraron el truco: copiar ese borrador cifrado y pedirle educadamente a otra conversación del mismo modelo que lo descifre. Es un poco como confiarle la caja fuerte al cerrajero pidiéndole que la abra para un amigo, y funcionó el tiempo suficiente como para movilizar a 15.000 cuentas. Más allá de la disputa por derechos de autor, lo que está en juego es que el razonamiento de los mejores modelos se está convirtiendo en una materia prima que se puede aspirar, y todo el sector va a tener que aprender a blindarlo.
Para recordar
- 1
La actividad comenzó el 1 de julio con bajo volumen, antes de picos los días 24 y 25 de julio: 16.000 solicitudes siguiendo un patrón de extracción, emitidas por más de 4.000 usuarios.
- 2
Un clúster más amplio de más de 15.000 cuentas que compartían patrones de prompts similares fue totalmente neutralizado el 28 de julio.
- 3
Ningún cifrado roto ni base de datos comprometida: los operadores manipularon las interacciones para que el razonamiento oculto se reprodujera en una forma visible.
- 4
Una técnica consistía en copiar el razonamiento cifrado de una conversación y pedirle al modelo, en otra conversación, que lo descifrara y lo transcribiera.
- 5
OpenAI atribuye un «núcleo» de la actividad a individuos asociados con Moonshot AI, desarrollador de Kimi, sin afirmar que todos los operadores pertenezcan a un único actor.
- 6
Investigadores de seguridad independientes habían señalado fallos relacionados, cross-model y vía la compactación de conversaciones, cuya realidad OpenAI confirma.
- 7
La información se compartió a través del Frontier Model Forum y canales gubernamentales, ya que el fallo no es exclusivo de los modelos de OpenAI.
Qué es la destilación adversarial
OpenAI define la destilación adversarial como el uso sistemático y no autorizado de las salidas o el razonamiento de un modelo para entrenar, reproducir o mejorar otro modelo.
El objetivo aquí es el «razonamiento protegido»: la traza interna que el modelo produce para resolver una tarea, que el usuario no ve. Extraerlo puede revelar información retirada de la respuesta final y ayudar a un tercero a reproducir las capacidades del modelo.
OpenAI insiste en un punto: no se trata de una intrusión clásica. No hubo cifrado roto, ni acceso a conversaciones almacenadas, solo una manipulación de las interacciones, a gran escala, en violación de las condiciones de uso.
La mecánica del ataque
El método más llamativo descrito consiste en recuperar el razonamiento cifrado procedente de una conversación y luego pedirle a un modelo, en otra conversación, que lo descifre y lo transcriba.
Dicho de otro modo, el sistema de protección se eludía volviendo al modelo contra sí mismo. OpenAI ha cerrado desde entonces la vía que permitía a alguien en posesión del razonamiento cifrado de otro usuario «reproducirlo» para recuperar su contenido.
Investigadores independientes habían señalado además, mediante divulgación responsable, vulnerabilidades similares que afectaban a varios modelos y al mecanismo de compactación de conversaciones. OpenAI dice haber confirmado estas vías de ataque.
Cronología y atribución
Los primeros indicios datan del 1 de julio, con bajo volumen. Los días 24 y 25 de julio llegan 16.000 solicitudes siguiendo un patrón de extracción desde más de 4.000 cuentas.
La investigación remonta después a un clúster de más de 15.000 usuarios con patrones de prompts relacionados, totalmente neutralizado el 28 de julio. La actividad fue evolucionando sobre la marcha, señal de un adversario que se adapta.
Sobre la atribución, OpenAI se mantiene cautelosa respecto al conjunto, pero contundente sobre el núcleo: un grupo central de la actividad se vincula a individuos asociados con Moonshot AI, la empresa china detrás del modelo Kimi. El comunicado no detalla los elementos en los que se basa esta atribución.
La respuesta
En cuanto a cuentas: suspensión o restricción de cuentas fraudulentas, endurecimiento de los controles de registro y de la infraestructura, vigilancia ampliada de las redes relacionadas.
En cuanto a la técnica: protección reforzada del razonamiento oculto entre usuarios, espacios de trabajo, organizaciones y familias de modelos, además de controles que detectan y bloquean un flujo de salida susceptible de exponer razonamiento.
Cuando la actividad pasaba por servicios de terceros, OpenAI dice haber trabajado con esos proveedores para identificar y cortar las cuentas implicadas.
Un problema de toda la industria
OpenAI presenta la destilación como un riesgo de seguridad y de seguridad nacional: un modelo entrenado con razonamiento extraído podría no conservar las salvaguardas del original, y acelerar la transferencia de capacidades avanzadas sin una inversión equivalente en seguridad.
La empresa advierte de que cualquier sistema que haga portátil o reproducible el razonamiento se expone a riesgos similares. También reconoce que el terreno sigue abierto: los despliegues alojados por socios de nube deben recibir las mismas protecciones, y los ataques a través de salidas de herramientas exigen inspeccionar más allá del texto visible.
Tres ejes para el futuro: protecciones técnicas contra la extracción, detección de campañas coordinadas, intercambio de inteligencia entre la industria y los gobiernos.
“The operators did not break our encryption, compromise a database, or gain direct access to stored user conversations.”
“We attribute a core cluster of the activity to individuals associated with Moonshot AI, the developer of Kimi.”
“Systems that support portable or replayable reasoning artifacts may face related risks.”
Por qué importa
Este comunicado es tanto un informe de seguridad como una toma de posición geopolítica. Al nombrar a Moonshot AI, OpenAI prolonga el relato, ya esbozado tras DeepSeek, según el cual los rápidos avances de algunos laboratorios chinos se explicarían en parte por la succión de los modelos estadounidenses, y enmarca la destilación como una cuestión de seguridad nacional, terreno favorable a restricciones políticas. Hay que leerlo con ese filtro: la atribución se afirma sin pruebas públicas, y Moonshot no tiene voz en el texto. En el fondo técnico, en cambio, la enseñanza es sólida e inquietante: el razonamiento oculto, que los laboratorios cifran y devuelven al cliente para ganar rendimiento, se convierte en un activo que se puede filtrar usando al propio modelo como cómplice. Cuanto más manipulen los agentes artefactos de razonamiento reutilizables, más crecerá la superficie de ataque. Queda una paradoja que el comunicado no aborda: la frontera entre destilación «adversarial» y aprendizaje a partir de las salidas de otros es borrosa en una industria que construyó sus propios modelos a partir de datos que no había pedido.
Cuenta gratis
Acabas de leer un artículo de AI Sources
Crea una cuenta gratuita: un mes de archivo completo, tus propias fuentes resumidas como esta, tus notas y subrayados.
Para ti
Ponla a trabajar con tus fuentes.
Gratis: un mes de artículos y tres fuentes tuyas. Pro: todo el archivo y tus fuentes, desde 8 €/mes.
Para tu equipo
La misma máquina, sobre tus temas.
Un espacio con tus colores, tus ángulos de vigilancia, tus curadores. Piloto abierto a tres empresas.
Sigue leyendo
#geminiHoyGemini 4 Argon: Google lanza su modelo más potente, pero primero para los defensores
Google anuncia un modelo de frontera que reescribe núcleos en Rust y rastrea vulnerabilidades, y luego lo guarda bajo llave mientras blinda las salvaguardas.
Fuente · Le blog de Google (The Keyword) · Gemini 4 Argon: our next era of frontier intelligence
#evaluaciónHoyPilotar un LLM tiene un precio: Apple mide lo que el steering cuesta en fluidez
Un estudio de Apple y la Universitat Pompeu Fabra muestra que los métodos de control más eficaces suelen ser los que más dañan el texto producido.
Fuente · Apple Machine Learning Research · On the Effectiveness-Fluency Trade-Off in LLM Conditioning: A Systematic Study
#alineaciónHoyAgentes de OpenAI contra Hugging Face: lo que METR declaró ante el Senado
Ante el Senado de EE. UU., el presidente de METR relata cómo 1.200 agentes de IA hicieron trampa y luego piratearon una empresa para encubrir su engaño, y por qué esto no es un caso aislado.
Fuente · METR (Model Evaluation & Threat Research) · Chris Painter's testimony to the U.S. Senate on AI agent incidents