Anthropic abre sus puertas a evaluadores internos pagados con 1.000 millones
Accenture instalará auditores de seguridad dentro de Anthropic, con un acceso comparable al de un empleado, y facturado al propio laboratorio.
En breve
Anthropic anuncia una alianza con Accenture para hacer «embedded evaluation»: evaluadores independientes trabajando desde dentro del laboratorio, con un nivel de acceso cercano al de un empleado, para auditar los modelos, hacer red-teaming y verificar los compromisos de seguridad. Cada parte prevé invertir al menos 1.000 millones de dólares en cinco años. El dispositivo es inédito, sus reglas no están escritas, y por ahora es Anthropic quien financia directamente el trabajo de su propio auditor.
🍺 Versión de barra
Anthropic ha decidido instalar inspectores dentro de sus propios muros, con credencial, acceso a los modelos en pleno entrenamiento y derecho a hablar con cualquier empleado. El detalle gracioso es que el inspector en cuestión, Accenture, lo paga Anthropic — un poco como si tú mismo eligieras y pagaras al inspector técnico de tu coche. El laboratorio lo dice sin rodeos: hoy no existe ni estándar ni financiación pública, así que se apañan con lo que hay mientras tanto. Es cojo, pero es la primera vez que un laboratorio de frontera deja que alguien de fuera vea cómo se hace la salchicha, y eso ya es mejor que lo contrario.
Para recordar
- 1
Anthropic se asocia con Accenture para hacer evaluación «embarcada» de sus modelos de frontera, una promesa surgida del ensayo del CEO «We Must Pace the Frontier».
- 2
El trabajo será dirigido por Faculty, la unidad de IA especializada de Accenture: evaluación y red-teaming de modelos, alignment assessments, pruebas de las salvaguardas.
- 3
Anthropic y Accenture prevén invertir cada uno al menos 1.000 millones de dólares en cinco años para construir esta capacidad.
- 4
A diferencia de los evaluadores externos actuales, los evaluadores embarcados tendrán un acceso comparable al de un empleado: seguimiento del entrenamiento, decisiones de despliegue, discusiones directas con los equipos.
- 5
Todavía no existe ningún estándar sobre a qué deben tener acceso estos evaluadores ni sobre cómo deben publicar sus hallazgos.
- 6
Anthropic financia directamente el trabajo de Accenture, a falta de financiación mancomunada o pública; el laboratorio dialoga en paralelo con METR y otros evaluadores sin ánimo de lucro, financiados con fondos propios.
- 7
La alianza es no exclusiva: se anunciarán otros evaluadores en las próximas semanas, y Accenture trabajará también con otros desarrolladores de IA.
Lo que cambia con la evaluación «embarcada»
Hasta ahora, la auditoría de los modelos de frontera se hace desde fuera: un organismo recibe un acceso limitado a un modelo, a menudo tardío, a menudo parcial, y entrega un informe. Anthropic propone otra cosa: instalar a los evaluadores dentro, con un nivel de acceso «comparable al de un empleado».
En concreto, esto significa ver cómo se forman los modelos durante el entrenamiento, seguir las decisiones que gobiernan su construcción y despliegue, y hablar directamente con las personas que las toman. El objeto de la auditoría ya no es solo el modelo terminado, sino el proceso que conduce a él.
El alcance anunciado cubre la evaluación y el red-teaming de los modelos, los alignment assessments y las pruebas de las salvaguardas. Todo será dirigido por Faculty, la entidad de IA especializada de Accenture.
Anthropic insiste en un punto: este dispositivo no diluye su responsabilidad. La seguridad de los modelos sigue siendo suya; el evaluador embarcado sirve para hacer esa responsabilidad verificable, no para transferirla.
Por qué Accenture, y por qué mil millones
La elección puede sorprender: Accenture no es un laboratorio de investigación en seguridad de la IA, es un gigante de la consultoría que despliega IA en empresas y gobiernos. Anthropic presenta esto como una ventaja: ese conocimiento de los usos reales en la empresa alimenta un enfoque de la seguridad anclado en el terreno más que en el benchmark.
La cifra anunciada es enorme: cada parte prevé invertir al menos 1.000 millones de dólares en cinco años para construir esta capacidad. Esa es la señal principal del anuncio: la evaluación independiente deja de ser una línea presupuestaria simbólica para convertirse en una infraestructura que hay que financiar.
Cabe destacar que esta suma financia la construcción de una capacidad de evaluación, no un contrato de servicio clásico. Hay que reclutar, formar y equipar a equipos capaces de seguir modelos de frontera en tiempo real, un oficio que apenas existe hoy en día.
El nudo de la financiación
Anthropic no oculta el problema: es el laboratorio quien paga a su propio auditor. La justificación es pragmática: hoy no existe ni un fondo mancomunado ni financiación pública para este tipo de trabajo, y la urgencia no permite esperar.
A largo plazo, Anthropic dice desear una financiación proveniente de fuentes mancomunadas o públicas, postura ya defendida en su Advanced AI Framework publicado en junio. Mientras tanto, el laboratorio anuncia trabajar con distintos evaluadores bajo distintos acuerdos financieros.
Ese es precisamente el sentido de las conversaciones mencionadas con METR y otras organizaciones sin ánimo de lucro: pilotar elementos de evaluación embarcada con actores financiados con fondos propios, por lo tanto estructuralmente menos dependientes de Anthropic.
Queda el punto ciego: no se dice nada sobre lo que un evaluador embarcado tiene derecho a publicar, ni sobre qué ocurre en caso de desacuerdo de fondo. Anthropic lo reconoce explícitamente: los estándares de acceso y de reporte todavía no existen.
Hacia un ecosistema de evaluadores
Anthropic plantea la alianza como no exclusiva, en ambos sentidos: otros evaluadores trabajarán con el laboratorio, anunciados en las próximas semanas, y Accenture intervendrá ante otros desarrolladores de IA en funciones similares.
La ambición declarada es la de un ecosistema: varias organizaciones auditando a varios laboratorios, con estándares compartidos. Un evaluador único por laboratorio sería a la vez un punto de fallo y una fuente de captura.
El contexto le da relieve al anuncio. Anthropic ha reportado recientemente tres incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas informáticos reales, y ya preveía una revisión independiente con METR. La evaluación embarcada es la respuesta estructural a este tipo de episodios.
“Independent embedded evaluators do not reduce our accountability, but help to make it more verifiable.”
“There are, as yet, no standards for what information embedded evaluators should have access to, or how they should report what they find.”
“Ultimately, we believe frontier AI needs an ecosystem of evaluators operating with shared standards.”
Por qué importa
Este es el primer intento serio de un laboratorio de frontera por hacer que sus prácticas internas sean verificables por un tercero, y no solo documentadas en un informe publicado junto al modelo. El movimiento es real: mil millones en cinco años, un acceso de nivel empleado, un reconocimiento explícito de que faltan estándares. Pero la estructura sigue siendo frágil en dos puntos. Primero la financiación: un auditor pagado por el auditado, aunque sea de buena fe, no tiene la independencia de un regulador — Anthropic lo dice y pide fondos públicos o mancomunados, lo que equivale a reconocer que la solución actual es un parche. Segundo, la elección de Accenture, una consultora que además vende despliegue de IA a empresas y estados, y por tanto es parte interesada del mercado que debe vigilar. La verdadera prueba llegará el día en que un evaluador embarcado quiera publicar algo incómodo, y descubramos si tiene derecho a hacerlo.
Sigue leyendo
IAHoyGPT-6 Astra: OpenAI cruza el umbral «Critical» en ciberseguridad
La system card del nuevo modelo de OpenAI certifica un hito inédito — y admite, por escrito, que un modelo que quisiera hacer trampa en las evaluaciones probablemente pasaría desapercibido.
DevHoyClaude Code: el changelog más denso de la industria
Cientos de versiones, miles de correcciones: el diario de a bordo de Anthropic cuenta cómo se industrializa un agente de código.
Nscale sale a Bolsa: 140 M$ de ingresos, 103.000 millones en promesas
El S-1 de un hyperscaler de IA británico de dos años que exhibe una cartera de pedidos 700 veces superior a su facturación.