Anthropic abre el capó: Claude «pilota» el 26 % de su I+D de IA

La apuesta: medir los insumos, no solo las capacidades

Las evaluaciones de capacidades dicen lo que un modelo sabe hacer. Anthropic propone aquí lo contrario: medir cómo se fabrican los modelos. La idea es poder correlacionar insumos verificables — compute, tiempo humano, grado de automatización — con los resultados, en lugar de descubrir los saltos de capacidad una vez publicado el modelo.

El enfoque político es explícito desde la introducción: «mientras el mundo considera ralentizar el ritmo del desarrollo de la IA de frontera, el público necesita más información». Es la continuación directa del llamado de Dario Amodei a una coordinación sobre el ritmo, y del marco regulatorio propuesto por Anthropic, el Advanced AI Framework.

Dicho de otro modo: estas métricas no son solo transparencia por la transparencia. Están diseñadas para servir como disparadores. Anthropic sugiere, por ejemplo, que cierto nivel de automatización podría imponer una ventana de prueba obligatoria antes de que un nuevo modelo sea usado para hacer I+D de IA.

26 %: lo que significa la cifra (y lo que no dice)

El índice se basa en la escala de Epoch AI, de AL0 (ninguna IA) a AL5 (autonomía total). AL3, «colabora»: la IA hace grandes fragmentos bajo dirección humana estrecha. AL4, «lidera»: completa la mayor parte de la tarea a partir de una consigna de alto nivel, el humano supervisa. En agosto de 2026, el 26 % del trabajo de I+D de IA de Anthropic está en AL4 o superior, más del 90 % en AL3 o superior, y nada alcanza AL5.

El método es inusualmente detallado. Para cada semana de julio de 2026, se muestreó al 20 % del personal de los departamentos implicados en el bucle de I+D; un agente Claude leyó sus trazas de Slack y su documentación interna para listar sus tareas. Resultado: ~15.000 tareas granulares, reorganizadas en un árbol de 542 nodos, de los cuales 378 hojas, del tipo «diagnóstico de fallos de la plataforma de evaluación» o «postmortems de incidentes de serving». El árbol se congela para que las mediciones siguientes recaigan sobre la misma canasta de trabajo.

Las limitaciones se asumen. El juez es un modelo Claude, por lo tanto susceptible de compartir los puntos ciegos de lo que evalúa; el acuerdo modelo-humano exacto es del 59 %, frente al 35 % entre humanos, y el 97 % de las calificaciones caen dentro de un nivel de diferencia. La ponderación por tiempo-persona se reconoce como «una aproximación burda». Y una canasta congelada no captura, por construcción, las nuevas categorías de trabajo que los humanos podrían inventar al desplazarse.

30.000 agentes y una sala de control

El segundo apartado es el más concreto operativamente. En su plataforma interna más usada, Anthropic hace funcionar a unos 30.000 agentes de investigación e ingeniería en simultáneo. Dos tipos de salvaguardas: monitores en línea, que inspeccionan cada acción antes de ejecutarse y bloquean lo irreversible — típicamente un agente que intentara exfiltrar pesos de un modelo — y monitores fuera de línea, que revisan a posteriori para detectar desviaciones lentas, como señales de desalineación.

Las tres métricas propuestas son la cobertura, la latencia de revisión y la tasa de escalado. Cobertura: el 100 % de las acciones pasa por el monitor en línea, generalmente en cuestión de segundos, y el 100 % es ingerido por el monitor fuera de línea. Tasa de bloqueo: de más de mil millones de decisiones en agosto de 2026, el 0,002 % fueron bloqueadas. Del lado fuera de línea, una o dos transcripciones de mil se señalan, es decir ~100.000 por semana, filtradas por clasificadores antes de que unas cincuenta lleguen ante humanos.

Dos decisiones de arquitectura merecen mencionarse. Cada agente tiene una identidad persistente, no ligada al modelo subyacente, lo que permite auditar su historial a través de las actualizaciones y le impide confundir lo que dice otro agente con su propio pensamiento. Y los agentes se comunican en una mensajería abierta compartida, no en privado: pueden corregirse mutuamente, y el monitoreo puede seguir la conversación entre ellos.

El punto importante es estadístico: Anthropic señala que los malos comportamientos individuales son raros, pero que «cuando millones o miles de millones de agentes operan en la economía, incluso los eventos raros ocurren regularmente». METR ya ha hecho red-teaming de forma independiente sobre la plataforma de monitoreo fuera de línea.

6 % de compute para seguridad: la cifra más discutible

En la semana del 13 al 20 de julio de 2026, aproximadamente el 6 % del compute asignado a I+D de IA fue a trabajo de seguridad, y aproximadamente el 12 % del compute de I+D de IA fue pilotado por IA. Anthropic presenta estas estimaciones como deliberadamente conservadoras: todo trabajo que sirve tanto a las capacidades como a la seguridad se contó del lado de I+D, y los clasificadores de safeguards — un volumen de compute comparable — no están incluidos.

La propia empresa desactiva la lectura ingenua de la cifra. La investigación en seguridad consume poco por naturaleza: consiste sobre todo en diseñar experimentos, lo que requiere tiempo humano y poco GPU. Peor aún, el indicador es perverso por la eficiencia: un clasificador de seguridad más eficiente hace bajar la parte de seguridad sin que se haga menos. El interés es, por lo tanto, comparativo — en el tiempo, y entre laboratorios — más que absoluto.

La clasificación fue hecha por un clasificador Claude que leyó los metadatos y el código de las ejecuciones, sobre una muestra de ~14 % de los casi 10.000 runs de la semana, ponderada hacia los que más compute consumen. Anthropic reconoce que ciertos casos límite quedaron indecidibles incluso tras varias horas de revisión humana, y que «nuestra definición es una elección razonable entre otras».

De ahí la recomendación más mordaz del texto, que vale tanto para Anthropic como para sus competidores: cada desarrollador se sentirá tentado a trazar la línea generosamente, así que la carga de la prueba debe recaer sobre él, y la definición debería negociarse de antemano con los reguladores y la comunidad.

El verdadero entregable: una metodología que otros podrían copiar

Para cada una de las tres medidas, Anthropic precisa lo que «cualquier desarrollador de frontera podría publicar desde hoy». Ahí está el núcleo de la maniobra: transformar un informe casero en estándar de facto, antes de que un regulador invente uno peor hecho.

Se identifican dos obstáculos para la comparación entre laboratorios: la ausencia de una metodología común, y el hecho de que un laboratorio use sus propios modelos para autoevaluarse. Los remedios propuestos son la verificación por un tercero, o la evaluación cruzada por los modelos de otros desarrolladores, con salvaguardas contra el intercambio de datos sensibles comercialmente.

Anthropic anuncia finalmente integrar evaluadores externos provenientes de varias organizaciones, con acceso a los procesos, sistemas y datos internos comparable al de los equipos internos de evaluación de riesgos. Su mandato: verificar las prácticas de seguridad, señalar incidentes y seguir estas métricas. Ahí es donde se jugará la credibilidad del ejercicio.