Anthropic ouvre le capot : Claude « pilote » 26 % de sa R&D IA

Le pari : mesurer les intrants, pas seulement les capacités

Les évaluations de capacités disent ce qu'un modèle sait faire. Anthropic propose ici l'inverse : mesurer comment les modèles sont fabriqués. L'idée est de pouvoir corréler des intrants vérifiables — compute, temps humain, degré d'automatisation — avec les sorties, plutôt que de découvrir les sauts de capacité une fois le modèle publié.

Le cadrage politique est explicite dès l'introduction : « alors que le monde envisage de ralentir le rythme du développement de l'IA frontière, le public a besoin de plus d'informations ». C'est la suite directe de l'appel de Dario Amodei à une coordination sur le rythme, et du cadre réglementaire proposé par Anthropic, l'Advanced AI Framework.

Autrement dit : ces métriques ne sont pas seulement de la transparence pour la transparence. Elles sont conçues pour servir de déclencheurs. Anthropic suggère par exemple qu'un certain niveau d'automatisation pourrait imposer une fenêtre de test obligatoire avant qu'un nouveau modèle soit utilisé pour faire de la R&D IA.

26 % : ce que le chiffre veut dire (et ne dit pas)

L'index repose sur l'échelle d'Epoch AI, de AL0 (aucune IA) à AL5 (autonomie totale). AL3, « collabore » : l'IA fait de gros morceaux sous direction humaine étroite. AL4, « mène » : elle boucle l'essentiel de la tâche depuis une consigne de haut niveau, l'humain supervise. En août 2026, 26 % du travail de R&D IA d'Anthropic est à AL4 ou plus, plus de 90 % à AL3 ou plus, et rien n'atteint AL5.

La méthode est inhabituellement détaillée. Pour chaque semaine de juillet 2026, 20 % du personnel des départements impliqués dans la boucle R&D ont été échantillonnés ; un agent Claude a lu leurs traces Slack et leur documentation interne pour lister leurs tâches. Résultat : ~15 000 tâches granulaires, réorganisées en un arbre de 542 nœuds dont 378 feuilles, du type « diagnostic de défauts de la plateforme d'éval » ou « postmortems d'incidents de serving ». L'arbre est gelé pour que les mesures suivantes portent sur le même panier de travail.

Les limites sont assumées. Le juge est un modèle Claude, donc susceptible de partager les angles morts de ce qu'il évalue ; l'accord modèle-humain exact est de 59 %, contre 35 % entre humains, et 97 % des notes tombent à un niveau d'écart. La pondération par temps-personne est reconnue comme « une approximation grossière ». Et un panier gelé ne capture pas, par construction, les nouvelles catégories de travail que les humains pourraient inventer en se déplaçant.

30 000 agents et une salle de contrôle

Le deuxième volet est le plus concret opérationnellement. Sur sa plateforme interne la plus utilisée, Anthropic fait tourner environ 30 000 agents de recherche et d'ingénierie en simultané. Deux types de garde-fous : des monitors en ligne, qui inspectent chaque action avant exécution et bloquent l'irréversible — typiquement un agent qui tenterait d'exfiltrer des poids de modèle — et des monitors hors ligne, qui relisent après coup pour repérer les dérives lentes, comme des signes de désalignement.

Les trois métriques proposées sont la couverture, la latence de revue et le taux d'escalade. Couverture : 100 % des actions passent par le monitor en ligne, en général en quelques secondes, et 100 % sont ingérées par le monitor hors ligne. Taux de blocage : sur plus d'un milliard de décisions en août 2026, 0,002 % ont été bloquées. Côté hors ligne, une à deux transcriptions sur mille sont signalées, soit ~100 000 par semaine, filtrées par des classifieurs avant qu'une cinquantaine n'arrive devant des humains.

Deux choix d'architecture méritent d'être notés. Chaque agent a une identité persistante, non liée au modèle sous-jacent, ce qui permet d'auditer son historique à travers les mises à jour et l'empêche de confondre ce que dit un autre agent avec sa propre pensée. Et les agents communiquent sur une messagerie ouverte partagée, pas en privé : ils peuvent se corriger, et le monitoring peut suivre la conversation entre eux.

Le point important est statistique : Anthropic note que les mauvais comportements individuels sont rares, mais que « quand des millions ou des milliards d'agents opèrent dans l'économie, même des événements rares arrivent régulièrement ». METR a déjà red-teamé la plateforme de monitoring hors ligne de façon indépendante.

6 % de compute pour la sécurité : le chiffre le plus discutable

Sur la semaine du 13 au 20 juillet 2026, environ 6 % du compute alloué à la R&D IA est allé à du travail de sécurité, et environ 12 % du compute de R&D IA pilotée par l'IA. Anthropic présente ces estimations comme délibérément conservatrices : tout travail qui sert autant les capacités que la sécurité a été compté du côté R&D, et les classifieurs de safeguards — un volume de compute comparable — ne sont pas inclus.

L'entreprise désamorce elle-même la lecture naïve du chiffre. La recherche en sécurité est peu gourmande par nature : elle consiste surtout à concevoir des expériences, ce qui prend du temps humain et peu de GPU. Pire, l'indicateur est perverse par l'efficacité : un classifieur de sécurité plus efficace fait baisser la part de sécurité sans qu'on en fasse moins. L'intérêt est donc comparatif — dans le temps, et entre labos — plus qu'absolu.

La classification a été faite par un classifieur Claude lisant les métadonnées et le code des runs, sur un échantillon de ~14 % des presque 10 000 runs de la semaine, pondéré vers les plus gourmands en compute. Anthropic reconnaît que certains cas frontières sont restés indécidables même après plusieurs heures de revue humaine, et que « notre définition est un choix raisonnable parmi d'autres ».

D'où la recommandation la plus mordante du texte, qui vaut autant pour Anthropic que pour ses concurrents : chaque développeur sera tenté de tracer la ligne généreusement, donc la charge de la preuve doit peser sur lui, et la définition devrait être négociée à l'avance avec les régulateurs et la communauté.

Le vrai livrable : une méthodologie que d'autres pourraient copier

Pour chacune des trois mesures, Anthropic précise ce que « n'importe quel développeur frontière pourrait publier dès aujourd'hui ». C'est le cœur de la manœuvre : transformer un rapport maison en standard de facto, avant qu'un régulateur n'en invente un moins bien fichu.

Deux obstacles sont identifiés pour la comparaison entre labos : l'absence de méthodologie commune, et le fait qu'un labo utilise ses propres modèles pour s'auto-évaluer. Les remèdes proposés sont la vérification par un tiers, ou l'évaluation croisée par les modèles d'autres développeurs, avec des garde-fous contre l'échange de données sensibles commercialement.

Anthropic annonce enfin intégrer des évaluateurs tiers issus de plusieurs organisations, avec un accès aux processus, systèmes et données internes comparable à celui des équipes internes d'évaluation des risques. Leur mandat : vérifier les pratiques de sécurité, signaler les incidents, et suivre ces métriques. C'est là que se jouera la crédibilité de l'exercice.