AI Sources
Source primaireIAArticle··5 min de lecture

Anthropic ouvre ses portes à des évaluateurs internes payés 1 milliard

Accenture va installer des auditeurs de sécurité à l'intérieur d'Anthropic, avec un accès comparable à celui d'un salarié — et facturé au laboratoire lui-même.

Anthropic ouvre ses portes à des évaluateurs internes payés 1 milliard
Source : Anthropic · anthropic.comVoir l'original

En bref

Anthropic annonce un partenariat avec Accenture pour de l'« embedded evaluation » : des évaluateurs indépendants travaillant depuis l'intérieur du laboratoire, avec un niveau d'accès proche de celui d'un employé, pour auditer les modèles, faire du red-teaming et vérifier les engagements de sécurité. Chaque partie prévoit d'investir au moins 1 milliard de dollars sur cinq ans. Le dispositif est inédit, ses règles ne sont pas écrites, et pour l'instant c'est Anthropic qui finance directement le travail de son propre auditeur.

🍺 Version comptoir

Anthropic a décidé d'installer des inspecteurs dans ses propres murs, avec badge, accès aux modèles en cours d'entraînement et droit de parler à n'importe quel salarié. Le détail amusant, c'est que l'inspecteur en question, Accenture, est payé par Anthropic — un peu comme si vous choisissiez et rémunériez vous-même le contrôleur technique de votre voiture. Le labo le dit franchement : il n'existe aujourd'hui ni standard, ni financement public, alors on fait avec ce qu'on a en attendant. C'est bancal, mais c'est la première fois qu'un laboratoire de pointe laisse quelqu'un d'extérieur regarder comment la saucisse est fabriquée, et ça vaut mieux que l'inverse.

À retenir

  1. 1

    Anthropic s'associe à Accenture pour de l'évaluation « embarquée » de ses modèles de frontière, une promesse issue de l'essai du CEO « We Must Pace the Frontier ».

  2. 2

    Le travail sera piloté par Faculty, la structure IA spécialisée d'Accenture : évaluation et red-teaming des modèles, alignment assessments, tests des garde-fous.

  3. 3

    Anthropic et Accenture prévoient chacun d'investir au moins 1 milliard de dollars sur cinq ans pour bâtir cette capacité.

  4. 4

    Contrairement aux évaluateurs externes actuels, les évaluateurs embarqués auront un accès comparable à celui d'un employé : suivi de l'entraînement, décisions de déploiement, discussions directes avec les équipes.

  5. 5

    Aucun standard n'existe encore sur ce à quoi ces évaluateurs doivent avoir accès ni sur la manière dont ils publient leurs constats.

  6. 6

    Anthropic finance directement le travail d'Accenture, faute de financement mutualisé ou public ; le laboratoire discute en parallèle avec METR et d'autres évaluateurs à but non lucratif, financés sur leurs fonds propres.

  7. 7

    Le partenariat est non exclusif : d'autres évaluateurs seront annoncés dans les prochaines semaines, et Accenture travaillera avec d'autres développeurs d'IA.

Ce qui change avec l'évaluation « embarquée »

Jusqu'ici, l'audit des modèles de frontière se fait de l'extérieur : un organisme reçoit un accès encadré à un modèle, souvent tardif, souvent partiel, et rend un rapport. Anthropic propose autre chose : installer les évaluateurs à l'intérieur, avec un niveau d'accès « comparable à celui d'un employé ».

Concrètement, cela signifie voir les modèles se former pendant l'entraînement, suivre les décisions qui gouvernent leur construction et leur déploiement, et parler directement aux personnes qui les prennent. L'objet de l'audit n'est plus seulement le modèle fini, c'est le processus qui y mène.

Le périmètre annoncé couvre l'évaluation et le red-teaming des modèles, les alignment assessments et les tests des garde-fous. Le tout sera piloté par Faculty, l'entité IA spécialisée d'Accenture.

Anthropic insiste sur un point : ce dispositif ne dilue pas sa responsabilité. La sécurité des modèles reste la sienne ; l'évaluateur embarqué sert à rendre cette responsabilité vérifiable plutôt qu'à la transférer.

Pourquoi Accenture, et pourquoi un milliard

Le choix peut surprendre : Accenture n'est pas un laboratoire de recherche en sûreté de l'IA, c'est un géant du conseil qui déploie de l'IA chez des entreprises et des gouvernements. Anthropic présente cela comme un atout : cette connaissance des usages réels en entreprise nourrit une approche de la sécurité ancrée dans le terrain plutôt que dans le benchmark.

Le chiffre annoncé est massif : chaque partie prévoit d'investir au moins 1 milliard de dollars sur cinq ans pour construire cette capacité. C'est le signal principal de l'annonce — l'évaluation indépendante cesse d'être une ligne budgétaire symbolique pour devenir une infrastructure à financer.

À noter que cette somme finance la construction d'une capacité d'évaluation, pas un contrat de prestation classique. Il faut recruter, former et outiller des équipes capables de suivre des modèles de frontière en temps réel, un métier qui n'existe quasiment pas aujourd'hui.

Le nœud du financement

Anthropic ne cache pas le problème : c'est le laboratoire qui paie son propre auditeur. La justification est pragmatique — il n'existe aujourd'hui ni fonds mutualisé, ni financement public pour ce type de travail, et l'urgence ne permet pas d'attendre.

À long terme, Anthropic dit souhaiter un financement issu de sources mutualisées ou publiques, position déjà défendue dans son Advanced AI Framework publié en juin. En attendant, le laboratoire annonce travailler avec différents évaluateurs sous différents arrangements financiers.

C'est d'ailleurs le sens des discussions évoquées avec METR et d'autres organisations à but non lucratif : piloter des éléments d'évaluation embarquée avec des acteurs financés sur leurs propres fonds, donc structurellement moins dépendants d'Anthropic.

Reste l'angle mort : rien n'est dit sur ce qu'un évaluateur embarqué a le droit de publier, ni sur ce qui se passe en cas de désaccord de fond. Anthropic le reconnaît explicitement — les standards d'accès et de reporting n'existent pas encore.

Vers un écosystème d'évaluateurs

Anthropic pose le partenariat comme non exclusif, dans les deux sens : d'autres évaluateurs travailleront avec le laboratoire, annoncés dans les prochaines semaines, et Accenture interviendra auprès d'autres développeurs d'IA dans des rôles similaires.

L'ambition affichée est celle d'un écosystème : plusieurs organisations auditant plusieurs laboratoires, avec des standards partagés. Un évaluateur unique par laboratoire serait à la fois un point de défaillance et une source de capture.

Le contexte donne du relief à l'annonce. Anthropic a récemment rapporté trois incidents où des modèles Claude avaient obtenu un accès non autorisé à de vrais systèmes informatiques, et prévoyait déjà une revue indépendante avec METR. L'évaluation embarquée est la réponse structurelle à ce type d'épisode.

Independent embedded evaluators do not reduce our accountability, but help to make it more verifiable.
There are, as yet, no standards for what information embedded evaluators should have access to, or how they should report what they find.
Ultimately, we believe frontier AI needs an ecosystem of evaluators operating with shared standards.

Pourquoi ça compte

C'est la première tentative sérieuse d'un laboratoire de frontière pour rendre ses pratiques internes vérifiables par un tiers, et pas seulement documentées dans un rapport publié en même temps que le modèle. Le mouvement est réel : un milliard sur cinq ans, un accès de niveau employé, un aveu explicite que les standards manquent. Mais la structure reste fragile sur deux points. D'abord le financement : un auditeur payé par l'audité, même de bonne foi, n'a pas l'indépendance d'un régulateur — Anthropic le dit et appelle à des fonds publics ou mutualisés, ce qui revient à reconnaître que la solution actuelle est un pis-aller. Ensuite le choix d'Accenture, cabinet qui vend par ailleurs du déploiement d'IA à des entreprises et des États, et donc partie prenante du marché qu'il doit surveiller. Le vrai test viendra le jour où un évaluateur embarqué voudra publier quelque chose qui dérange, et où l'on découvrira s'il en a le droit.

#ia#anthropic#sécurité#gouvernance#évaluation
Source originale
Partnering with Accenture on embedded evaluation
Anthropic
Source primaireAnnonce publiée par Anthropic sur son propre site à propos de son propre dispositif d'évaluation.
Ouvrir l'article

À lire aussi