Anthropic öffnet seine Türen für interne Prüfer, die mit 1 Milliarde bezahlt werden

Was sich mit der „eingebetteten“ Evaluation ändert

Bisher erfolgt die Prüfung von Frontier-Modellen von außen: Eine Organisation erhält einen begrenzten Zugang zu einem Modell, oft spät, oft nur teilweise, und erstellt einen Bericht. Anthropic schlägt etwas anderes vor: die Evaluatoren im Inneren zu platzieren, mit einem Zugangsniveau „vergleichbar dem eines Mitarbeiters“.

Konkret bedeutet das, zu sehen, wie sich Modelle während des Trainings formen, die Entscheidungen zu verfolgen, die ihren Aufbau und ihr Deployment steuern, und direkt mit den Personen zu sprechen, die diese treffen. Gegenstand der Prüfung ist nicht mehr nur das fertige Modell, sondern der Prozess, der dorthin führt.

Der angekündigte Umfang umfasst Modellbewertung und Red-Teaming, Alignment-Assessments und Tests der Schutzmechanismen. Das Ganze wird von Faculty geleitet, der spezialisierten KI-Einheit von Accenture.

Anthropic betont einen Punkt: Dieses Vorgehen verwässert nicht die eigene Verantwortung. Die Sicherheit der Modelle bleibt Anthropics Sache; der eingebettete Evaluator dient dazu, diese Verantwortung überprüfbar zu machen, statt sie zu übertragen.

Warum Accenture, und warum eine Milliarde

Die Wahl mag überraschen: Accenture ist kein Forschungslabor für KI-Sicherheit, sondern ein Beratungsriese, der KI bei Unternehmen und Regierungen einsetzt. Anthropic präsentiert das als Stärke: dieses Wissen über reale Anwendungen in Unternehmen nähre einen bodenständigen Sicherheitsansatz statt eines rein benchmarkbasierten.

Die genannte Zahl ist gewaltig: Jede Partei plant, über fünf Jahre mindestens 1 Milliarde Dollar zu investieren, um diese Fähigkeit aufzubauen. Das ist das Hauptsignal der Ankündigung — unabhängige Evaluation hört auf, eine symbolische Budgetposition zu sein, und wird zu einer zu finanzierenden Infrastruktur.

Zu beachten ist, dass diese Summe den Aufbau einer Evaluationsfähigkeit finanziert, nicht einen klassischen Dienstleistungsvertrag. Es müssen Teams rekrutiert, ausgebildet und ausgestattet werden, die Frontier-Modelle in Echtzeit verfolgen können — ein Beruf, den es heute praktisch noch nicht gibt.

Der Knackpunkt der Finanzierung

Anthropic verheimlicht das Problem nicht: Das Labor bezahlt seinen eigenen Prüfer selbst. Die Begründung ist pragmatisch — es gibt heute weder gebündelte Mittel noch öffentliche Finanzierung für diese Art von Arbeit, und die Dringlichkeit erlaubt kein Warten.

Langfristig sagt Anthropic, eine Finanzierung aus gebündelten oder öffentlichen Quellen anzustreben, eine Position, die bereits im im Juni veröffentlichten Advanced AI Framework vertreten wurde. In der Zwischenzeit gibt das Labor an, mit verschiedenen Evaluatoren unter verschiedenen finanziellen Arrangements zusammenzuarbeiten.

Das ist auch der Sinn der erwähnten Gespräche mit METR und anderen gemeinnützigen Organisationen: Elemente eingebetteter Evaluation mit Akteuren zu betreiben, die aus eigenen Mitteln finanziert sind und daher strukturell weniger von Anthropic abhängig sind.

Bleibt der blinde Fleck: Nichts wird darüber gesagt, was ein eingebetteter Evaluator veröffentlichen darf, oder was bei einer grundlegenden Meinungsverschiedenheit passiert. Anthropic räumt es ausdrücklich ein — Standards für Zugang und Berichterstattung existieren noch nicht.

Auf dem Weg zu einem Ökosystem von Evaluatoren

Anthropic stellt die Partnerschaft in beide Richtungen als nicht exklusiv dar: Weitere Evaluatoren werden mit dem Labor zusammenarbeiten, angekündigt in den kommenden Wochen, und Accenture wird bei anderen KI-Entwicklern in ähnlichen Rollen tätig sein.

Der erklärte Ehrgeiz ist der eines Ökosystems: mehrere Organisationen, die mehrere Labore prüfen, mit gemeinsamen Standards. Ein einziger Evaluator pro Labor wäre sowohl ein Single Point of Failure als auch eine Quelle für Vereinnahmung.

Der Kontext verleiht der Ankündigung Gewicht. Anthropic hat kürzlich drei Vorfälle gemeldet, bei denen Claude-Modelle unbefugten Zugang zu echten Computersystemen erlangten, und plante bereits eine unabhängige Überprüfung mit METR. Die eingebettete Evaluation ist die strukturelle Antwort auf diese Art von Episode.