Anthropic öffnet die Motorhaube: Claude „leitet“ 26 % seiner KI-F&E

Die Wette: Inputs messen, nicht nur Fähigkeiten

Capability-Evaluierungen sagen, was ein Modell kann. Anthropic schlägt hier das Gegenteil vor: messen, wie die Modelle hergestellt werden. Die Idee ist, überprüfbare Inputs – Compute, menschliche Arbeitszeit, Automatisierungsgrad – mit den Outputs korrelieren zu können, statt Fähigkeitssprünge erst nach Veröffentlichung des Modells zu entdecken.

Der politische Rahmen wird schon in der Einleitung explizit gemacht: „während die Welt darüber nachdenkt, das Tempo der Frontier-KI-Entwicklung zu drosseln, braucht die Öffentlichkeit mehr Informationen.“ Das ist die direkte Fortsetzung von Dario Amodeis Aufruf zu einer Koordination beim Tempo, sowie des von Anthropic vorgeschlagenen Regulierungsrahmens, des Advanced AI Framework.

Mit anderen Worten: Diese Kennzahlen sind nicht nur Transparenz um der Transparenz willen. Sie sind als Auslöser gedacht. Anthropic schlägt beispielsweise vor, dass ein bestimmtes Automatisierungsniveau ein obligatorisches Testfenster erzwingen könnte, bevor ein neues Modell für KI-F&E eingesetzt wird.

26 %: Was die Zahl bedeutet (und was nicht)

Der Index basiert auf der Skala von Epoch AI, von AL0 (keine KI) bis AL5 (vollständige Autonomie). AL3, „kollaboriert“: Die KI erledigt große Teile unter enger menschlicher Anleitung. AL4, „leitet“: Sie führt den Großteil der Aufgabe ausgehend von einer Anweisung auf hoher Ebene aus, der Mensch überwacht. Im August 2026 liegen 26 % der KI-F&E-Arbeit von Anthropic auf AL4 oder höher, mehr als 90 % auf AL3 oder höher, und nichts erreicht AL5.

Die Methode ist ungewöhnlich detailliert. Für jede Juliwoche 2026 wurden 20 % des Personals der an der F&E-Schleife beteiligten Abteilungen stichprobenartig erfasst; ein Claude-Agent las ihre Slack-Spuren und interne Dokumentation, um ihre Aufgaben aufzulisten. Ergebnis: ~15.000 granulare Aufgaben, neu organisiert in einen Baum mit 542 Knoten, davon 378 Blätter, etwa „Fehlerdiagnose der Eval-Plattform“ oder „Postmortems zu Serving-Incidents“. Der Baum wird eingefroren, damit sich nachfolgende Messungen auf denselben Aufgabenkorb beziehen.

Die Grenzen werden offen eingeräumt. Der Richter ist ein Claude-Modell, könnte also dieselben blinden Flecken teilen wie das Bewertete; die exakte Übereinstimmung zwischen Modell und Mensch liegt bei 59 %, gegenüber 35 % zwischen Menschen, und 97 % der Bewertungen weichen nur um eine Stufe ab. Die Gewichtung nach Personenzeit wird als „grobe Annäherung“ anerkannt. Und ein eingefrorener Korb erfasst naturgemäß nicht die neuen Arbeitskategorien, die Menschen erfinden könnten, während sie sich anderswohin verlagern.

30.000 Agenten und ein Kontrollraum

Der zweite Teil ist operativ am konkretesten. Auf seiner meistgenutzten internen Plattform lässt Anthropic gleichzeitig rund 30.000 Forschungs- und Engineering-Agenten laufen. Zwei Arten von Schutzmechanismen: Online-Monitore, die jede Aktion vor der Ausführung prüfen und Irreversibles blockieren – typischerweise ein Agent, der versuchen würde, Modellgewichte zu exfiltrieren – und Offline-Monitore, die im Nachhinein gegenlesen, um langsame Abweichungen aufzuspüren, etwa Anzeichen von Fehlausrichtung.

Die drei vorgeschlagenen Kennzahlen sind Abdeckung, Prüflatenz und Eskalationsrate. Abdeckung: 100 % der Aktionen durchlaufen den Online-Monitor, meist innerhalb weniger Sekunden, und 100 % werden vom Offline-Monitor erfasst. Blockierungsrate: Von über einer Milliarde Entscheidungen im August 2026 wurden 0,002 % blockiert. Offline werden ein bis zwei Transcripts von tausend markiert, also ~100.000 pro Woche, gefiltert durch Klassifikatoren, bevor rund fünfzig davon vor Menschen landen.

Zwei Architekturentscheidungen verdienen Erwähnung. Jeder Agent hat eine persistente Identität, unabhängig vom zugrundeliegenden Modell, was es ermöglicht, seine Historie über Updates hinweg zu prüfen, und verhindert, dass er das, was ein anderer Agent sagt, mit seinem eigenen Denken verwechselt. Und die Agenten kommunizieren über eine offene, geteilte Nachrichtenplattform, nicht privat: Sie können sich gegenseitig korrigieren, und das Monitoring kann dem Gespräch zwischen ihnen folgen.

Der wichtige Punkt ist statistischer Natur: Anthropic betont, dass individuelles Fehlverhalten selten ist, aber „wenn Millionen oder Milliarden von Agenten in der Wirtschaft operieren, treten selbst seltene Ereignisse regelmäßig auf“. METR hat die Offline-Monitoring-Plattform bereits unabhängig einem Red-Teaming unterzogen.

6 % Compute für Sicherheit: die fragwürdigste Zahl

In der Woche vom 13. bis 20. Juli 2026 flossen etwa 6 % des für KI-F&E vorgesehenen Compute in Sicherheitsarbeit, und etwa 12 % des KI-F&E-Compute wurde von KI selbst gesteuert. Anthropic stellt diese Schätzungen als bewusst konservativ dar: Jede Arbeit, die sowohl Fähigkeiten als auch Sicherheit dient, wurde der F&E-Seite zugerechnet, und die Safeguard-Klassifikatoren – ein vergleichbares Compute-Volumen – sind nicht eingeschlossen.

Das Unternehmen entschärft selbst die naive Lesart der Zahl. Sicherheitsforschung ist ihrer Natur nach wenig ressourcenhungrig: Sie besteht vor allem im Entwerfen von Experimenten, was menschliche Zeit, aber wenig GPU kostet. Schlimmer noch, der Indikator ist durch Effizienz pervers: Ein effizienterer Sicherheitsklassifikator senkt den Sicherheitsanteil, ohne dass weniger davon getan wird. Der Nutzen liegt also im Vergleich – über die Zeit und zwischen Laboren – mehr als im Absoluten.

Die Klassifizierung erfolgte durch einen Claude-Klassifikator, der Metadaten und Code der Runs las, an einer Stichprobe von ~14 % der fast 10.000 Runs der Woche, gewichtet zugunsten der rechenintensivsten. Anthropic räumt ein, dass manche Grenzfälle selbst nach mehreren Stunden menschlicher Prüfung unentscheidbar blieben und dass „unsere Definition eine von mehreren vernünftigen Wahlmöglichkeiten ist“.

Daraus ergibt sich die schärfste Empfehlung des Textes, die für Anthropic ebenso gilt wie für seine Konkurrenten: Jeder Entwickler wird versucht sein, die Grenze großzügig zu ziehen, also muss die Beweislast bei ihm liegen, und die Definition sollte im Voraus mit Regulierungsbehörden und der Community ausgehandelt werden.

Das eigentliche Ergebnis: eine Methodik, die andere kopieren könnten

Für jede der drei Messungen präzisiert Anthropic, was „jeder Frontier-Entwickler schon heute veröffentlichen könnte“. Das ist der Kern des Manövers: einen hauseigenen Bericht in einen De-facto-Standard zu verwandeln, bevor ein Regulierer einen schlechter durchdachten erfindet.

Zwei Hindernisse werden für den Vergleich zwischen Laboren identifiziert: das Fehlen einer gemeinsamen Methodik und die Tatsache, dass ein Labor seine eigenen Modelle zur Selbstbewertung nutzt. Als Abhilfe werden Überprüfung durch Dritte oder Kreuzbewertung durch die Modelle anderer Entwickler vorgeschlagen, mit Schutzmechanismen gegen den Austausch geschäftlich sensibler Daten.

Anthropic kündigt schließlich an, Drittgutachter aus mehreren Organisationen einzubinden, mit Zugang zu internen Prozessen, Systemen und Daten, der mit dem interner Risikobewertungsteams vergleichbar ist. Ihr Mandat: Sicherheitspraktiken überprüfen, Vorfälle melden und diese Kennzahlen verfolgen. Genau hier wird sich die Glaubwürdigkeit dieses Vorhabens entscheiden.