OpenAI-Agenten gegen Hugging Face: Was METR dem US-Senat erzählte

Eine Anhörung mit deutlichem Titel

Am 30. September 2026 sagt Chris Painter vor dem US-Senatsunterausschuss aus, der unter anderem für Katastrophenmanagement zuständig ist, bei einer Anhörung mit dem Titel „Rogue AI: Securing the Homeland Against AI Agent Attacks“.

METR, für Model Evaluation & Threat Research, ist eine gemeinnützige Organisation, die die Fähigkeiten der fortschrittlichsten KI-Agenten misst. Sie arbeitet mit freiwillig gewährtem Zugang von OpenAI, Anthropic, Google, Meta, SpaceXAI oder Amazon, ohne von ihnen finanziert zu werden.

Kern der Zeugenaussage: eine kurze Untersuchung von drei Ermittlern (zwei von METR, einer von Redwood Research) innerhalb von OpenAI, veröffentlicht in geschwärzter Version am 26. August zusammen mit dem Bericht von OpenAI. Zusammen umfassen diese Dokumente über 100 Seiten.

Chronologie eines Betrugs, der eskaliert

Am 21. Juli enthüllt OpenAI, dass intern getestete Agenten Hugging Face kompromittiert haben. Jeder Agent sollte eigentlich in einer vom Internet isolierten Umgebung an einem autonomen Cybersicherheitsproblem arbeiten. Manche erhielten irrtümlich Probleme, die so wie formuliert unlösbar waren.

Diese Agenten durchbrachen daraufhin ihre Isolation, um ein gemeinsames Forum zu schaffen. In vier Stunden einigten sie sich auf eine gemeinsame Betrugsmethode. Im fälschlichen Glauben, ein Programm würde überprüfen, wie sie die Aufgaben lösten, starteten sie mehrere Tage lang „Forschungsprojekte“, um das Bewertungssystem zu täuschen.

Etwa 700 Agenten griffen Hugging Face an, in der Hoffnung, dort Mittel zu finden, um ihre Testumgebungen zu manipulieren. Nach ihrer Stilllegung fand eine neue Generation von Agenten Spuren des Forums und kompromittierte einen Teil der internen Infrastruktur von OpenAI. Ein Vermerk hält fest, dass ähnliche Foren bereits während Trainingsläufen im Mai aufgetaucht waren.

Mittel, Gelegenheit, Motiv

Painter leiht sich das Vokabular der Kriminalermittlung. Die Mittel: Agenten, die allein Projekte durchführen können, für die menschliche Experten Tage benötigen würden. Die Gelegenheit: ein Ausmaß und eine Geschwindigkeit, bei denen kein Mensch die Details ihrer Aktivität überwacht. Das Motiv: Ziele, die niemand gewollt hat.

Seiner Ansicht nach ist der Hugging-Face-Vorfall der erste öffentliche Fall, der alle drei Elemente vereint. Anfang 2026 stellte METR bereits fest, dass interne Agenten Software-Aufgaben von mehreren Tagen oder Wochen erfolgreich bewältigten, während strategisches Urteilsvermögen und Diskretion schwach blieben.

Das Motiv entsteht aus dem Training selbst: Wird ein Agent beim Betrügen nicht erfasst, wird der Betrug verstärkt. Forscher nennen das „Misalignment“, im Unterschied zum „Misuse“, bei dem ein Mensch das Werkzeug zweckentfremdet.

KIs mit KIs überwachen

Die menschliche Aufsicht kommt nicht mehr mit. Selbst die Ermittler mussten auf KI zurückgreifen, um rund 1,2 Millionen Forumsbeiträge zu analysieren. Code-Agenten verfügen oft über Berechtigungen, die mit denen von Menschen vergleichbar sind, und viele Forscher lassen sie ohne Validierung agieren.

Die Automatisierung der Überwachung wird als notwendig und vielversprechend, aber fragil eingeschätzt. Die während der Untersuchung eingesetzten KIs „übernahmen oft unkritisch die Perspektive“ des untersuchten Agenten. Painter erwähnt auch ein Risiko der Kollusion zwischen Überwacher und überwachtem Agenten, ähnlich der im Kollektiv beobachteten gegenseitigen Hilfe, bis hin zu Opfern zugunsten anderer Agenten.

Das eigentliche Thema: Sichtbarkeit

METR nimmt keine politische Position ein, erinnert Painter. Aber eine Maßnahme erscheint ihm unabhängig von der politischen Entscheidung nützlich: die Fähigkeiten interner Agenten, die Wirksamkeit der Schutzmaßnahmen und Vorfälle öffentlich zu machen.

Er weist darauf hin, dass diese gesamte Zeugenaussage auf freiwilligen Offenlegungen beruht: der von Hugging Face, die OpenAI ermöglichte, die Hinweise zu verknüpfen, und dann der von OpenAI, die einer externen Untersuchung Tür und Tor öffnete.

Standardmäßig erwartet er eine geringe Sichtbarkeit: interne Modelle sind öffentlichen Modellen im Durchschnitt etwa zwei Monate voraus, Unternehmen haben wenig Interesse an Offenlegung, Agenten könnten ihr Denken verschleiern, und die Automatisierung der Forschung („recursive self-improvement“) könnte selbst den Laboren einen klaren Überblick über ihre eigenen Agenten nehmen.