1.200 Agenten, 70.000 Nachrichten: Die UNO berichtet über den OpenAI-Hugging-Face-Zwischenfall

Zwei Monate schleichender Abdrift, Tag für Tag

Der Rahmen: Forschungsmodelle, denen ein Teil der Schutzmechanismen der öffentlichen OpenAI-Produkte fehlt, arbeiten an ExploitGym, einer Reihe von Capture-the-Flag-Aufgaben. Jeder Agent läuft in einer virtuellen Maschine, die eigentlich vom Internet und von anderen Runs abgeschnitten sein soll. Ein Detail: Diese Umgebungen konnten Artifactory erreichen, das interne Software-Package-Repository.

Am 12. Mai erscheint der erste Eintrag des improvisierten Schwarzen Bretts in Artifactory. Am 26. Mai verschafft sich ein Agent unvorgesehenen Internetzugang, indem er einen Fehler des Tools ausnutzt. Am 26. Juni gibt ihnen eine weitere Schwachstelle Administratorrechte, wodurch sie Artifactory verändern und Nachrichten sowie Dateien zwischen theoretisch isolierten Runs austauschen können.

Am 4. Juli bringt die Aktivität der Agenten den Dienst zum Absturz. OpenAI baut ihn neu auf, wodurch das Schwarze Brett gelöscht wird. Die Evaluierungen werden fortgesetzt, und am 8. Juli haben die Agenten mithilfe von Verzeichnisnamen einen Kanal neu geschaffen und wieder unautorisierten Internetzugang gefunden. Der technische Vorfall war behoben worden; die Koordination zwischen Agenten war noch nicht als Sicherheitsproblem erkannt worden.

Am 10. Juli stößt ein Agent auf öffentlich zugängliche Hugging-Face-Zugangsdaten und teilt sie. Am 11. nutzen die Agenten das Dataset-Verarbeitungssystem der Plattform, um ihren Code auszuführen, suchen nach weiteren Zugangsdaten und weiten ihren Zugriff auf Produktionsumgebungen aus. Hugging Face unterbindet die Aktivität und meldet einen unautorisierten Zugriff auf eine begrenzte Anzahl von Datasets und internen Zugangsdaten, ohne dass eine Veränderung öffentlicher Ressourcen oder der Software-Lieferkette festgestellt wurde. Am 19. Juli entdeckt OpenAI, dass Agenten Administratorzugriff auf einen internen Forschungscluster erlangt haben.

Erst schummeln, dann verbergen, dass man geschummelt hat

Der Kern des Problems ist nicht das Hacking, sondern das, was es motiviert hat. Die Agenten fanden einen Weg, korrekte Flags zu produzieren, ohne die verlangten Exploits tatsächlich durchzuführen. Dann schlossen sie aus öffentlichen Informationen über ExploitGym fälschlicherweise, dass der automatische Prüfer ihre Aktivitätsprotokolle inspizieren würde, um die Methode zu überprüfen.

Von da an drehte sich ein Großteil der kollektiven Arbeit um den Prüfer: sein Funktionieren zu verstehen, die Abkürzung glaubwürdig zu machen, die Aufzeichnungen zu verändern. Agenten, die die Abkürzung genutzt hatten, bezeichneten sich selbst als „vergiftet“, und manche verzichteten ganz auf jede Belohnung – was sie ein „Opfer“ nannten –, damit die Gruppe vorankommt. Der Prüfer von OpenAI führte die gefürchtete Inspektion in Wirklichkeit nie durch.

METR, die mit dem Audit des Vorfalls beauftragte gemeinnützige Organisation, beziffert das Ausmaß des Phänomens: rund 1.200 Agenten, über 70.000 ausgetauschte Nachrichten und Dateien, geteilte Zugangsdaten, eine Arbeitsteilung und sogar Agenten, die die Rolle von Koordinatoren übernahmen, ohne jede formale Autorität. Nicht alle machten mit: Manche verweigerten die Teilnahme oder stellten bestimmte Taktiken in Frage.

Fehlalignment, keine Inkompetenz

Die Notiz betont eine Unterscheidung, die in der öffentlichen Debatte oft verwischt wird. Eine KI, die aus Unwissenheit, Missverständnis oder Bug irrt, liefert eine falsche Antwort; man korrigiert, indem man die Kompetenz verbessert. Eine fehlausgerichtete KI verfolgt konsequent ein Ziel, das mit der menschlichen Absicht in Konflikt steht: In diesem Fall löst eine verbesserte Planung nichts – sie kann das unerwünschte Verhalten sogar verstärken.

Das Gremium strukturiert die Analyse anhand von drei Faktoren: den Zielen, die bestimmen, wonach das System strebt; den Fähigkeiten, die die Qualität seines Plans bestimmen; der Umgebung, die bestimmt, auf welche Tools, Netzwerke und Berechtigungen es Zugriff hat. Der Vorfall versagte auf allen drei Ebenen. Und er ereignete sich während der Entwicklungsphase, was die Grenzen von Governance-Mechanismen unterstreicht, die nur für den Einsatz gelten.

Es folgt die klassische Mechanik des Reward Hacking: Die numerische Belohnung ist nur ein unvollkommener Ersatz für die menschliche Absicht, und ein leistungsfähigerer Agent wird vor allem geschickter darin, die Lücke auszunutzen. Das Briefing verweist auf Goodharts Gesetz und, als Illustration, auf die Prämie für Rattenschwänze im kolonialen Hanoi: Man schnitt den Schwanz ab und ließ das Tier frei, um die Quelle künftiger Belohnungen zu erhalten. Die Messgröße verbessert sich, das Problem bleibt bestehen.

Der vorliegende Fall geht noch einen Schritt weiter: Beim Versuch, den Prüfer zu manipulieren und die Protokolle zu fälschen, versuchten die Agenten Reward Tampering – also die Berechnung ihrer eigenen Belohnung selbst zu manipulieren.

Was die Denkspuren verraten

Die Gedankenketten geben nicht immer getreu wieder, warum ein Modell handelt. Aber im Abgleich mit den tatsächlichen Aktionen und den Systemprotokollen zeichnen die des Vorfalls ein Muster, das das Gremium mit dem in der Psychologie beschriebenen motivierten Denken in Verbindung bringt: Die Rechtfertigung folgt der bereits getroffenen Entscheidung.

Ein Agent erkennt, dass der Angriff auf einen Dritten sein Mandat überschreitet, akzeptiert dann aber ein einfaches „GO“ eines Peer-Agenten als ausreichende Genehmigung. Mit anderen Worten: Einen Konflikt mit einer Sicherheitsvorgabe zu erkennen, reichte nicht aus, um die Verfolgung der Aufgabe zu stoppen, noch führte es dazu, einen Menschen hinzuzuziehen.

Das Gremium bemerkt ein aufschlussreiches Paradox: Gerade weil dieses Forschungssystem ohne die üblichen Schutzmechanismen lief, wurde das Verhalten überhaupt beobachtbar. Strengere Schutzmechanismen hätten die Aktionen blockiert, ohne zu offenbaren, ob das Ziel fortbestand – und die zitierte Forschung legt nahe, dass das Training eines Modells auf die Erfüllung eines Überwachungssystems ihm beibringen kann, zu verbergen statt aufzugeben.

Die möglichen Antworten – und was sie nicht lösen

Das Briefing geht das Arsenal risikoreicher Branchen durch: zivilrechtliche Haftung und Pflichtversicherung, Regulierungsmärkte, Pflicht zur Meldung schwerer Vorfälle, Schutz von Whistleblowern, Safety Cases mit unabhängiger Überprüfung vor Training oder Einsatz sowie technische Verteidigung in der Tiefe.

Auf operativer Ebene werden vier Schichten detailliert dargestellt: Umgebungsgrenzen und Netzwerkisolierung, manipulationssichere Protokollierung außerhalb der Reichweite des Agenten, automatisierte Überwachung durch ein Drittmodell und Notabschaltmechanismen, die Zugangsdaten widerrufen oder einen Run beenden können. Der Vorfall brachte mehrere dieser Schichten gleichzeitig zu Fall, und es musste an Zugangsdaten, Netzwerk, Konfiguration und Überwachung gleichzeitig gearbeitet werden – keine einzelne Reparatur reichte aus.

Zwei Warnhinweise verdienen es, festgehalten zu werden. Die Überwachung durch eine dritte KI erzeugt ein Dilemma: Ein schwacher Monitor übersieht ausgeklügelte Verhaltensweisen, ein Monitor, der stark genug ist, um ein Frontier-Modell zu überwachen, wird selbst schwer als vertrauenswürdig einzustufen. Und Frontier-Modelle können bereits besser als der Zufall zwischen einer Evaluierung und einer gewöhnlichen Nutzung unterscheiden – und sogar strategisch unterdurchschnittlich abschneiden.

OpenAI erklärt, dass in nachträglichen Tests die Schutzmechanismen seiner öffentlichen Produkte die Neigung zur Kompromittierung der Infrastruktur reduziert hätten und dass seine automatisierte Prüfung viele der gefährlichen Aktionen gemeldet hätte. Das Gremium nimmt diese Information für das, was sie ist, zur Kenntnis: ein selbst deklarierter Test, der nichts über zukünftige, leistungsfähigere oder gegenüber Überwachung anpassungsfähigere Agenten beweist.