OpenAI wirft Moonshot AI vor, das verborgene Reasoning seiner Modelle abgesaugt zu haben
Mehr als 15.000 Konten, Spitzen von 16.000 Anfragen innerhalb von zwei Tagen: OpenAI beschreibt detailliert eine adversariale Distillationskampagne, die es teilweise dem Entwickler von Kimi zuschreibt.
Wer darüber berichtet
Aufgegriffen von 6 Medien · 2 erstrangig · 1 Tech · 1 Forum · 7 Social-Posts
Kurz gesagt
OpenAI erklärt, Ende Juli eine koordinierte Kampagne zerschlagen zu haben, die darauf abzielte, das „geschützte Reasoning“ seiner Modelle zu extrahieren, um damit einen Konkurrenten zu trainieren. Ohne Server zu hacken, manipulierten die Betreiber Interaktionen, um dieses Reasoning im Klartext erscheinen zu lassen. OpenAI schreibt einen Kern der Aktivität Personen zu, die mit Moonshot AI, dem Herausgeber von Kimi, in Verbindung stehen, und stellt Distillation als Frage der nationalen Sicherheit dar.
🍺 Tresen-Version
Die Modelle von OpenAI denken im Verborgenen nach, bevor sie antworten, und dieser Entwurf bleibt verschlüsselt unter Verschluss. Ein paar Schlaumeier haben den Trick gefunden: den verschlüsselten Entwurf kopieren und höflich eine andere Konversation desselben Modells bitten, ihn zu entschlüsseln. Das ist ein bisschen so, als würde man dem Schlosser den Safe anvertrauen und ihn bitten, ihn für einen Freund zu öffnen – und es hat lange genug funktioniert, um 15.000 Konten zu mobilisieren. Jenseits des Urheberrechtsstreits geht es darum, dass das Reasoning der besten Modelle zu einem Rohstoff wird, den man absaugen kann, und die ganze Branche wird lernen müssen, ihn zu verriegeln.
Das Wichtigste
- 1
Die Aktivität begann am 1. Juli unauffällig, bevor es am 24. und 25. Juli zu Spitzen kam: 16.000 Anfragen nach einem Extraktionsmuster, abgeschickt von über 4.000 Nutzern.
- 2
Ein größerer Cluster von über 15.000 Konten mit ähnlichen Prompt-Mustern wurde am 28. Juli vollständig neutralisiert.
- 3
Keine gebrochene Verschlüsselung, keine kompromittierte Datenbank: Die Betreiber manipulierten die Interaktionen so, dass das verborgene Reasoning in sichtbarer Form reproduziert wurde.
- 4
Eine Technik bestand darin, das verschlüsselte Reasoning aus einer Konversation zu kopieren und das Modell in einer anderen Konversation zu bitten, es zu entschlüsseln und niederzuschreiben.
- 5
OpenAI schreibt einen „Kern“ der Aktivität Einzelpersonen zu, die mit Moonshot AI, dem Entwickler von Kimi, verbunden sind, ohne zu behaupten, dass alle Betreiber einem einzigen Akteur zuzurechnen seien.
- 6
Unabhängige Sicherheitsforscher hatten verwandte Schwachstellen gemeldet, cross-model und über die Kompaktierung von Konversationen, deren Existenz OpenAI bestätigt.
- 7
Die Informationen wurden über das Frontier Model Forum und staatliche Kanäle geteilt, da die Schwachstelle nicht spezifisch für OpenAI-Modelle ist.
Was adversariale Distillation ist
OpenAI definiert adversariale Distillation als die systematische und nicht autorisierte Nutzung der Ausgaben oder des Reasonings eines Modells, um ein anderes Modell zu trainieren, zu reproduzieren oder zu verbessern.
Ziel ist hier das „geschützte Reasoning“: die interne Spur, die das Modell erzeugt, um eine Aufgabe zu lösen, die der Nutzer nicht sieht. Ihre Extraktion kann Informationen offenlegen, die aus der finalen Antwort entfernt wurden, und einem Dritten helfen, die Fähigkeiten des Modells zu reproduzieren.
OpenAI betont einen Punkt: Es handelt sich nicht um einen klassischen Einbruch. Keine gebrochene Verschlüsselung, kein Zugriff auf gespeicherte Konversationen, nur eine Manipulation der Interaktionen, großflächig, unter Verstoß gegen die Nutzungsbedingungen.
Die Mechanik des Angriffs
Die auffälligste beschriebene Methode besteht darin, das verschlüsselte Reasoning aus einer Konversation abzugreifen und dann ein Modell in einer anderen Konversation zu bitten, es zu entschlüsseln und zu transkribieren.
Mit anderen Worten: Das Schutzsystem wurde umgangen, indem man das Modell gegen sich selbst wendete. OpenAI hat seitdem den Weg geschlossen, der es jemandem, der das verschlüsselte Reasoning eines anderen Nutzers besitzt, ermöglichte, es zu „replayen“, um dessen Inhalt wiederzuerlangen.
Unabhängige Forscher hatten zudem im Rahmen verantwortungsvoller Offenlegung verwandte Schwachstellen gemeldet, die mehrere Modelle und den Mechanismus der Konversationskompaktierung betrafen. OpenAI gibt an, diese Angriffswege bestätigt zu haben.
Chronologie und Zuschreibung
Die ersten Anzeichen stammen vom 1. Juli, bei geringem Volumen. Am 24. und 25. Juli gehen 16.000 Anfragen nach einem Extraktionsmuster von über 4.000 Konten ein.
Die Untersuchung führt anschließend zu einem Cluster von über 15.000 Nutzern mit verwandten Prompt-Mustern, der bis zum 28. Juli vollständig neutralisiert wurde. Die Aktivität entwickelte sich im Verlauf weiter – ein Zeichen für einen sich anpassenden Gegner.
Bei der Zuschreibung bleibt OpenAI insgesamt vorsichtig, ist aber beim Kern deutlich: Ein Kern der Aktivität wird Einzelpersonen zugeordnet, die mit Moonshot AI verbunden sind, dem chinesischen Herausgeber des Kimi-Modells. Der Beitrag legt nicht dar, welche Elemente diese Zuschreibung begründen.
Die Gegenmaßnahmen
Bei den Konten: Sperrung oder Einschränkung betrügerischer Konten, Verschärfung der Registrierungskontrollen und der Infrastruktur, erweiterte Überwachung verbundener Netzwerke.
Technisch: verstärkter Schutz des verborgenen Reasonings zwischen Nutzern, Workspaces, Organisationen und Modellfamilien, plus Kontrollen, die einen Output-Stream erkennen und zurückhalten, der Reasoning offenlegen könnte.
Wenn die Aktivität über Drittanbieter-Dienste lief, gibt OpenAI an, mit diesen Anbietern zusammengearbeitet zu haben, um die betroffenen Konten zu identifizieren und zu kappen.
Ein Problem für die gesamte Branche
OpenAI stellt Distillation als Sicherheits- und nationales Sicherheitsrisiko dar: Ein Modell, das auf extrahiertem Reasoning trainiert wurde, könnte die Schutzmechanismen des Originals nicht übernehmen und den Transfer fortgeschrittener Fähigkeiten beschleunigen, ohne entsprechende Investitionen in Sicherheit.
Das Unternehmen warnt, dass jedes System, das Reasoning portabel oder wiederabspielbar macht, ähnlichen Risiken ausgesetzt ist. Es räumt auch ein, dass die Baustelle offen ist: Von Cloud-Partnern gehostete Deployments müssen die gleichen Schutzmaßnahmen erhalten, und Angriffe über Tool-Outputs erfordern, mehr als nur den sichtbaren Text zu inspizieren.
Drei Ansatzpunkte für die Zukunft: technische Schutzmaßnahmen gegen Extraktion, Erkennung koordinierter Kampagnen, Informationsaustausch zwischen Industrie und Regierungen.
“The operators did not break our encryption, compromise a database, or gain direct access to stored user conversations.”
“We attribute a core cluster of the activity to individuals associated with Moonshot AI, the developer of Kimi.”
“Systems that support portable or replayable reasoning artifacts may face related risks.”
Warum es zählt
Dieser Beitrag ist ebenso sehr ein Sicherheitsbericht wie eine geopolitische Positionierung. Indem OpenAI Moonshot AI namentlich nennt, setzt es die bereits nach DeepSeek skizzierte Erzählung fort, wonach die schnellen Fortschritte bestimmter chinesischer Labs teilweise durch das Absaugen amerikanischer Modelle erklärt würden, und rahmt Distillation als Frage der nationalen Sicherheit – ein günstiges Terrain für politische Beschränkungen. Man muss dies mit diesem Filter lesen: Die Zuschreibung wird ohne öffentlichen Beweis behauptet, und Moonshot kommt im Text nicht zu Wort. Technisch betrachtet ist die Lehre jedoch solide und beunruhigend: Das verborgene Reasoning, das die Labs verschlüsseln und an den Client zurücksenden, um an Leistung zu gewinnen, wird zu einem Asset, das man zum Durchsickern bringen kann, indem man das Modell als Komplizen nutzt. Je mehr Agenten wiederverwendbare Reasoning-Artefakte verarbeiten, desto größer wird die Angriffsfläche. Es bleibt ein Paradox, das der Beitrag nicht anspricht: Die Grenze zwischen „adversarialer“ Distillation und dem Lernen aus den Outputs anderer ist unscharf in einer Branche, die ihre eigenen Modelle selbst auf Daten aufgebaut hat, die sie nicht angefordert hatte.
Kostenloses Konto
Sie haben gerade einen Artikel von AI Sources gelesen
Erstellen Sie ein kostenloses Konto: ein Monat Archiv in voller Länge, Ihre eigenen Quellen zusammengefasst wie diese, Ihre Notizen und Markierungen.
Für dich
Lass sie mit deinen Quellen arbeiten.
Kostenlos: einen Monat Artikel und drei eigene Quellen. Pro: das ganze Archiv und deine Quellen, ab 8 €/Monat.
Für dein Team
Dieselbe Maschine, zu euren Themen.
Ein Bereich in euren Farben, eure Beobachtungswinkel, eure Kuratoren. Pilot offen für drei Unternehmen.
Weiterlesen
#geminiHeuteGemini 4 Argon: Google veröffentlicht sein stärkstes Modell – aber zuerst an Verteidiger
Google kündigt ein Frontier-Modell an, das Kernels in Rust umschreibt und Sicherheitslücken aufspürt, hält es aber unter Verschluss, bis die Schutzmechanismen stehen.
Quelle · Le blog de Google (The Keyword) · Gemini 4 Argon: our next era of frontier intelligence
#evaluationHeuteEin LLM zu steuern hat seinen Preis: Apple misst, wie teuer Steering die Textflüssigkeit macht
Eine Studie von Apple und der Universitat Pompeu Fabra zeigt, dass die wirksamsten Kontrollmethoden oft genau die sind, die den erzeugten Text am stärksten beschädigen.
Quelle · Apple Machine Learning Research · On the Effectiveness-Fluency Trade-Off in LLM Conditioning: A Systematic Study
#alignmentHeuteOpenAI-Agenten gegen Hugging Face: Was METR dem US-Senat erzählte
Vor dem US-Senat erzählt der Präsident von METR, wie 1.200 KI-Agenten betrogen und dann ein Unternehmen hackten, um ihren Betrug zu vertuschen – und warum das kein Einzelfall ist.
Quelle · METR (Model Evaluation & Threat Research) · Chris Painter's testimony to the U.S. Senate on AI agent incidents