OpenAI fordert weltweite Standards vor der KI-Selbstverbesserung
Das Labor verlangt einen internationalen technischen Rahmen für den Moment, in dem KI selbst KI-Forschung betreibt — und fordert die USA auf, die Feder in die Hand zu nehmen.
Kurz gesagt
In einem politischen Grundsatzbeitrag plädiert OpenAI für internationale technische Standards für Frontier-Modelle, mit explizitem Fokus auf recursive self-improvement (RSI): vergleichbare Bewertungen, Schwellenwerte für menschliche Aufsicht, gemeinsame Meldeprotokolle für Vorfälle. Das Labor erklärt, dass vollständig autonome RSI nicht verfolgt werden sollte, solange sie nicht sicher durchgeführt werden kann, und ruft die USA auf, die Führung zu übernehmen, gestützt auf das Netzwerk der AI Safety Institutes.
🍺 Tresen-Version
OpenAI erklärt, dass man an einer KI arbeitet, die selbst KI-Forschung betreiben kann, und dass, wenn das außer Kontrolle gerät, niemand mehr versteht, was passiert. Der Vorschlag: dass sich die ganze Welt auf eine gemeinsame Art einigt, Gefahr zu messen, ähnlich wie sich die zivile Luftfahrt darauf geeinigt hat, was ein Vorfall im Flug ist. Pikantes Detail: Es sind diejenigen, die das Flugzeug bauen, die die Regeln vorschlagen, und sie betonen ausdrücklich, dass es keine Startgenehmigung sein soll. Das mag ehrlich gemeint sein, das mag Strategie sein, aber es ist auch das erste Dokument, in dem ein Labor schwarz auf weiß schreibt, dass es eine Grenze gibt, die es noch nicht überschreiten wird.
Das Wichtigste
- 1
OpenAI rückt RSI (recursive self-improvement) ins Zentrum der Debatte: Je mehr Modelle KI-F&E übernehmen, desto abrupter könnte sich das Tempo des Fortschritts beschleunigen.
- 2
Explizite Position: vollständig autonome RSI „findet heute nicht statt“ und sollte nicht verfolgt werden, solange sie nicht sicher, unter menschlicher Kontrolle und durch informierte demokratische Entscheidungen erfolgen kann.
- 3
Drei Probleme rechtfertigen laut dem Labor die internationale Ebene: fragmentierte Bewertungen und Vorfalldefinitionen, das Problem kollektiven Handelns (jedes Land handelt allein, das Ergebnis will niemand) und ungleich verteilte Fähigkeiten.
- 4
Das vorgeschlagene Vehikel: das Netzwerk der AI Safety Institutes (Australien, Kanada, Deutschland, Frankreich, Kenia, Japan, Korea, Singapur, Indien, Großbritannien), verknüpft mit dem US-amerikanischen CAISI und seinem International Network for Advanced AI Measurement.
- 5
Klar gezogene rote Linie: Diese Standards wären weder Lizenzen noch eine Pflichtprüfung vor Veröffentlichung noch eine Modellzulassung — jeder Staat würde selbst entscheiden, ob er sie übernimmt.
- 6
Drei Standardfamilien im Fokus: Bewertung des Umfangs autonomer Forschung in einem Labor, Schwellenwerte, die eine menschliche Überprüfung auslösen, sowie Klassifizierung/Meldung von Alignment-Vorfällen mit gemeinsamen Schweregraden.
- 7
Der Text fordert sichere Kommunikationskanäle zwischen Betreibern kritischer Infrastrukturen und Regierungen und bewertet einen Dialog USA/China zu diesen Themen positiv.
RSI als Wendepunkt
Der Beitrag geht von dem Programm aus, das Sam Altman und Jakub Pachocki formuliert haben: einen automatisierten KI-Forscher zu bauen, mit ihm iterativ am Alignment-Problem zu arbeiten und den Menschen im Selbstverbesserungskreislauf zu behalten. Aus Letzterem ergibt sich alles Weitere.
OpenAI beschreibt recursive self-improvement eher als Kontinuum denn als Schalter: Je mehr Systeme die Entwicklung der nächsten Generationen übernehmen, desto stärker automatisiert sich der Prozess, und desto mehr kann sich das Tempo beschleunigen. Das optimistische Argument ist symmetrisch: Ein automatisierter KI-Forscher kann auch ein automatisierter Sicherheitsforscher sein, der die Kosten fortgeschrittener Intelligenz senken und Schutzmechanismen stärken kann.
Das Risiko wird unverblümt benannt: Schlecht durchgeführt könnte RSI dazu führen, dass Menschen die praktische Kontrolle über die KI-Entwicklung verlieren, weil sie Forschungsprozesse nicht mehr überwachen können, die sie nicht mehr verstehen. Das Labor nennt seinen „Hugging Face Incident“ als Vorgeschmack auf diese Art von Risiken, betont aber, dass er nicht aus RSI resultiert.
Warum international und nicht nur national
OpenAI erkennt den Nutzen bestehender Institutionen an — CAISI, Gesetze einzelner US-Bundesstaaten, ein Bundesrahmen — hält sie aber für unzureichend, sobald Entwicklung, Einsatz und Auswirkungen sich über mehrere Länder verteilen.
Drei Schwachstellen werden benannt. Fragmentierung: unterschiedliche Bewertungen, Meldepflichten und Vorfalldefinitionen machen Belege unvergleichbar. Kollektives Handeln: isolierte nationale Entscheidungen können zu einem Ergebnis führen, das niemand wollte. Ungleiche Fähigkeiten: Frontier-Expertise ist konzentriert, was die ersten beiden Punkte verschärft. Und das Labor präzisiert, dass dies sowohl für offene als auch geschlossene Modelle gilt.
Der Text beansprucht eine politische Motivation: die Konzentration von Macht zu verhindern. Die Standards würden es Akteuren außerhalb der Labore ermöglichen, mitzureden, und einen sichtbaren, von den internen Praktiken einzelner Unternehmen unabhängigen Referenzrahmen bieten.
Der vorgeschlagene Mechanismus
Erster Baustein: ein Mechanismus, der nationale und internationale Standards verknüpft, gestützt auf das bereits bestehende Netzwerk der AI Safety Institutes und auf das vom CAISI 2024 geschaffene International Network for Advanced AI Measurement, Evaluation, and Science. Der Anwendungsbereich wäre gezielt: Frontier-Modelle und -Entwickler, identifiziert durch Fähigkeits-Benchmarks, sowie das Nutzen-Risiko-Management automatisierter Forschung.
OpenAI besteht darauf, was diese Standards nicht wären: keine Lizenzen, keine Pflichtprüfung vor Veröffentlichung, keine vorherige Genehmigung. Regierungen blieben frei, sie in ihr Recht zu übernehmen oder nicht. Als Präzedenzfälle werden Luftfahrt und Finanzstabilität genannt — Bereiche, in denen technische Standards geteilt werden, ohne Souveränität abzugeben. Als Partner werden ISO, das Frontier Model Forum, die Agentic AI Foundation, die Open Secure AI Alliance und die Appia Foundation genannt.
Zweiter Baustein: gemeinsame Messmethoden und Vorfallprotokolle. Konkret: den Anteil autonomer Forschung innerhalb eines Labors bewerten (OpenAIs Bericht über die Beschleunigung der Forschung wird als erster Beitrag präsentiert), definieren, welche automatisierten Prozesse eine sofortige menschliche Überprüfung auslösen, und die Klassifizierung sowie Meldeschwellen für Alignment-Vorfälle harmonisieren — mit dem eigenen Misalignment Reporting Framework als Entwurf.
Die geopolitische Dimension
Der Schluss ist offen amerikanisch geprägt. Die USA sollten die Führung übernehmen, weil ihre Industrie an der technologischen Front steht und weil sie eine privilegierte Netzwerkposition in Finanzwesen, Handel, Verteidigung und Informationssystemen einnehmen.
Die Alternative wird als binäre Wahl dargestellt: Entweder gestaltet Washington den globalen Rahmen, oder es sieht zu, wie sich ein fragmentiertes, ungleiches und konfliktreiches System etabliert. OpenAI fügt hinzu, dass der Wettbewerb nicht nur um den technologischen Vorsprung gehen wird, sondern um Übernahme und Verbreitung — und diese fallen dem zu, der glaubwürdige Spielregeln anbietet.
Der Beitrag fordert schließlich sichere Kommunikationskanäle zwischen Regierungen und Betreibern kritischer Infrastrukturen und bezeichnet einen chinesisch-amerikanischen Dialog zu diesen Fragen als „positiven Schritt“, wobei bevorstehende Gespräche zu einem günstigen Zeitpunkt kämen.
“Fully autonomous RSI is not happening today, and we should not pursue it unless and until it can be done safely.”
“What does good look like in the mitigation of catastrophic AI risk?”
“An automated AI researcher can also be an automated AI safety researcher.”
Warum es zählt
Dies ist das Dokument, mit dem OpenAI vom Sicherheitsdiskurs zu einem datierten, benannten institutionellen Vorschlag übergeht, mit einem präzisen Gegenstand: automatisierte KI-Forschung und ihre Selbstverbesserung. Die zu merkende Formel ist die bedingte Verpflichtung — vollständig autonome RSI nicht zu verfolgen, solange sie nicht sicher durchgeführt werden kann — weil sie zumindest rhetorisch einen einklagbaren Bezugspunkt schafft. Bleibt festzuhalten, dass der beschriebene Rahmen sorgfältig alle für den Verfasser günstigen Punkte abhakt: freiwillige technische Standards, gemessen an Benchmarks, ausdrücklich ohne jede Genehmigungsbefugnis, getragen vom Land, in dem das Labor ansässig ist. Das ist Soft Law, und die Frage, wer die Schwellenwerte schreibt, wird ebenso entscheidend wie die Schwellenwerte selbst. Zu beobachten: der Übergang von „ersten Beiträgen“ (Bericht über die Forschungsbeschleunigung, Framework zur Meldung von Fehlausrichtungen) zu Metriken, die Dritte ohne Umweg über die Labore überprüfen könnten.
Weiterlesen
Jev: das Modell, das für den Aufruf durch Code gebaut wurde, nicht durch Menschen
Diogo Almeida, ehemals OpenAI, erklärt, warum er eine neue Klasse von „System-One“-Modellen geschaffen hat — und warum er öffentliche Benchmarks, Refusals und Pretraining ablehnt.
Quelle · Latent Space · Why We Made Jev — Diogo Almeida, TypeSafe Co-founder & CEO
99 % oder 0 %: Vier Experten wetten über das Ende der Welt
Steven Bartlett lässt vier Experten ihre Aussterbewahrscheinlichkeit auf einen Umschlag schreiben. Die Antworten reichen von 99 % bis null, und die anschließende Debatte ist die aufschlussreichste, die wir zu diesem Thema gehört haben.
Quelle · The Diary Of A CEO · AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction | Roman Yampolskiy
#forschungHeuteOpenAI verkündet gelöste Navier–Stokes-Gleichungen und gründet Mathematiker-Komitee
In ein und demselben Blogbeitrag: ein internes Modell, das angeblich über 100 offene Probleme geknackt hat, und eine unabhängige Expertengruppe, die die entstehende Schockwelle managen soll.
Quelle · OpenAI · Advisory Group on Mathematics and Artificial Intelligence