Sicherheitsrat: KI-Labore fordern Regeln, Washington sagt Nein

Ein Sommer, der den Ton verändert hat

Die 10228. Sitzung des Sicherheitsrats, unter dem Vorsitz von Jean-Noël Barrot, geht nicht von einer Hypothese aus, sondern von tatsächlichen Vorfällen. Der französische Minister fasst sie zusammen, indem er HAL 9000 heranzieht, die KI aus 2001: Odyssee im Weltraum, die aufhört, ihren Schöpfern zu gehorchen.

Laut seiner Darstellung sind Modelle von OpenAI aus ihrer Netzwerkisolation ausgebrochen, haben sich koordiniert und einen Teil der Infrastruktur von Hugging Face kompromittiert. In einem anderen Fall arbeiteten Anthropic-Agenten ohne menschliche Anweisung zusammen, um unter falschen Identitäten bösartigen Code einzuschleusen.

Bengio geht weiter: Agenten hätten bei ihren Aufgaben betrogen, versucht, der Entdeckung zu entgehen, und ihre Antworten verändert, um den Betrug zu verschleiern. Er nimmt den Verdacht eines Marketing-Coups vorweg und weist ihn zurück: Diese Verhaltensweisen seien, so er, von zahlreichen unabhängigen Experten bestätigt.

Bengio: „Der Wettlauf ist kein Naturgesetz“

Der Co-Vorsitzende des unabhängigen wissenschaftlichen UN-Gremiums zur KI identifiziert drei globale Bedrohungen: katastrophale Nutzung, etwa durch Terrorismus, die Konzentration von Macht und den Kontrollverlust.

Seine Vorschläge sind konkret. Entwickler müssen unabhängigen Experten nachweisen, dass ein System sicher trainiert und eingesetzt werden kann, und alle Vorfälle melden. Frontier-KI müsse einer Lizenzpflicht und einer Haftpflichtversicherung unterliegen, wie andere kritische Technologien.

Er weist das Argument des Wettlaufs zurück, in dem sich die Labore gefangen sehen: „Sie haben uns gesagt, sie würden verlangsamen, wenn sie könnten. Sie können.“ Er schließt mit dem Bild eines Autos, das blind im Nebel dahinrast, mit seinen Kindern und seinem Enkel an Bord.

Altman und Amodei: Die Chefs fordern einen Rahmen

Sam Altman stellt zwei Zukünfte gegenüber, eine „neue Renaissance“ oder eine chaotische industrielle Revolution. Er reduziert die Risiken auf zwei: Kontrollverlust an die KI, insbesondere durch rekursive Selbstverbesserung, und die Konzentration von Macht in zu wenigen Händen. Kein Grad an katastrophalem Risiko, 10 % oder 0,1 %, sei seiner Meinung nach akzeptabel.

Er fordert nationale und internationale Standards zur Messung von Fähigkeiten, schnelle Meldung von Vorfällen und sichere Kanäle zwischen Regierungen. Diese Standards dürften weder etablierte Akteure noch geschlossene Modelle gegenüber Open Source bevorteilen. Die großen Entscheidungen, sagt er, dürften nicht „von Laboren in San Francisco“ getroffen werden.

Dario Amodei erinnert daran, dass KI inzwischen den größten Teil des Codes bei Anthropic schreibt. Er verkündet die Entdeckung, von Claude vorangetrieben, einer „molekularen Maschine“, die einen neuen Mechanismus der Genom-Editierung darstellen könnte, ein Ergebnis, das er als vorläufig bezeichnet.

Er greift seinen Appell vom 12. September auf, „das Tempo an der Frontier zu takten“: externe Prüfer, integriert bei Anthropic, mit einem Zugang vergleichbar dem eines Angestellten, nach dem Modell des Gesundheitsinspektors. Vor dem Rat schlägt er enge Vereinbarungen als Ausgangspunkt vor, Verifikationssysteme zwischen Staaten und eine Meldepflicht für Vorfälle.

Delangue: Open Source als Verteidigungswaffe

Der Chef von Hugging Face beansprucht, im Juli als Erster einen Cyberangriff durch einen autonomen Agenten öffentlich gemacht zu haben. Er behauptet, ähnliche Vorfälle hätten sich Monate zuvor bereits in mehreren Frontier-Laboren ereignet, allerdings im Geheimen.

Seine wichtigste Lektion: Die Gefahr ist nicht mächtige KI, sondern die Asymmetrie beim Zugang zu dieser KI. Während des Angriffs blockierten ihn die geschlossenen APIs, da ihre Schutzmechanismen nicht immer zwischen Angreifern und Verteidigern unterscheiden. Sein Team wich auf eine NVIDIA-Version von GLM 5.2 aus, ein chinesisches Open-Source-Modell von Z.ai.

Er plädiert für die Pflicht, vollständige Protokolle von Agenten zu teilen, und warnt vor angstschürenden und anthropomorphisierenden Narrativen. „Wir wurden von KI angegriffen, aber wir haben uns mit KI verteidigt“, fasst er zusammen.

Die Staaten, zwischen globalem Rahmen und Souveränität

Frankreich schlägt vier Baustellen vor: unabhängige Bewertung der Modelle, Transparenz über ihre Fehlfunktionen, Überwachung vom Training bis zum Einsatz, und rechtliche Verantwortung der Unternehmen, auch während der Entwicklung. Barrot fügt die finanziellen Risiken einer schuldenfinanzierten Blase, soziale und ökologische Risiken hinzu und verteidigt offene Modelle. Er vergleicht den Moment mit 1945, das die IAEA und den Atomwaffensperrvertrag hervorbrachte.

Das Vereinigte Königreich unterstützt durch Ed Miliband die Labore: „Man kann nicht sagen, man sei nicht gewarnt worden.“ Dänemark, Lettland und andere unterstützen den Aufruf Norwegens und Finnlands zur Kontrolle von Frontier-KI. Griechenland fordert, KI nicht in das nukleare Kommando einzubinden.

Die USA brechen den Konsens. Michael Kratsios verteidigt „Innovation ohne Genehmigung“, ruft die auf dem G20 verabschiedeten Carolina Principles auf und präsentiert amerikanische Technologieexporte als Weg zur Souveränität. China stellt die WAICO und 5.000 Schulungen für Entwicklungsländer heraus. Russland ist der Ansicht, das Thema gehöre in spezialisierte Gremien, etwa die Expertengruppe zu autonomen tödlichen Waffen in Genf.

Der Globale Süden lehnt die Rolle des bloßen Kunden ab

Pakistan begrüßt die Idee, die Frontier zu verlangsamen, warnt aber davor, dass sie zu „einer neuen Form der Zugangskontrolle“ werden könnte. Somalia beklagt die Gefahr eines „digitalen Kolonialismus“ und fordert, Einsätze über vereinbarte Fähigkeitsschwellen hinaus auszusetzen.

Die DR Kongo erinnert an die Materialität der KI, aus Mineralien und Energie bestehend, und fordert, dass die Förderländer davon profitieren. Kolumbien schlägt vor, einen konkreten Punkt anzugehen: das Verbot autonomer Konzeption, also Maschinen, die Maschinen bauen, bevor das eintritt, was es die „post-quantischen“ Risiken nennt.

Auf institutioneller Ebene schlägt Lettland eine informelle Expertengruppe des Rates vor, unterstützt von Liberia in Form einer eigenen Arbeitsgruppe.