Diffusion Controller: Google vereinheitlicht die Steuerung von Bildgeneratoren

Das Problem: steuern, ohne kaputtzumachen

Text-to-Image-Modelle wie Nano Banana, Stable Diffusion oder Flux erzeugen fotorealistische Bilder, aber sie präzise zu steuern bleibt eine Gratwanderung. Googles Beispiel: „eine Eidechse mit Sonnenbrille“. Das Modell kann die Brille vergessen oder sie erzwingen, auf Kosten eines verzerrten Eidechsengesichts.

Um das zu korrigieren, verfügen Entwickler über zwei unzusammenhängende Werkzeugfamilien. Zum einen Inferenz-Guidance wie Classifier-free Guidance, die den Einfluss des Prompts in Echtzeit moduliert. Zum anderen schwergewichtiges Fine-Tuning per LoRA, belohnungsgewichtete Regression oder Policy Gradients.

Mangels einer gemeinsamen mathematischen Sprache läuft die Abwägung zwischen Ausrichtung an Präferenzen und Bildqualität laut den Forschern oft auf Trial-and-Error hinaus.

Denoising als gesteuerte Trajektorie

Diffusion Controller behandelt die Generierung, die von zufälligem Rauschen zu einem scharfen Bild führt, als kontinuierliche Trajektorie, die sich lenken lässt. Google führt die Metapher fort: Das vortrainierte Modell ist ein großes Motorrad, an dessen Motor man riskant herumbasteln würde.

Das Rahmenwerk fügt also einen leichten „Lenkdämpfer“ hinzu, während das Hauptmodell eingefroren bleibt. Dieses Modul rekalibriert das Standardverhalten, indem es Richtungen bevorzugt, die eine vom Nutzer definierte Zielgröße maximieren, etwa Stil oder Kontexttreue.

Eine Strafe fungiert als Leitplanke: Im Eidechsen-Beispiel wird die Brille zwar hinzugefügt, aber ohne die Schuppen und Proportionen des Tieres zu opfern.

Von der Theorie zu zwei konkreten Methoden

Die Kontrollgleichungen, die in ihrer ursprünglichen Form möglicherweise unlösbar sind, werden in zwei Fine-Tuning-Methoden übersetzt, die allein auf einem finalen Belohnungswert basieren.

Die erste, basierend auf Policy Gradients und PPO, geht in kleinen schrittweisen Anpassungen vor und integriert eine Clipping-Regel, die wie ein Tempolimit wirkt, um das Training stabil zu halten.

Die zweite, ein belohnungsgewichteter Loss, dient als Abkürzung: Sie bevorzugt stark erfolgreiche Generierungen und geht laut Google mit einer mathematischen Garantie einher, die Zielbilder zu erlernen.

Ein Modell steuern, das man nicht öffnen kann

Das Business-Argument ist explizit: Die besten Bildgeneratoren sind oft Black- oder Gray-Boxes, deren Gewichte man nicht ändern kann. Klassisches Fine-Tuning erfordert jedoch White-Box-Zugriff.

Das Dämpfungsnetzwerk kombiniert das Wissen des Basismodells mit einer kleinen Korrektur. Es beobachtet das Bild während des Denoisings und injiziert feine Korrekturen, wodurch sich geschlossene Modelle personalisieren ließen, ohne deren Code anzufassen.

Was die Experimente zeigen

Die Tests beruhen auf Stable Diffusion v1.4 in drei Regimen: SFT, RWL und PPO, mit dem Human Preference Score (HPS-v2) als Messgröße. Vier Architekturen werden verglichen: Diffusion Controller (Gray-Box, mit inversem Zwischenmittelwert und seitlichem Adapter-Fluss), eine naive Version ohne diese beiden Elemente, und zwei White-Box-Varianten, J (gemeinsames Training mit dem Basismodell) und S (getrenntes Training).

In SFT und RWL schlägt die Gray-Box-Version LoRA bei der HPS-v2-Win-Rate, während sie deutlich weniger interne Schichten verändert. Auch menschliche Bewertungspanels attestieren ihr die beste wahrgenommene Qualität und die beste Treue bei komplexen Multi-Attribut-Prompts.

Letzter Trumpf: ein einziger, zur Inferenzzeit einstellbarer Guidance-Stärke-Parameter, um die Kontrollintensität zu erhöhen oder zu senken, ohne die Verzerrungen älterer Guidance-Methoden.

Und weiter

Da die Kontrollschicht vom Kern-Engine getrennt ist, sieht Google Einsatzmöglichkeiten über die reine Prompt-Treue hinaus: fortgeschrittene Personalisierungswerkzeuge, Sicherheitsmechanismen zur Begrenzung schädlicher Inhalte und Anpassung an Video-Modelle der nächsten Generation.