Diffusion Controller : Google unifie le pilotage des générateurs d'images

Le problème : piloter sans casser

Les modèles text-to-image comme Nano Banana, Stable Diffusion ou Flux produisent des images photoréalistes, mais les faire obéir précisément reste un exercice d'équilibriste. L'exemple de Google : « un lézard portant des lunettes de soleil ». Le modèle peut oublier les lunettes, ou les forcer au prix d'un visage de lézard déformé.

Pour corriger le tir, les développeurs disposent de deux familles d'outils sans lien entre elles. D'un côté, le guidage à l'inférence, comme le classifier-free guidance, qui module l'influence du prompt en temps réel. De l'autre, le fine-tuning lourd via LoRA, la régression pondérée par la récompense ou les policy gradients.

Faute de langage mathématique commun, arbitrer entre alignement sur les préférences et qualité d'image relève souvent du tâtonnement, selon les chercheurs.

Le débruitage vu comme un trajet contrôlé

Diffusion Controller traite la génération, qui part d'un bruit aléatoire pour aboutir à une image nette, comme une trajectoire continue qu'on peut infléchir. Google file la métaphore : le modèle pré-entraîné est une grosse moto dont il serait risqué de refaire le moteur.

Le cadre ajoute donc un « amortisseur de direction » léger, pendant que le modèle principal reste gelé. Ce module recalibre le comportement par défaut en favorisant les directions qui maximisent un objectif défini par l'utilisateur, style artistique ou fidélité au contexte.

Une pénalité joue le rôle de garde-fou : dans l'exemple du lézard, les lunettes sont bien ajoutées, mais sans sacrifier les écailles et les proportions de l'animal.

De la théorie à deux méthodes concrètes

Les équations de contrôle, potentiellement insolubles en l'état, sont traduites en deux méthodes de fine-tuning fondées uniquement sur un score de récompense final.

La première, basée sur les policy gradients et PPO, avance par ajustements incrémentaux et intègre une règle de clipping qui agit comme un limiteur de vitesse pour garder l'entraînement stable.

La seconde, une perte pondérée par la récompense, sert de raccourci : elle favorise fortement les générations réussies et s'accompagne, selon Google, d'une garantie mathématique d'apprentissage des images visées.

Contrôler un modèle qu'on ne peut pas ouvrir

L'argument business est explicite : les meilleurs générateurs d'images sont souvent des boîtes noires ou grises, dont on ne peut pas modifier les poids. Or le fine-tuning classique exige un accès « white-box ».

Le réseau d'amortissement combine la connaissance du modèle de base et une petite correction. Il observe l'image en cours de débruitage et injecte des corrections fines, ce qui permettrait de personnaliser des modèles fermés sans toucher à leur code.

Ce que disent les expériences

Les tests reposent sur Stable Diffusion v1.4, dans trois régimes : SFT, RWL et PPO, avec le Human Preference Score (HPS-v2) comme mesure. Quatre architectures sont comparées : Diffusion Controller (gray-box, avec moyenne inverse intermédiaire et flux d'adaptateur latéral), une version naïve sans ces deux éléments, et deux variantes white-box, J (entraînement conjoint avec le modèle de base) et S (entraînement séparé).

En SFT et RWL, la version gray-box bat LoRA en win rate HPS-v2 tout en modifiant nettement moins de couches internes. Les panels d'évaluation humaine lui attribuent aussi la meilleure qualité perçue et la meilleure fidélité sur des prompts multi-attributs complexes.

Dernier atout : un seul paramètre de force de guidage, réglable à l'inférence, pour monter ou baisser l'intensité du contrôle sans les distorsions des anciennes méthodes de guidage.

Et ensuite

Parce que la couche de contrôle est séparée du moteur, Google envisage des usages au-delà de la fidélité au prompt : outils de personnalisation avancés, mécanismes de sécurité pour limiter les contenus nuisibles, et adaptation aux modèles vidéo de nouvelle génération.