Diffusion Controller: Google unifica il pilotaggio dei generatori di immagini

Il problema: pilotare senza rompere

I modelli text-to-image come Nano Banana, Stable Diffusion o Flux producono immagini fotorealistiche, ma farli obbedire con precisione resta un esercizio di equilibrismo. L'esempio di Google: «una lucertola che indossa occhiali da sole». Il modello può dimenticare gli occhiali, oppure forzarli al prezzo di un volto di lucertola deformato.

Per correggere il tiro, gli sviluppatori dispongono di due famiglie di strumenti senza legame tra loro. Da un lato, la guidance in inferenza, come il classifier-free guidance, che modula l'influenza del prompt in tempo reale. Dall'altro, il fine-tuning pesante tramite LoRA, la regressione pesata dalla ricompensa o i policy gradients.

In mancanza di un linguaggio matematico comune, arbitrare tra allineamento alle preferenze e qualità dell'immagine è spesso questione di tentativi, secondo i ricercatori.

Il denoising visto come un tragitto controllato

Diffusion Controller tratta la generazione, che parte da un rumore casuale per arrivare a un'immagine nitida, come una traiettoria continua che si può correggere. Google prosegue la metafora: il modello pre-addestrato è una grossa moto di cui sarebbe rischioso rifare il motore.

Il framework aggiunge quindi un «ammortizzatore di direzione» leggero, mentre il modello principale resta congelato. Questo modulo ricalibra il comportamento predefinito favorendo le direzioni che massimizzano un obiettivo definito dall'utente, stile artistico o fedeltà al contesto.

Una penalità funge da guardrail: nell'esempio della lucertola, gli occhiali vengono aggiunti correttamente, ma senza sacrificare le squame e le proporzioni dell'animale.

Dalla teoria a due metodi concreti

Le equazioni di controllo, potenzialmente irrisolvibili così come sono, vengono tradotte in due metodi di fine-tuning basati unicamente su un punteggio di ricompensa finale.

Il primo, basato sui policy gradients e su PPO, procede per aggiustamenti incrementali e integra una regola di clipping che funge da limitatore di velocità per mantenere stabile l'addestramento.

Il secondo, una loss pesata dalla ricompensa, funge da scorciatoia: favorisce fortemente le generazioni riuscite e si accompagna, secondo Google, a una garanzia matematica di apprendimento delle immagini target.

Controllare un modello che non si può aprire

L'argomento business è esplicito: i migliori generatori di immagini sono spesso scatole nere o grigie, di cui non si possono modificare i pesi. Ma il fine-tuning classico richiede un accesso «white-box».

La rete di ammortizzazione combina la conoscenza del modello di base e una piccola correzione. Osserva l'immagine in corso di denoising e inietta correzioni fini, il che permetterebbe di personalizzare modelli chiusi senza toccarne il codice.

Cosa dicono gli esperimenti

I test si basano su Stable Diffusion v1.4, in tre regimi: SFT, RWL e PPO, con l'Human Preference Score (HPS-v2) come metrica. Vengono confrontate quattro architetture: Diffusion Controller (gray-box, con media inversa intermedia e flusso di adattatore laterale), una versione naïve senza questi due elementi, e due varianti white-box, J (addestramento congiunto con il modello di base) e S (addestramento separato).

In SFT e RWL, la versione gray-box batte LoRA in win rate HPS-v2 pur modificando molte meno layer interne. I panel di valutazione umana le attribuiscono anche la migliore qualità percepita e la migliore fedeltà su prompt multi-attributo complessi.

Ultimo vantaggio: un solo parametro di forza della guidance, regolabile in inferenza, per aumentare o diminuire l'intensità del controllo senza le distorsioni dei vecchi metodi di guidance.

E adesso

Poiché lo strato di controllo è separato dal motore, Google immagina usi oltre la fedeltà al prompt: strumenti di personalizzazione avanzati, meccanismi di sicurezza per limitare i contenuti dannosi, e adattamento ai modelli video di nuova generazione.