Pilotare un LLM ha un prezzo: Apple misura quanto costa lo steering in termini di fluidità

Un punto cieco della valutazione

Controllare l'output di un LLM è una condizione per un deployment affidabile: evitare un argomento, favorirne un altro, ridurre la tossicità. Le tecniche per riuscirci si moltiplicano, ma i loro compromessi restano poco compresi.

Secondo gli autori, la maggior parte dei metodi viene valutata su un solo criterio: la capacità di iniettare o rimuovere un concetto target. La qualità del testo generato passa in secondo piano, quando non è misurata affatto.

Lo studio propone quindi di guardare entrambi gli assi contemporaneamente, efficacia e fluidità, e di confrontare le famiglie di metodi in un quadro comune.

Lo steering, efficace ma brutale

L'activation steering consiste nel modificare direttamente le attivazioni interne del modello durante l'inferenza per orientarne la generazione. È un approccio ritenuto efficace e poco costoso, senza riaddestramento.

Il risultato principale dello studio è diretto: questi metodi ottengono frequentemente il condizionamento voluto «a un costo elevato in termini di fluidità». In altre parole, il modello parla bene dell'argomento giusto, ma peggio.

I modelli instruction-tuned resistono

Secondo riscontro, presentato come critico e inedito: il paradigma di addestramento cambia tutto. Lo steering delle attivazioni è molto meno efficace sui modelli instruction-tuned rispetto ai modelli base da cui derivano.

È un punto scomodo per il settore, poiché i modelli realmente distribuiti agli utenti sono precisamente modelli instruction-tuned. I risultati ottenuti sui modelli base quindi non si trasferiscono automaticamente.

Prompting e fine-tuning: buoni per aggiungere, meno per rimuovere

All'altro estremo dello spettro, il prompting semplice e il fine-tuning supervisionato completo si rivelano opzioni valide per l'iniezione di concetti.

Tuttavia, questi due approcci sono meno efficaci per la soppressione di un concetto. La scelta del metodo dipende quindi anzitutto da ciò che si cerca di fare, aggiungere o cancellare.

Metriche economiche che bastano

Ultimo contributo, più metodologico: metriche testuali semplici, poco costose da calcolare, correlano fortemente con i punteggi forniti da un LLM-as-judge, un metodo di valutazione molto più oneroso.

Queste metriche permettono inoltre di comprendere meglio il comportamento dei metodi di condizionamento. Apple rimanda anche a un lavoro correlato, DSAS (Dynamically Scaled Activation Steering), che cerca di separare il momento in cui bisogna intervenire dal modo in cui intervenire, per non degradare il modello quando lo steering è inutile.