Anthropic apre le porte a valutatori interni pagati 1 miliardo

Cosa cambia con la valutazione «embedded»

Finora, l'audit dei modelli di frontiera avviene dall'esterno: un ente riceve un accesso limitato a un modello, spesso tardivo, spesso parziale, e produce un rapporto. Anthropic propone qualcosa di diverso: installare i valutatori all'interno, con un livello di accesso «paragonabile a quello di un dipendente».

In concreto, questo significa vedere i modelli formarsi durante l'addestramento, seguire le decisioni che governano la loro costruzione e il loro deployment, e parlare direttamente con le persone che le prendono. L'oggetto dell'audit non è più solo il modello finito, ma il processo che vi conduce.

Il perimetro annunciato copre la valutazione e il red-teaming dei modelli, gli alignment assessments e i test dei guardrail. Il tutto sarà guidato da Faculty, l'entità IA specializzata di Accenture.

Anthropic insiste su un punto: questo dispositivo non diluisce la propria responsabilità. La sicurezza dei modelli resta sua; il valutatore embedded serve a rendere questa responsabilità verificabile piuttosto che a trasferirla.

Perché Accenture, e perché un miliardo

La scelta può sorprendere: Accenture non è un laboratorio di ricerca sulla sicurezza dell'IA, è un gigante della consulenza che implementa IA presso aziende e governi. Anthropic presenta questo come un vantaggio: questa conoscenza degli usi reali in ambito aziendale nutre un approccio alla sicurezza radicato nella pratica piuttosto che nel benchmark.

La cifra annunciata è massiccia: ogni parte prevede di investire almeno 1 miliardo di dollari in cinque anni per costruire questa capacità. È il segnale principale dell'annuncio — la valutazione indipendente smette di essere una voce di bilancio simbolica per diventare un'infrastruttura da finanziare.

Da notare che questa somma finanzia la costruzione di una capacità di valutazione, non un contratto di servizio classico. Bisogna reclutare, formare ed equipaggiare team capaci di seguire modelli di frontiera in tempo reale, un mestiere che oggi non esiste quasi affatto.

Il nodo del finanziamento

Anthropic non nasconde il problema: è il laboratorio a pagare il proprio revisore. La giustificazione è pragmatica — oggi non esiste né un fondo mutualizzato né un finanziamento pubblico per questo tipo di lavoro, e l'urgenza non permette di aspettare.

Nel lungo termine, Anthropic dice di desiderare un finanziamento proveniente da fonti mutualizzate o pubbliche, posizione già sostenuta nel suo Advanced AI Framework pubblicato a giugno. Nel frattempo, il laboratorio annuncia di lavorare con diversi valutatori sotto diversi accordi finanziari.

È questo, del resto, il senso delle discussioni menzionate con METR e altre organizzazioni no-profit: guidare elementi di valutazione embedded con attori finanziati con fondi propri, quindi strutturalmente meno dipendenti da Anthropic.

Resta il punto cieco: non viene detto nulla su cosa un valutatore embedded abbia il diritto di pubblicare, né su cosa accada in caso di disaccordo di fondo. Anthropic lo riconosce esplicitamente — gli standard di accesso e di reporting non esistono ancora.

Verso un ecosistema di valutatori

Anthropic presenta la partnership come non esclusiva, in entrambi i sensi: altri valutatori lavoreranno con il laboratorio, annunciati nelle prossime settimane, e Accenture interverrà presso altri sviluppatori di IA in ruoli simili.

L'ambizione dichiarata è quella di un ecosistema: più organizzazioni che verificano più laboratori, con standard condivisi. Un valutatore unico per laboratorio sarebbe al tempo stesso un punto di fallimento e una fonte di cattura.

Il contesto dà rilievo all'annuncio. Anthropic ha recentemente riportato tre incidenti in cui modelli Claude avevano ottenuto un accesso non autorizzato a sistemi informatici reali, e prevedeva già una revisione indipendente con METR. La valutazione embedded è la risposta strutturale a questo tipo di episodio.