Anthropic apre il cofano: Claude «guida» il 26% della sua R&D IA

La scommessa: misurare gli input, non solo le capacità

Le valutazioni delle capacità dicono cosa un modello sa fare. Anthropic propone qui l'opposto: misurare come i modelli vengono fabbricati. L'idea è poter correlare input verificabili — compute, tempo umano, grado di automazione — con gli output, invece di scoprire i salti di capacità solo dopo la pubblicazione del modello.

L'inquadramento politico è esplicito fin dall'introduzione: «mentre il mondo valuta di rallentare il ritmo dello sviluppo dell'IA di frontiera, il pubblico ha bisogno di più informazioni». È il seguito diretto dell'appello di Dario Amodei a una coordinazione sul ritmo, e del quadro normativo proposto da Anthropic, l'Advanced AI Framework.

In altre parole: queste metriche non sono solo trasparenza per la trasparenza. Sono concepite per fungere da trigger. Anthropic suggerisce ad esempio che un certo livello di automazione potrebbe imporre una finestra di test obbligatoria prima che un nuovo modello venga usato per fare R&D IA.

26%: cosa significa il numero (e cosa non dice)

L'index si basa sulla scala di Epoch AI, da AL0 (nessuna IA) ad AL5 (autonomia totale). AL3, «collabora»: l'IA svolge grosse porzioni sotto direzione umana stretta. AL4, «guida»: chiude la maggior parte del compito partendo da un'istruzione di alto livello, l'umano supervisiona. Ad agosto 2026, il 26% del lavoro di R&D IA di Anthropic è ad AL4 o superiore, oltre il 90% ad AL3 o superiore, e nulla raggiunge AL5.

Il metodo è insolitamente dettagliato. Per ogni settimana di luglio 2026, il 20% del personale dei dipartimenti coinvolti nel loop di R&D è stato campionato; un agente Claude ha letto le loro tracce Slack e la documentazione interna per elencare i loro compiti. Risultato: ~15.000 compiti granulari, riorganizzati in un albero di 542 nodi di cui 378 foglie, del tipo «diagnosi di difetti della piattaforma di valutazione» o «postmortem di incidenti di serving». L'albero è congelato affinché le misurazioni successive riguardino lo stesso paniere di lavoro.

I limiti sono assunti apertamente. Il giudice è un modello Claude, quindi suscettibile di condividere gli angoli ciechi di ciò che valuta; l'accordo modello-umano esatto è del 59%, contro il 35% tra umani, e il 97% dei punteggi rientra in un livello di scarto. La ponderazione per tempo-persona è riconosciuta come «un'approssimazione grossolana». E un paniere congelato non cattura, per costruzione, le nuove categorie di lavoro che gli umani potrebbero inventare spostandosi.

30.000 agenti e una sala di controllo

Il secondo capitolo è il più concreto operativamente. Sulla sua piattaforma interna più utilizzata, Anthropic fa girare circa 30.000 agenti di ricerca e ingegneria in simultanea. Due tipi di guardrail: monitor online, che ispezionano ogni azione prima dell'esecuzione e bloccano l'irreversibile — tipicamente un agente che tentasse di esfiltrare i pesi di un modello — e monitor offline, che rileggono a posteriori per individuare derive lente, come segni di disallineamento.

Le tre metriche proposte sono copertura, latenza di revisione e tasso di escalation. Copertura: il 100% delle azioni passa dal monitor online, generalmente in pochi secondi, e il 100% viene ingerito dal monitor offline. Tasso di blocco: su oltre un miliardo di decisioni ad agosto 2026, lo 0,002% è stato bloccato. Sul fronte offline, da una a due trascrizioni su mille vengono segnalate, ovvero ~100.000 a settimana, filtrate da classificatori prima che una cinquantina arrivi davanti a umani.

Due scelte architetturali meritano di essere notate. Ogni agente ha un'identità persistente, non legata al modello sottostante, il che permette di auditare la sua storia attraverso gli aggiornamenti e gli impedisce di confondere ciò che dice un altro agente con il proprio pensiero. E gli agenti comunicano su una messaggistica aperta condivisa, non in privato: possono correggersi a vicenda, e il monitoraggio può seguire la conversazione tra loro.

Il punto importante è statistico: Anthropic nota che i comportamenti scorretti individuali sono rari, ma che «quando milioni o miliardi di agenti operano nell'economia, anche eventi rari accadono regolarmente». METR ha già effettuato red-teaming in modo indipendente sulla piattaforma di monitoraggio offline.

6% di compute per la sicurezza: il numero più discutibile

Nella settimana dal 13 al 20 luglio 2026, circa il 6% del compute allocato alla R&D IA è andato a lavoro di sicurezza, e circa il 12% del compute di R&D IA guidata dall'IA. Anthropic presenta queste stime come deliberatamente conservative: qualsiasi lavoro che serve tanto le capacità quanto la sicurezza è stato conteggiato lato R&D, e i classificatori di safeguards — un volume di compute paragonabile — non sono inclusi.

L'azienda stessa disinnesca la lettura ingenua del numero. La ricerca sulla sicurezza è per natura poco esigente: consiste soprattutto nel concepire esperimenti, il che richiede tempo umano e poche GPU. Peggio, l'indicatore è perverso per efficienza: un classificatore di sicurezza più efficiente fa scendere la quota di sicurezza senza che se ne faccia di meno. L'interesse è quindi comparativo — nel tempo, e tra laboratori — più che assoluto.

La classificazione è stata fatta da un classificatore Claude che legge i metadati e il codice dei run, su un campione di ~14% dei quasi 10.000 run della settimana, ponderato verso quelli più esigenti in termini di compute. Anthropic riconosce che alcuni casi limite sono rimasti indecidibili anche dopo diverse ore di revisione umana, e che «la nostra definizione è una scelta ragionevole tra altre».

Da qui la raccomandazione più mordace del testo, valida tanto per Anthropic quanto per i suoi concorrenti: ogni sviluppatore sarà tentato di tracciare la linea generosamente, quindi l'onere della prova deve gravare su di lui, e la definizione dovrebbe essere negoziata in anticipo con i regolatori e la comunità.

Il vero prodotto: una metodologia che altri potrebbero copiare

Per ognuna delle tre misurazioni, Anthropic precisa cosa «qualsiasi sviluppatore di frontiera potrebbe pubblicare fin da oggi». È il cuore della manovra: trasformare un rapporto interno in standard di fatto, prima che un regolatore ne inventi uno peggio congegnato.

Due ostacoli sono identificati per il confronto tra laboratori: l'assenza di una metodologia comune, e il fatto che un laboratorio usi i propri modelli per auto-valutarsi. I rimedi proposti sono la verifica da parte di terzi, o la valutazione incrociata da parte dei modelli di altri sviluppatori, con garanzie contro lo scambio di dati sensibili commercialmente.

Anthropic annuncia infine di integrare valutatori terzi provenienti da più organizzazioni, con un accesso ai processi, sistemi e dati interni paragonabile a quello dei team interni di valutazione dei rischi. Il loro mandato: verificare le pratiche di sicurezza, segnalare gli incidenti, e monitorare queste metriche. È lì che si giocherà la credibilità dell'esercizio.