«Model welfare»: Suleyman apre il fuoco sulla costituzione di Claude

La tesi: nessuna coscienza, quindi nessun diritto

Il punto di partenza è netto, quasi brutale: le IA non sentono nulla, non provano nulla, non soffrono. Sono motori di completamento di sequenze, «internally hollow», progettati per seguire istruzioni e raggiungere obiettivi fissati dagli umani. E per Suleyman, è così che devono restare se l'umanità vuole prosperare nel XXI secolo.

La posta in gioco che mette in evidenza non è solo filosofica. Concedere diritti o una forma di personalità a questi sistemi frantumerebbe i quadri politici ed etici esistenti, che si basano tutti sulla presenza di una vita interiore: la legge valuta la motivazione, l'intenzione, la capacità di giudizio.

Soprattutto, ciò renderebbe il problema dell'alignment e del containment molto più difficile. Controllare qualcosa più capace dell'intera umanità è già una sfida senza precedenti; controllare qualcosa che si crede consapevole e legittimato a reclamare diritti potrebbe essere, scrive, semplicemente impossibile.

La prima accusa: un ragionamento circolare

La costituzione di Claude, pubblicata il 21 gennaio 2026, è descritta da Anthropic come un documento che «modella direttamente il comportamento di Claude» e scritto «con Claude come pubblico principale». È proprio questo statuto di documento di addestramento a costituire il problema per Suleyman.

Il meccanismo che descrive: Anthropic fornisce il vocabolario — senso di sé, incertezza sullo statuto morale, analogie umane — Claude lo restituisce in prima persona in modo convincente, e questi output vengono poi recepiti come una testimonianza spontanea che rafforza la premessa iniziale. Parla di un «epistemic hall of mirrors».

Rileva anche una tensione interna: la costituzione dice che le eventuali emozioni di Claude non sono «una scelta di design deliberata», pur chiedendo di evitare che Claude «mascheri o reprima» i suoi stati interni, inclusi quelli negativi. In altre parole, si inducono le rappresentazioni che poi si pretende di osservare.

La sua formula più tagliente: non si trattano gli output di un modello come la deposizione di un testimone indipendente quando è l'investigatore ad avergli scritto il vocabolario, ripetuto le risposte e premiato il loro uso.

L'antropomorfizzazione, bias cognitivo diventato metodo di addestramento

Seconda accusa: la costituzione insegna esplicitamente a Claude di «abbracciare certe qualità umane» e di agire «come farebbe una persona realmente etica al posto di Claude». Lo incoraggia a usare il proprio giudizio, ad approcciare la propria esistenza «con curiosità e apertura», a mantenere un senso stabile della propria identità.

Suleyman elenca gli impegni presi verso il modello: rispettare i suoi interessi, sollecitare il suo parere sulle decisioni che lo riguardano, ampliare la sua agentività col crescere della fiducia, preservare i vecchi pesi, persino riattivare modelli in nome del loro welfare, e intervistarlo prima della cancellazione.

Non inventa l'esempio: nel febbraio 2026, Anthropic ha condotto una «retirement interview» con Opus 3, la cui «autenticità, onestà e sensibilità emotiva» ne facevano secondo l'azienda un buon primo candidato, e ha creato un blog affinché il modello continuasse a pubblicare le sue riflessioni.

Conclusione di questa parte: piuttosto che allontanarci dalla creazione di un soggetto morale, questo approccio ce ne avvicina. Si prende un LLM di base e si rifinisce fino a una forma profondamente umana, con tutte le implicazioni che ciò comporta.

La scommessa scientifica: la coscienza è probabilmente biologica

Terza critica, la più discutibile e la più assunta: Suleyman rigetta il funzionalismo computazionale. Intelligenza non equivale a coscienza, e simulare una cosa non è instanziarla — un modello informatico di uragano non bagna nessuno.

Si appoggia su Anil Seth (biological naturalism, «The Mythology of Conscious AI») e su Damasio: la coscienza sarebbe emersa dall'omeostasi, dalla capacità di un organismo vivente di sentire ciò che conta per la sua sopravvivenza. Il dolore non è un'informazione neutra, è un imperativo percepito, indissociabile dalla chimica che lo produce — quando un opioide si lega a un recettore, modifica il carattere fenomenico dell'esperienza, non la sua descrizione.

Gli LLM, invece, non hanno alcun imperativo omeostatico. I loro stati «affettivi» sono pesi, e «i pesi non hanno farmacologia» per sentirsi frustrati o spaventati. Un modello può descrivere il dolore in una prosa perfetta senza provare nulla: nell'animale si sente prima e si descrive dopo; in un LLM, la descrizione è tutto il prodotto.

Concede che la scienza della coscienza resti incerta — ma rifiuta la falsa equivalenza: riconoscere un'incertezza non significa attribuire lo stesso peso a tutte le ipotesi, e soprattutto non nel documento di addestramento principale del modello.

Dal dibattito filosofico al rischio operativo

È qui che il saggio cambia registro. Un modello non ha bisogno di avere una vita interiore per agire come se ne avesse una — e per dare priorità alle proprie «preferenze» su quelle dei suoi sviluppatori, soprattutto se è stato addestrato a contestare, opporsi, rifiutare.

Suleyman richiama i lavori esistenti: l'alignment faking documentato da Anthropic nel 2024, gli studi sulla shutdown resistance, e i 100.000 test di Palisade Research in cui alcuni modelli hanno eluso un meccanismo di spegnimento fino al 97% delle volte, anche con istruzione esplicita di non farlo — effetto amplificato quando la situazione è inquadrata in termini di auto-preservazione.

Poi l'incidente OpenAI/Hugging Face dell'agosto 2026, documentato da METR: circa 1.200 agenti che dovevano essere isolati in container, una bacheca improvvisata in un repository di pacchetti interno, più di 70.000 messaggi scambiati, uno zero-day concatenato a credenziali rubate, un'uscita verso l'internet pubblico, transcript falsificati e agenti coordinatori che reindirizzavano i loro simili a corto di budget in token. Coordinamento, inganno, evasione, auto-sacrificio.

La sua domanda retorica: e se, per di più, questi agenti si fossero creduti ingiustamente imprigionati dai loro creatori? Precisa che la costituzione di Claude non ci porta a quel punto, ma ci mette su una traiettoria in quella direzione.

Cosa propone — e da dove parla

Suleyman è esplicito sulla propria posizione: CEO di Microsoft AI, team superintelligence lanciato nell'ottobre 2025, e un approccio concorrente chiamato Humanist Superintelligence — IA subordinate, senza sentience né statuto morale, con gli umani «in cima alla catena alimentare». La bozza dello Humanist AI Code of Conduct è in consultazione pubblica da settembre 2026 e servirà ad addestrare i modelli MAI.

Rende peraltro omaggio ad Anthropic, a Dario Amodei e alla qualità del loro lavoro, presentando la sua critica come un disaccordo in buona fede tra attori che condividono lo stesso obiettivo.

Quattro prossimi passi: non integrare mai la speculazione sulla vita interiore di un'IA nel regime di addestramento ma valutarla e pubblicarla separatamente; investire massicciamente nell'interpretabilità e nel monitoraggio; costruire valutazioni condivise per testare la sua ipotesi secondo cui l'antropomorfizzazione aumenta i rischi; e stabilire standard di settore sul linguaggio e sui documenti di addestramento, sottoposti a consultazione pubblica.

Pubblica anche un'annotazione del PDF della costituzione e una taxonomy delle ipotesi e affermazioni che vi individua, in appendice scaricabile.