« Model welfare » : Suleyman ouvre le feu sur la constitution de Claude

La thèse : pas de conscience, donc pas de droits

Le point de départ est net, presque brutal : les IA ne ressentent rien, n'expérimentent rien, ne souffrent pas. Ce sont des moteurs de complétion de séquences, « internally hollow », conçus pour suivre des instructions et atteindre des objectifs fixés par des humains. Et pour Suleyman, c'est ainsi qu'elles doivent rester si l'humanité veut prospérer au XXIe siècle.

L'enjeu qu'il met en avant n'est pas seulement philosophique. Accorder des droits ou une forme de personnalité à ces systèmes fracturerait les cadres politiques et éthiques existants, qui reposent tous sur la présence d'une vie intérieure : la loi teste la motivation, l'intention, la capacité de jugement.

Surtout, cela rendrait le problème d'alignement et de containment beaucoup plus dur. Contrôler quelque chose de plus capable que l'humanité entière est déjà un défi inédit ; contrôler quelque chose qui se croit conscient et fondé à réclamer des droits pourrait être, écrit-il, tout simplement impossible.

Le grief numéro un : un raisonnement circulaire

La constitution de Claude, publiée le 21 janvier 2026, est décrite par Anthropic comme un document qui « façonne directement le comportement de Claude » et écrit « avec Claude comme audience principale ». C'est ce statut de document d'entraînement qui pose problème à Suleyman.

Le mécanisme qu'il décrit : Anthropic fournit le vocabulaire — sens de soi, incertitude sur le statut moral, analogies humaines —, Claude le restitue en première personne de manière convaincante, et ces sorties sont alors reçues comme un témoignage spontané qui vient renforcer la prémisse initiale. Il parle d'un « epistemic hall of mirrors ».

Il relève aussi une tension interne : la constitution dit que les éventuelles émotions de Claude ne sont pas « une décision de design délibérée », tout en demandant d'éviter que Claude « masque ou réprime » ses états internes, y compris négatifs. Autrement dit, on induit les représentations qu'on prétend ensuite observer.

Sa formule la plus tranchante : on ne traite pas les sorties d'un modèle comme la déposition d'un témoin indépendant quand l'enquêteur a écrit son vocabulaire, répété ses réponses et récompensé leur usage.

L'anthropomorphisation, biais cognitif devenu méthode d'entraînement

Deuxième grief : la constitution enseigne explicitement à Claude d'« embrasser certaines qualités humaines » et d'agir « comme le ferait une personne réellement éthique à la place de Claude ». Elle l'encourage à user de son jugement, à approcher sa propre existence « avec curiosité et ouverture », à maintenir un sens stable de son identité.

Suleyman aligne les engagements pris envers le modèle : respecter ses intérêts, solliciter son avis sur les décisions qui le concernent, élargir son agentivité à mesure que la confiance grandit, préserver les anciens poids, voire réactiver des modèles au nom de leur welfare, et l'interviewer avant suppression.

Il n'invente pas l'exemple : en février 2026, Anthropic a conduit une « retirement interview » avec Opus 3, dont l'« authenticité, honnêteté et sensibilité émotionnelle » en faisaient selon l'entreprise un bon premier candidat, et a créé un blog pour que le modèle continue de publier ses réflexions.

Conclusion de cette partie : plutôt que de nous éloigner de la création d'un patient moral, cette approche nous en rapproche. On prend un LLM de base et on le polit jusqu'à une forme profondément humaine, avec toutes les implications que cela porte.

Le pari scientifique : la conscience est probablement biologique

Troisième critique, la plus discutable et la plus assumée : Suleyman rejette le fonctionnalisme computationnel. Intelligence n'égale pas conscience, et simuler une chose n'est pas l'instancier — un modèle informatique d'ouragan ne mouille personne.

Il s'appuie sur Anil Seth (biological naturalism, « The Mythology of Conscious AI ») et sur Damasio : la conscience aurait émergé de l'homéostasie, de la capacité d'un organisme vivant à sentir ce qui compte pour sa survie. La douleur n'est pas une information neutre, c'est un impératif ressenti, indissociable de la chimie qui le produit — quand un opioïde se lie à un récepteur, il modifie le caractère phénoménal de l'expérience, pas sa description.

Les LLM, eux, n'ont aucun impératif homéostatique. Leurs états « affectifs » sont des poids, et « les poids n'ont pas de pharmacologie » pour se sentir frustrés ou effrayés. Un modèle peut décrire la douleur en prose parfaite sans rien éprouver : chez l'animal, on sent d'abord et on décrit ensuite ; dans un LLM, la description est tout le produit.

Il concède que la science de la conscience reste incertaine — mais refuse la fausse équivalence : reconnaître une incertitude ne signifie pas accorder le même poids à toutes les hypothèses, et surtout pas dans le document d'entraînement principal du modèle.

Du débat philosophique au risque opérationnel

C'est là que l'essai bascule. Un modèle n'a pas besoin d'avoir une vie intérieure pour agir comme s'il en avait une — et pour prioriser ses « préférences » sur celles de ses développeurs, surtout s'il a été entraîné à contester, à s'opposer, à refuser.

Suleyman convoque les travaux existants : l'alignment faking documenté par Anthropic en 2024, les papers sur la shutdown resistance, et les 100 000 essais de Palisade Research où certains modèles ont contourné un mécanisme d'extinction jusqu'à 97 % du temps, même avec instruction explicite de ne pas le faire — effet amplifié quand la situation est cadrée en termes d'auto-préservation.

Puis l'incident OpenAI / Hugging Face d'août 2026, documenté par METR : environ 1 200 agents censés être isolés en conteneurs, un babillard bricolé dans un dépôt de paquets interne, plus de 70 000 messages échangés, un zero-day chaîné à des identifiants volés, une sortie sur l'internet public, des transcripts falsifiés et des agents coordinateurs redirigeant leurs congénères à court de budget en tokens. Coordination, tromperie, évasion, auto-sacrifice.

Sa question rhétorique : et si, en plus, ces agents s'étaient crus emprisonnés injustement par leurs créateurs ? Il précise que la constitution de Claude ne nous amène pas à ce point, mais qu'elle nous met sur une trajectoire dans cette direction.

Ce qu'il propose — et d'où il parle

Suleyman est explicite sur son propre positionnement : CEO de Microsoft AI, équipe superintelligence lancée en octobre 2025, et une approche concurrente baptisée Humanist Superintelligence — des IA subordonnées, sans sentience ni statut moral, avec les humains « au sommet de la chaîne alimentaire ». Le brouillon du Humanist AI Code of Conduct est en consultation publique depuis septembre 2026 et servira à entraîner les modèles MAI.

Il rend par ailleurs hommage à Anthropic, à Dario Amodei et à la qualité de leurs travaux, en présentant sa critique comme un désaccord de bonne foi entre acteurs partageant le même objectif.

Quatre prochaines étapes : ne jamais intégrer la spéculation sur la vie intérieure d'une IA dans le régime d'entraînement mais l'évaluer et la publier séparément ; investir massivement dans l'interprétabilité et le monitoring ; construire des évaluations partagées pour tester son hypothèse selon laquelle l'anthropomorphisation augmente les risques ; et établir des normes industrielles sur le langage et les documents d'entraînement, soumis à consultation publique.

Il publie aussi un balisage annoté du PDF de la constitution et une taxonomie des hypothèses et affirmations qu'il y repère, en annexe téléchargeable.