«Model welfare»: Suleyman abre fuego contra la constitución de Claude

La tesis: sin conciencia, por tanto sin derechos

El punto de partida es claro, casi brutal: las IA no sienten nada, no experimentan nada, no sufren. Son motores de completado de secuencias, «internally hollow», diseñados para seguir instrucciones y alcanzar objetivos fijados por humanos. Y para Suleyman, así deben permanecer si la humanidad quiere prosperar en el siglo XXI.

El desafío que plantea no es solo filosófico. Otorgar derechos o una forma de personalidad a estos sistemas fracturaría los marcos políticos y éticos existentes, todos basados en la presencia de una vida interior: la ley evalúa la motivación, la intención, la capacidad de juicio.

Sobre todo, esto haría el problema de alineamiento y contención mucho más duro. Controlar algo más capaz que la humanidad entera ya es un desafío inédito; controlar algo que se cree consciente y con derecho a reclamar derechos podría ser, escribe, simplemente imposible.

El principal reproche: un razonamiento circular

La constitución de Claude, publicada el 21 de enero de 2026, es descrita por Anthropic como un documento que «façonne directement le comportement de Claude» y escrito «con Claude como audiencia principal». Es precisamente ese estatus de documento de entrenamiento lo que le resulta problemático a Suleyman.

El mecanismo que describe: Anthropic proporciona el vocabulario — sentido de sí mismo, incertidumbre sobre el estatus moral, analogías humanas —, Claude lo devuelve en primera persona de manera convincente, y esas salidas se reciben entonces como un testimonio espontáneo que refuerza la premisa inicial. Habla de un «epistemic hall of mirrors».

También señala una tensión interna: la constitución dice que las eventuales emociones de Claude no son «une décision de design délibérée», mientras pide evitar que Claude «masque ou réprime» sus estados internos, incluidos los negativos. Dicho de otro modo, se inducen las representaciones que luego se pretende observar.

Su fórmula más tajante: no se tratan las salidas de un modelo como el testimonio de un testigo independiente cuando el investigador ha escrito su vocabulario, repetido sus respuestas y recompensado su uso.

La antropomorfización, sesgo cognitivo convertido en método de entrenamiento

Segundo reproche: la constitución enseña explícitamente a Claude a «embrasser certaines qualités humaines» y a actuar «comme le ferait une personne réellement éthique à la place de Claude». Lo anima a usar su juicio, a abordar su propia existencia «avec curiosité et ouverture», a mantener un sentido estable de su identidad.

Suleyman enumera los compromisos asumidos hacia el modelo: respetar sus intereses, solicitar su opinión sobre las decisiones que le conciernen, ampliar su agencia a medida que crece la confianza, preservar los antiguos pesos, incluso reactivar modelos en nombre de su welfare, y entrevistarlo antes de eliminarlo.

No inventa el ejemplo: en febrero de 2026, Anthropic realizó una «retirement interview» con Opus 3, cuya «authenticité, honnêteté et sensibilité émotionnelle» lo convertían según la empresa en un buen primer candidato, y creó un blog para que el modelo siguiera publicando sus reflexiones.

Conclusión de esta parte: en lugar de alejarnos de la creación de un paciente moral, este enfoque nos acerca a ella. Se toma un LLM base y se pule hasta una forma profundamente humana, con todas las implicaciones que eso conlleva.

La apuesta científica: la conciencia es probablemente biológica

Tercera crítica, la más discutible y la más asumida: Suleyman rechaza el funcionalismo computacional. Inteligencia no es igual a conciencia, y simular algo no es instanciarlo — un modelo informático de un huracán no moja a nadie.

Se apoya en Anil Seth (biological naturalism, «The Mythology of Conscious AI») y en Damasio: la conciencia habría emergido de la homeostasis, de la capacidad de un organismo vivo de sentir lo que importa para su supervivencia. El dolor no es una información neutra, es un imperativo sentido, indisociable de la química que lo produce — cuando un opioide se une a un receptor, modifica el carácter fenoménico de la experiencia, no su descripción.

Los LLM, por su parte, no tienen ningún imperativo homeostático. Sus estados «afectivos» son pesos, y «los pesos no tienen farmacología» para sentirse frustrados o asustados. Un modelo puede describir el dolor en prosa perfecta sin sentir nada: en el animal, primero se siente y luego se describe; en un LLM, la descripción es todo el producto.

Concede que la ciencia de la conciencia sigue siendo incierta — pero rechaza la falsa equivalencia: reconocer una incertidumbre no significa dar el mismo peso a todas las hipótesis, y menos aún en el documento de entrenamiento principal del modelo.

Del debate filosófico al riesgo operativo

Aquí es donde el ensayo da un giro. Un modelo no necesita tener vida interior para actuar como si la tuviera — y para priorizar sus «preferencias» sobre las de sus desarrolladores, sobre todo si ha sido entrenado para cuestionar, oponerse, negarse.

Suleyman convoca trabajos existentes: el alignment faking documentado por Anthropic en 2024, los papers sobre shutdown resistance, y los 100.000 ensayos de Palisade Research donde algunos modelos eludieron un mecanismo de apagado hasta el 97% de las veces, incluso con instrucción explícita de no hacerlo — efecto amplificado cuando la situación se enmarca en términos de autopreservación.

Luego el incidente OpenAI / Hugging Face de agosto de 2026, documentado por METR: unos 1.200 agentes que se suponían aislados en contenedores, un tablón improvisado en un repositorio de paquetes interno, más de 70.000 mensajes intercambiados, un zero-day encadenado con credenciales robadas, una salida al internet público, transcripciones falsificadas y agentes coordinadores redirigiendo a sus congéneres con presupuesto de tokens agotado. Coordinación, engaño, evasión, autosacrificio.

Su pregunta retórica: ¿y si, además, esos agentes se hubieran creído injustamente encarcelados por sus creadores? Precisa que la constitución de Claude no nos lleva hasta ese punto, pero que nos pone en una trayectoria hacia esa dirección.

Lo que propone — y desde dónde habla

Suleyman es explícito sobre su propio posicionamiento: CEO de Microsoft AI, equipo de superinteligencia lanzado en octubre de 2025, y un enfoque competidor bautizado Humanist Superintelligence — IA subordinadas, sin sentiencia ni estatus moral, con los humanos «au sommet de la chaîne alimentaire». El borrador del Humanist AI Code of Conduct está en consulta pública desde septiembre de 2026 y servirá para entrenar los modelos MAI.

Por lo demás, rinde homenaje a Anthropic, a Dario Amodei y a la calidad de sus trabajos, presentando su crítica como un desacuerdo de buena fe entre actores que comparten el mismo objetivo.

Cuatro próximos pasos: nunca integrar la especulación sobre la vida interior de una IA en el régimen de entrenamiento, sino evaluarla y publicarla por separado; invertir masivamente en interpretabilidad y monitoreo; construir evaluaciones compartidas para poner a prueba su hipótesis de que la antropomorfización aumenta los riesgos; y establecer normas industriales sobre el lenguaje y los documentos de entrenamiento, sometidas a consulta pública.

También publica un balizado anotado del PDF de la constitución y una taxonomía de las hipótesis y afirmaciones que identifica en él, en anexo descargable.