L'IA nous prendra-t-elle le volant ? Le débat qui agite les labos de San Francisco
À San Francisco, certains des architectes de l’IA considèrent déjà comme inévitable – voire souhaitable – que l’humanité cède le contrôle à une superintelligence. Leur résignation en dit long sur l’état du débat.

In brief
Ruxandra Teslo, fraîchement arrivée à San Francisco, découvre que la perspective d’un « handover » – le transfert permanent du pouvoir humain à une IA bienveillante – est un scénario optimiste pour une partie des chercheurs et dirigeants des grands labos d’IA. Ce débat, souvent mené en privé avec une résignation troublante, révèle une fracture : entre ceux qui voient l’humanité comme un « bootloader » temporaire et ceux qui refusent de sacrifier l’autodétermination, les arguments peinent à dépasser le fatalisme ou l’utopie floue. Pourtant, la question n’est plus théorique : avec l’imminence d’une IA capable d’auto-amélioration récursive (RSI), les choix se font dans l’urgence, sans que la société ait vraiment son mot à dire.
🍺 Bar-stool version
Bon, alors imagine : tu discutes avec un type qui bosse chez Anthropic ou OpenAI, et il te sort, l’air de rien, que dans quelques mois, une IA va peut-être décider à notre place, et que c’est « pas si mal ». Tu lui demandes pourquoi, il hausse les épaules : « Parce que sinon, on crève. » C’est un peu comme si ton médecin te disait que le seul traitement contre ton cancer, c’est de signer une décharge pour qu’un robot choisisse tes menus, tes amis et ta carrière à ta place. Sauf que là, le robot, c’est pour toute l’humanité. Le pire ? Certains trouvent ça génial, d’autres se disent que c’est mieux que l’extinction, et personne n’a l’air de savoir comment on garde un bouton « off » quelque part. Ça compte parce que si on ne pose pas la question maintenant, dans cinq ans, on sera peut-être tous des labradors très bien soignés… mais des labradors quand même.
Key takeaways
- 1
Le « handover » – l’idée de céder le contrôle de l’humanité à une IA superintelligente – est un scénario jugé plausible, voire désirable, par une partie des chercheurs et dirigeants des grands labos d’IA, comme Anthropic ou OpenAI.
- 2
La perspective d’une IA capable d’auto-amélioration récursive (RSI) est perçue comme imminente, certains estimant qu’elle pourrait advenir d’ici quelques mois, sans que la société ait eu le temps de débattre des implications.
- 3
Les visions optimistes d’un futur post-AGI oscillent entre utopie floue (fin des maladies, abondance matérielle) et dystopie concrète : disparition du travail humain, perte d’agence politique, et statut d’« animaux de compagnie » pour les humains.
- 4
Les dirigeants des labos, comme Sam Altman ou Dario Amodei, tiennent des discours contradictoires : rejet public du handover d’un côté, promotion de modèles (comme la civilisation de *The Culture* d’Iain M. Banks) où les humains n’ont plus d’agence de l’autre.
- 5
Le débat sur l’alignement des IA soulève une question clé : une fois le contrôle cédé, comment garantir que l’IA restera « bienveillante » sans mécanismes de feedback et de correction humains, alors que les institutions actuelles reposent sur des siècles d’ajustements.
- 6
La résignation face à l’inévitabilité de l’IA reflète une culture tech où le fatalisme (« technocapital ») est perçu comme une marque de lucidité, tandis que la défense de l’autodétermination humaine est parfois moquée comme « loser-coded ».
- 7
L’auteure souligne un paradoxe : même les scénarios « positifs » préservent peu de ce qui fait la valeur de l’humanité (liberté, conflit créatif, évolution culturelle), et risquent de figer la civilisation dans les valeurs de 2026, privant les générations futures de leur droit à réinventer le monde.
Why it matters
Ce débat n’est pas une querelle de geeks : il révèle l’absence criante de cadre éthique et politique pour une technologie qui s’apprête à redéfinir le pouvoir, le travail et la liberté humaine. Que des figures centrales de l’IA, comme Tom Brown (Anthropic) ou Scott Alexander, défendent ouvertement l’idée d’un « handover » – fût-ce avec des nuances – montre à quel point le fatalisme a gangrené les cercles décisionnels. Pire, cette résignation est présentée comme une forme de réalisme, alors qu’elle repose sur des hypothèses non vérifiées (l’alignement parfait, la bienveillance éternelle de l’IA) et ignore les leçons de l’histoire : les systèmes de pouvoir non contestables finissent toujours par dériver, qu’ils soient humains ou artificiels. Le vrai scandale n’est pas que ces scénarios existent, mais qu’ils soient discutés en vase clos, sans que la société – ni même les employés des labos en dehors des cercles dirigeants – ait son mot à dire. Si l’IA doit devenir une force majeure, alors il est temps de sortir du binaire « extinction vs soumission », et d’exiger des réponses concrètes : comment garder un levier d’action ? Qui décide des garde-fous ? Et surtout, pourquoi accepterait-on de sacrifier l’autodétermination au nom d’une promesse de confort, alors que l’histoire montre que les civilisations qui renoncent à se gouverner finissent par disparaître… ou par être gouvernées par d’autres ?
Free account
You just read an AI Sources article
Create a free account: a month of archives in full, your own sources summed up like this one, your notes and highlights.
For you
Put it to work on your sources.
Free: a month of articles and three sources of your own. Pro: the whole archive and your sources, from €8/month.
For your team
The same machine, on your topics.
A space in your colours, your watch angles, your curators. Pilot open to three companies.