L'adoption de l'IA en entreprise est un mirage statistique
Le patron de Varick Agents affirme que la majorité des salariés ne rattrapera jamais les power users, et qu'il faut cesser de mesurer l'« adoption ».
In breve
Dans un billet de blog, le CEO de Varick Agents soutient que l'adoption de l'IA en entreprise suit toujours un profil en haltère : 5 à 10 % de power users, 20 % d'usages médiocres, 70 % de non-utilisateurs. Selon lui, les indicateurs d'adoption masquent cette réalité. Sa conclusion : former pour détecter les meilleurs, et faire tourner l'IA en arrière-plan pour tous les autres.
🍺 Versione da bancone
Ta boîte a acheté des licences Claude pour 5 000 personnes, et les tableaux de bord affichent fièrement 88 % d'adoption. Dans les faits, une poignée de passionnés font le travail de trois personnes, une partie des autres colle des mails dans le chatbot pour les reformuler, et le reste a ouvert l'outil une fois, par politesse. C'est un peu comme compter les abonnés d'une salle de sport pour mesurer la forme physique du pays. Le vrai sujet n'est pas de savoir qui s'est connecté, mais quelle part du travail est vraiment faite par la machine.
Da ricordare
- 1
Dans chaque organisation observée par Varick, de 50 à 5 000 personnes, la répartition est la même : 5 à 10 % de power users, environ 20 % d'usages occasionnels et maladroits, 70 % de non-usage.
- 2
Un dirigeant d'une organisation de plusieurs milliers de personnes a déployé Claude Cowork sans constater la moindre accélération de son équipe, alors que ses tableaux de bord comptaient le déploiement comme une adoption réussie.
- 3
Chez un autre client ayant signé un engagement à huit chiffres, environ 10 % des utilisateurs consomment 90 % des tokens : si tout le monde utilisait l'IA comme le premier décile, la facture serait multipliée par dix.
- 4
L'auteur cite McKinsey (88 % des organisations utilisent l'IA, seules 6 % en tirent plus de 5 % de leur EBIT) et le rapport GenAI Divide du MIT NANDA (95 % des pilotes sans impact mesurable sur le P&L).
- 5
Bien utiliser l'IA est un savoir-faire : gérer le contexte, transformer les tâches répétées en skill files, distinguer ce qui relève du modèle de ce qui relève du code déterministe, et surtout relire les diffs.
- 6
Les éditeurs, les utilisateurs avancés et les programmes de « prompt training » ont tous intérêt à maintenir le fossé ou à ne traiter qu'une petite partie du problème.
- 7
La recommandation finale : former pour diagnostiquer, faire publier et classer les skills des power users, et intégrer des agents dans les systèmes existants (Salesforce, NetSuite, Dynamics) pour tous les autres.
Le fossé derrière vous
L'auteur commence par interpeller son lecteur : si vous utilisez un modèle tous les jours et avez des avis sur la meilleure façon de s'en servir, vous faites déjà partie du top 1 %. L'écart avec les « frontier users » qui pilotent vingt terminaux à la fois existe, mais il est bien plus étroit que celui qui vous sépare du salarié médian.
Ce salarié médian d'un grand groupe a peut-être ouvert ChatGPT quatre fois en deux ans. Il a essayé GPT-3.5-turbo, en a conclu que l'IA était stupide, et n'est jamais revenu.
Sa thèse centrale tient en une phrase : toutes les stratégies IA supposent que cette personne finira par rattraper son retard. Selon lui, elle ne le fera pas.
Le profil en haltère
L'exemple fondateur est celui d'un responsable des opérations d'une entreprise non technique, à la tête de milliers de personnes. Après le déploiement de Claude Cowork, son équipe a continué d'avancer exactement au même rythme qu'avant.
L'explication est la même partout, quelle que soit la taille de l'organisation. 5 à 10 % des salariés sont des power users qui exploitent les skill files et les connecteurs Outlook ; ce sont souvent eux qui ont réclamé l'outil. 20 % s'en servent quelques fois par jour, mal. Les 70 % restants ne l'utilisent pas.
Le paradoxe est que les deux constats sont vrais en même temps : le déploiement compte comme une adoption dans les tableaux de bord, et rien n'est allé plus vite.
Utiliser et bien utiliser : deux métiers
Installer Claude, le pointer sur un dépôt et lui envoyer un prompt de quatre mots est trivial. Bien l'utiliser suppose de savoir quand vider le contexte, de transformer une action répétée en skill file, et d'identifier les 15 % d'un projet d'automatisation qui exigent le jugement d'un modèle face aux 85 % qui relèvent du code déterministe.
L'auteur illustre avec deux ingénieurs face au même ticket Jira. Le premier colle le texte, obtient une modification sur six fichiers, vérifie que les tests passent et merge ; trois semaines plus tard, la production déraille à cause d'une valeur de config modifiée sans raison.
Le second précise où se trouve le code, ce qu'il faut toucher ou non, s'appuie sur des skill files qui imposent des PR minimalistes et testées, relit le diff et corrige un changement parasite. Résultat : une PR deux fois plus petite. Pour l'auteur, au moins la moitié de toute organisation n'atteindra jamais ce second niveau.
Un indicateur binaire pour une compétence graduelle
Même un déploiement parfait produit le même profil. Chez un client ayant pris un engagement annuel à huit chiffres, environ 10 % des utilisateurs consomment 90 % des tokens. Si les 90 % restants suivaient le rythme du premier décile, 10 millions de dollars deviendraient 100 millions : le meilleur scénario se transformerait en pire scénario budgétaire.
Les métriques d'adoption se réduisent à une question binaire : la personne s'est-elle connectée ce mois-ci ? Elles ne distinguent pas celui qui n'a jamais ouvert l'outil, celui qui reformate des mails et celui qui a trois agents en production sur le grand livre comptable.
D'où le titre : les chiffres d'adoption ne sont pas mensongers, ils mesurent simplement ce qui est facile à mesurer, au lieu de la compétence réelle et du ROI par token.
Des incitations qui creusent l'écart
Les éditeurs vendent toujours plus de capacités aux agents, mais rien sur l'aptitude des équipes à s'en servir. Ils construisent pour les frontier users, les plus bruyants et les plus gratifiants, et chaque nouvelle fonctionnalité relève le niveau requis pour bien utiliser le produit.
Les formations au prompting ne couvrent selon l'auteur que 10 % du sujet. Les 90 % restants consistent à savoir quels workflows ne doivent jamais toucher un modèle et lesquels doivent être entièrement automatisés, une réponse propre à chaque entreprise.
Quant aux experts internes, leur avantage repose précisément sur le fossé : ils travaillent 70 % plus vite ou abattent le travail de trois personnes. Ils n'ont aucune raison de le combler sans incitation.
La prescription : deux voies
Former reste nécessaire, mais comme outil de diagnostic plutôt que de remédiation : c'est le seul moyen de repérer qui appartient au premier cercle.
Pour les power users, il recommande une base partagée où chaque skill est publiée, classée et installable par les autres. Le classement sert d'incitation, le statut remplaçant l'avantage perdu. Même ainsi, la moitié des salariés n'utilisera jamais une skill.
Pour tous les autres, l'IA doit passer en arrière-plan : des agents intégrés dans les systèmes de référence existants, avec un humain qui valide, rejette ou corrige. Exemple : des analystes comptables fournisseurs dont 90 % du travail sur les factures est automatisable. Aux conseils d'administration, il propose de remplacer l'indicateur d'adoption par la part du travail manuel, hybride et entièrement automatisé.
“I’m telling you, they won’t.”
“Using AI well is a craft.”
“People are not in the market for a tool that helps them get the work done. They just want the work done.”
Perché conta
Le billet met des chiffres sur un malaise que beaucoup de DSI ressentent sans le formuler : les licences sont achetées, les connexions augmentent, et la productivité ne bouge pas. Le constat du profil en haltère est crédible et cohérent avec les études citées de McKinsey et du MIT NANDA. L'idée de remplacer le taux d'adoption par la part de travail automatisé est sans doute la contribution la plus utile pour les équipes dirigeantes. Il faut toutefois lire ce texte pour ce qu'il est : un contenu de marketing. La conclusion, selon laquelle la solution consiste à auditer les processus puis à construire des agents dans les systèmes existants, correspond exactement à l'offre de Varick, qui le revendique en fin d'article. Les exemples clients sont anonymes et invérifiables. Les pourcentages du profil en haltère relèvent de l'observation de terrain, pas d'une étude. Enfin, la thèse du « jamais » est discutable : elle suppose que les outils resteront aussi exigeants, alors que l'intégration en arrière-plan qu'il prône est précisément la façon dont l'IA finira par toucher ceux qui ne la sollicitent pas. Le texte a le mérite de déplacer la question, de « combien utilisent l'IA » vers « combien de travail est fait par l'IA ».
Per te
Falla lavorare sulle tue fonti.
Gratis: un mese di articoli e tre fonti tue. Pro: tutto l'archivio e le tue fonti, da 8 €/mese.
Per il tuo team
La stessa macchina, sui vostri temi.
Uno spazio con i vostri colori, i vostri angoli di monitoraggio, i vostri curatori. Pilota aperto a tre aziende.