Clef : Cloudflare lance ses propres modèles de décision, open source

Une nouvelle catégorie : le modèle de décision

Cloudflare part d'un constat : depuis quelques semaines, Jev System One, le modèle de Typesafe AI, popularise l'idée de « decision model ». Il ne s'agit pas d'un LLM qui raisonne et génère du texte, mais d'un modèle qui produit des sorties structurées et bornées, vite, pour pas cher et de façon cohérente.

Le principe : on fournit un état (un ticket de support, par exemple) et des questions typées. Le modèle renvoie des réponses avec des probabilités : est-ce urgent, quelle équipe doit s'en charger, quelle gravité. Le code peut alors router, escalader ou renvoyer vers un humain.

Contrairement aux classifieurs classiques, ces modèles n'ont pas besoin d'être réentraînés à chaque nouvelle catégorie : les options sont définies dans la requête. Cloudflare y voit une brique pour des agents qui décident et agissent sans humain dans la boucle, sauf quand ils le jugent nécessaire.

Le cas d'usage interne : classer des domaines

L'équipe Threat Intelligence de Cloudflare a testé Clef, couplé à Browser Run, pour catégoriser des noms de domaine. Exemple donné : 95 % mode, 85 % e-commerce, moins de 1 % phishing.

L'ensemble (récupération, rendu et classification de la page) prend 2,2 secondes avec Clef. Avec gpt-oss-120b, le LLM généraliste le plus rapide de Cloudflare, le même workflow prend 4,7 secondes et ne renvoie que deux catégories.

Le nom, lui, vient de la musique : la clef placée en début de portée fixe le nom des notes qui suivent, comme le modèle fixe le cadre des actions à venir. Et « CF » renvoie à Cloudflare.

Ce que Clef apporte face à Jev

Trois arguments sont mis en avant. D'abord la vision : Clef peut classer du contenu visuel. Ensuite le contexte : 64k tokens contre 32k pour Jev. Enfin la qualité, mesurée sur des benchmarks retenus à partir du Jev Decision Index.

Les écarts sont parfois nets. Sur BANKING77, Clef obtient 94,20 de macro-F1 contre 79,74 pour Jev ; sur CLINC150+OOS, 97,43 contre 89,27 ; sur la tâche « home appliances », Clef-flash atteint 97,73 contre 52,27 pour Jev.

Mais Jev reste devant sur When2Call (80,97 contre 72,37) et BRIGHT (47,52 contre 45,91). Clef-flash s'effondre aussi sur CLINC150+OOS (66,77). Sur PhishNChips, un autre modèle du tableau dépasse Clef (85,35 contre 79,60).

Côté latence, Clef-flash affiche 38,8 ms en médiane et 122,4 ms au p95. Seul Laya est plus rapide (5,8 ms en médiane), mais ses scores de qualité sont très bas. L'hébergement sur des GPU en edge réduit en plus la latence réseau, ce qui permet de placer Clef dans le hot path d'un agent.

Sous le capot : pas de génération, du scoring

Clef prolonge une expérience publiée par Cloudflare la semaine de la sortie de Jev : adapter DiffusionGemma pour en tirer des probabilités déterministes via les logprobs, en s'appuyant sur les travaux de Matt Mastracci, contributeur à vLLM.

Le backbone est désormais Qwen, gelé : Qwen3.8-27B pour Clef, Qwen3.5-9B pour Clef-flash. Cloudflare entraîne une tête de routage et des adaptateurs LoRA de rang 256. À l'inférence, une seule passe de prefill suffit, puis les choix valides du schéma sont scorés en parallèle, sans générer de texte token par token.

L'architecture repose sur un routage d'attention en deux étapes : chaque option va chercher les éléments pertinents du prompt, puis les champs s'observent entre eux et relisent la charge utile avant le scoring. L'entraînement combine une cross-entropy avec label smoothing et une Brier loss pour calibrer les probabilités, sur des données synthétiques qui permutent ordres de champs, prompts et schémas.

S'y ajoute RLCD (Reinforcement Learning for Calibrated Decisions) : crédit partiel pour les choix ordinaux voisins, récompense des enregistrements entièrement justes, pénalité de référence pour éviter la dérive de distribution.

Le vrai pari : le fine-tuning par RL

Les équipes internes de Cloudflare veulent des versions spécialisées de Clef : trier les signalements Trust & Safety, trier les demandes de support, distinguer bons et mauvais crawlers dans les produits Bot. Cloudflare dit disposer de plus de 15 ans de données réseau et de décisions étiquetées pour cela.

Le service démarre avec l'équipe FDE (forward-deployed engineers), en accompagnement. L'objectif est ensuite une plateforme self-serve pour capturer les données, fine-tuner et redéployer, entièrement chez Cloudflare.

La chaîne s'appuie sur des briques existantes : AI Gateway pour constituer automatiquement des datasets à partir du trafic, Workers AI pour générer des rollouts, Containers comme sandbox de RL, un nouveau composant Trainer pour mettre à jour les poids, et Bring Your Own Model (Cog, hérité du rachat de Replicate) pour redéployer.