Si vous avez déjà vu un agent IA rater un appel d’outil — en produisant {"city": "Paris"} alors que le schéma exigeait {"location": "Paris"} — vous connaissez la douleur d’une génération structurée peu fiable. C’est le goulot d’étranglement silencieux qui transforme une démo d’agent prometteuse en cauchemar de débogage.
Le 4 mai, la communauté MLC (Machine Learning Compilation) a livré une solution. XGrammar-2 n’est pas une simple mise à niveau incrémentale : c’est une refonte fondamentale de la façon dont les LLM produisent des sorties structurées, conçue pour l’ère des agents. Les chiffres clés sont frappants : compilation de grammaire jusqu’à 80× plus rapide, précision de schéma de 100 % et surcoût de latence quasi nul, même en gérant plus de 500 outils en une seule session.
Pourquoi les appels d’outils des agents avaient besoin d’une refonte
Au cours de l’année écoulée, les applications d’agents — de Claude Code à OpenClaw — ont vu leur complexité exploser. Ces systèmes définissent des harnais sophistiqués que les LLM doivent parcourir, en produisant des structures de sortie spécifiques à chaque étape :
- Appels d’outils avec des arguments JSON strictement typés
- Canaux de raisonnement qui entrelacent texte libre et blocs structurés
- Réponses multi-parties combinant analyse, invocations d’outils et réponses finales
Le XGrammar d’origine, publié il y a plus d’un an, a résolu le problème fondamental : il utilisait le décodage contraint pour garantir une exactitude structurelle de 100 % avec un surcoût quasi nul. En précalculant un cache de masques de jetons au moment de la compilation, il bloquait les jetons invalides à chaque étape de décodage, garantissant que le LLM ne puisse générer qu’une sortie valide.
Mais le paysage des agents a évolué plus vite que l’outillage. Les frameworks d’agents modernes exigent des structures de sortie pour lesquelles XGrammar n’avait pas été conçu — pensez aux paramètres d’outils de style XML de DeepSeek V4, au « harmony format » d’OpenAI avec raisonnement et appels d’outils entrelacés, ou aux sorties d’agents multim