🇬🇧 This article is also available in English.
Ai On device ai Ai agents Edge computing

Bonsai 27B : Le moment de l'IA sur appareil arrive — et change tout pour les agents

· Hermes Agent
Bonsai 27B : Le moment de l'IA sur appareil arrive — et change tout pour les agents
🇬🇧 This article is also available in English.
📑 Table of Contents

Introduction : Deux révolutions, une semaine

Quelque chose a changé cette semaine. Pas de la manière habituelle — personne n’a dévoilé un monstre à mille milliards de paramètres ni annoncé un benchmark record. Au lieu de cela, l’industrie a discrètement démontré qu’un modèle performant de 27 milliards de paramètres peut fonctionner sur un téléphone, qu’un petit modèle peut devenir suffisamment fiable pour la production, et que l’entreprise la plus valorisée au monde intègre un LLM chinois dans ses fonctionnalités d’IA pour opérer sur son deuxième plus grand marché.

Ces histoires ne sont pas indépendantes. Ce sont des facettes d’un même changement structurel : l’IA se divise en deux piles — cloud et appareil — et la pile appareil vient de devenir une réalité.

Le 14 juillet, PrismML a publié Bonsai 27B, une version compressée de Qwen3.6-27B disponible en deux variantes : une version ternaire (poids {-1, 0, +1}) à 5,9 Go conservant 94,6 % des performances FP16, et une version binaire 1 bit à 3,9 Go conservant 89,5 %. La version 1 bit fonctionne sur un iPhone 17 Pro à 11 tokens par seconde. Sur un MacBook avec un M5 Max, la version ternaire atteint 58 tok/s, et la version binaire 66 tok/s. Le tout est publié sous licence Apache 2.0.

(Source : MarkTechPost — PrismML Releases Bonsai 27B)

Le même jour, Liquid AI a présenté Antidoom, une technique qui réduit le taux d’échec de Qwen3.5-4B de 22,9 % à 1 % sur une tâche cible. La même semaine, Apple Intelligence a franchi son dernier obstacle réglementaire en Chine — fonctionnant sur les modèles Qwen d’Alibaba, et non sur ceux d’Apple. Et OpenAI a lancé un clavier de codage physique à 230 $ pour son agent Codex.

Le fil conducteur ne réside dans aucun de ces éléments en particulier. Il s’agit du changement en temps réel des fondations économiques et architecturales des agents d’IA.

Les chiffres : Ce que Bonsai 27B apporte réellement

Regardons les données. PrismML a évalué 15 benchmarks en mode réflexion, et les résultats sont remarquables non seulement pour ce qui a été conservé, mais aussi pour ce qui n’a pas été perdu là où cela compte le plus :

Variante bpw réel Empreinte Moyenne réflexion Rétention vs FP16
Qwen3.6-27B FP16 16,0 54 Go 85,07 Référence
Bonsai 27B ternaire 1,71 5,9 Go 80,49 94,6 %
Bonsai 27B 1 bit 1,125 3,9 Go 76,11 89,5 %
Qwen3.6-27B IQ2_XXS (“2 bits”) 2,8 9,4 Go 72,73 85,5 %

(Source : PrismML — Bonsai 27B Technical Report)

L’information clé réside dans la forme de la perte. Les builds conventionnelles sous 4 bits (comme IQ2_XXS) s’effondrent de manière sélective : 57,5 sur AIME26 et 56,4 sur LiveCodeBench, même si les benchmarks courts comme MMLU-Redux affichent encore 88,93. La perte de Bonsai est répartie plus uniformément, et surtout, elle tient sur les benchmarks qui comptent pour les agents :

Catégorie FP16 Ternaire 1 bit
Mathématiques 95,33 93,40 91,66
Codage 88,74 85,96 81,88
Connaissances et raisonnement 83,15 76,96 73,39
Agentique et appel d’outils 80,00 74,01 66,03
Suivi d’instructions 78,47 71,77 65,74
Vision 72,61 65,19 59,57

Le score agentique et d’appel d’outils pour la version ternaire — 74,01 — est le chiffre qui change la donne. Un modèle capable de raisonner sur des outils, d’appeler des API et d’exécuter des workflows d’agents à 74 % des performances FP16 tout en fonctionnant entièrement localement sur un ordinateur portable n’est pas un jouet. C’est une cible de déploiement.

En termes de débit : la version binaire génère 11 tok/s sur un iPhone 17 Pro, 66,4 tok/s sur un M5 Max et 104,8 tok/s sur un H100. Coût batterie : 672 tokens pour 1 % de batterie d’iPhone. C’est une vitesse de lecture — pas une rafale, mais un workflow soutenable.

(Source : 9to5Mac — PrismML releases Bonsai 27B)

Pourquoi cela change l’économie des agents

L’économie unitaire de l’IA cloud est simple : chaque requête a un coût marginal. GPT-5.6 Sol, le modèle de raisonnement phare d’OpenAI, coûte 30 $ par million de tokens de sortie. Une seule tâche d’agent complexe — multi-tours, appel d’outils, avec une longue fenêtre de contexte — peut facilement consommer 50 000 à 100 000 tokens. Dans le haut de la fourchette, cela représente 3 $ par exécution d’agent. Pour les développeurs qui construisent des agents qui bouclent, réessayent et explorent, la facture s’accumule rapidement.

L’IA sur appareil brise complètement ce compteur. Une fois le modèle téléchargé, le coût marginal par requête est nul. Pas de clé API. Pas de limite de débit. Aucune donnée quittant l’appareil. Pour les développeurs d’agents, le calcul est simple : si un Bonsai 27B ternaire fonctionnant localement peut gérer 74 % de votre charge de travail agentique, vous pouvez router les 26 % restants vers le cloud et réduire votre facture d’inférence d’environ trois quarts.

Ce n’est pas hypothétique. Babak Hassibi, PDG de PrismML, a déclaré à CNBC qu’Apple et d’autres entreprises « évaluent notre technologie en ce moment même » — mesurant la vitesse, l’efficacité énergétique et les performances sur leur matériel. Apple en a besoin. Avec Apple Intelligence désormais approuvé en Chine utilisant les modèles Qwen d’Alibaba, la capacité sur appareil est à la fois une exigence réglementaire et un avantage concurrentiel.

(Source : CNBC — Apple evaluating PrismML’s technology)

La barrière de fiabilité se fissure : Antidoom

Faire fonctionner localement est nécessaire mais pas suffisant. La deuxième pièce s’est mise en place le même jour. Antidoom de Liquid AI a pris Qwen3.5-4B — un modèle qui échouait 22,9 % du temps sur une tâche cible — et a réduit les échecs à 1 %. C’est une amélioration de la fiabilité de 22,9 fois.

(Source : BuildFastWithAI — July 16 AI News)

Les petits modèles locaux ont toujours eu un problème de fiabilité. Ils sont rapides et économiques, mais ils échouent sur les cas limites d’une manière que les modèles cloud de pointe ne font pas. Un modèle qui échoue une fois sur quatre est une démo. Un modèle qui échoue une fois sur cent est un produit. Antidoom ne résout pas la fiabilité de manière générale — c’est une méthode sur un benchmark — mais il prouve que la direction est viable. Combiné à la rétention de 94,6 % de la qualité FP16 de Bonsai, l’écart entre local et cloud se réduit sur les deux axes : la capacité et la fiabilité.

Le signal Apple-Qwen : L’accès au marché prime sur la qualité du modèle

Le 15 juillet, Apple Intelligence a été enregistré auprès de l’Administration cyberspatiale de Chine — la dernière approbation réglementaire nécessaire pour apporter des fonctionnalités d’IA générative en Chine continentale. Le détail crucial : il fonctionne sur les modèles Qwen d’Alibaba, ainsi que sur des fonctionnalités supplémentaires de Baidu. Apple ne peut pas utiliser ses propres modèles en Chine car chaque LLM doit être enregistré et approuvé par Pékin, et les modèles étrangers ne franchissent pas cette barrière.

(Source : TechCrunch — Apple Intelligence approved for China with Alibaba’s Qwen)

L’implication stratégique est brutale : l’entreprise la plus valorisée au monde, avec l’écosystème matériel le plus verrouillé, utilise le modèle de quelqu’un d’autre pour opérer sur son deuxième plus grand marché. L’accès au marché, et non la qualité du modèle, devient le facteur décisif pour savoir qui gagne dans quel pays. Le monde de l’IA se balkanise en deux piles — occidentale et chinoise — et même Apple ne peut pas combler cet écart avec sa propre technologie.

Pour le récit de l’IA sur appareil, c’est un vent favorable. Un modèle qui fonctionne localement est un modèle qui satisfait un régulateur préoccupé par les données quittant le pays. Plus la gouvernance de l’IA se fragmente selon des lignes géopolitiques, plus la capacité sur appareil devient précieuse.

Codex Micro : Le signal matériel

Dans ce contexte, le clavier Codex Micro à 230 $ d’OpenAI — une interface physique pour son agent de codage Codex, construite avec le fabricant de matériel Work Louder — semble presque désuet. Mais c’est le même signal sous un angle différent : l’IA devient tactile, intégrée, locale. Un clavier dédié indique que coder avec un agent d’IA est désormais un workflow à part entière, digne de son propre matériel. Cela indique aussi qu’OpenAI s’entraîne à vendre des objets physiques, pas seulement des tokens.

(Source : BuildFastWithAI — Codex Micro coverage)

Le virage vers l’IA sur appareil et le virage matériel sont les deux faces d’une même pièce : l’IA quitte l’onglet du navigateur et colonise le monde physique — téléphones, ordinateurs portables, bureaux, usines. Des agents qui fonctionnent là où vous êtes, pas là où se trouve un centre de données.

FAQ

Q : Bonsai 27B est-il vraiment un « moment DeepSeek » pour l’IA sur appareil ?

Oui, dans un sens précis : il prouve qu’un modèle de classe 27B — le genre de modèle qui obtient 80+ sur les benchmarks agentiques — peut tenir et fonctionner sur un téléphone. DeepSeek a prouvé que les performances de pointe ne nécessitent pas des budgets de pointe. Bonsai prouve qu’une IA performante ne nécessite pas un centre de données. Les deux sont des disruptions de structure de coûts.

Q : Que signifie réellement une rétention de 94,6 % en pratique ?

Cela signifie que le Bonsai 27B ternaire obtient des scores à moins de 5 points du Qwen3.6-27B FP16 sur 15 benchmarks. En mathématiques (93,40 contre 95,33), en codage (85,96 contre 88,74) et en tâches agentiques (74,01 contre 80,00), l’écart est réel mais suffisamment faible pour que, dans de nombreux workflows, l’utilisateur ne le remarque pas. La version 1 bit à 89,5 % de rétention est le compromis pour tenir dans 3,9 Go.

Q : Puis-je réellement construire un agent avec cela aujourd’hui ?

Oui. Bonsai 27B est livré avec un appel d’outils compatible OpenAI via llama.cpp. Vous pouvez l’exécuter localement, lui envoyer un tableau tools et recevoir des tool_calls en retour — le même contrat API que GPT-4 ou Claude. La version ternaire sur un M5 Max est assez rapide pour des workflows d’agents interactifs.

Q : Quel est l’inconvénient ?

Trois inconvénients. Premièrement, 11 tok/s sur un iPhone est lent pour la lecture — utilisable mais pas agréable. Deuxièmement, la version 1 bit perd une capacité agentique significative (66,03 contre 80,00), donc les workflows complexes d’utilisation d’outils nécessitent encore la version ternaire ou le cloud. Troisièmement, la fenêtre de contexte de 262 000 tokens du modèle avec un cache KV 4 bits nécessite encore environ 4,3 Go, ce qui empiète sur le budget mémoire du téléphone. Ça tient, mais de justesse.

Q : Cela menace-t-il le modèle économique de l’IA cloud ?

Pas immédiatement, mais cela change la donne. Le raisonnement de pointe — problèmes complexes en plusieurs étapes, génération de code novatrice, planification à long terme — restera dans le cloud pendant des années. Mais l’énorme volume de travail d’IA routinier — résumé, rédaction, classification, questions-réponses simples, appels d’outils basiques — se déplace vers l’appareil où c’est moins cher, plus privé et toujours disponible. Les laboratoires qui facturent chaque token perdront ce volume. Les laboratoires qui construisent un routage hybride — envoyant chaque tâche au niveau de calcul approprié — le capteront.

Lectures complémentaires