🇬🇧 This article is also available in English.

Gemini 4 Neon : ce que ses benchmarks d'agents révèlent sur le coût et les harness

Gemini 4 Neon : ce que ses benchmarks d'agents révèlent sur le coût et les harness
🇬🇧 This article is also available in English.
📑 Table of Contents

TL;DR

Gemini 4 Neon de Google cible les workflows d’agents exigeants avec un coût mesuré par tâche inférieur à celui de son grand frère Carbon. Ses scores de codage rapportés dépendent du harnais, et l’économie en production exige davantage qu’une simple comparaison de prix par token.

Introduction

Google positionne Gemini 4 Neon entre Carbon, pour les projets plus difficiles et plus longs, et Hydrogen, pour un travail quotidien plus rapide. Ce positionnement compte pour les agents : une session de codage peut combiner une planification complexe avec de nombreux appels d’outils routiniers, et ni le modèle le plus puissant ni le modèle le moins cher n’est nécessairement optimal à chaque étape. (Source : Google — Introducing Gemini 4 Neon)

Le lancement prolonge la question du routage de modèles explorée dans notre analyse de Gemini 4 Carbon et l’économie des agents. La question intéressante n’est pas simplement de savoir si Neon domine un classement, mais quelle quantité de travail utile il accomplit pour le coût total d’une exécution d’agent.

Le prix par token n’est qu’un point de départ

Google affiche Neon à 3 $ par million de tokens d’entrée, 0,15 $ par million de tokens d’entrée mis en cache et 15 $ par million de tokens de sortie. La fenêtre de contexte annoncée est d’un million de tokens. (Source : Google — Introducing Gemini 4 Neon)

À titre d’illustration, une exécution facturée pour 800 000 tokens d’entrée non mis en cache, 200 000 tokens d’entrée mis en cache et 100 000 tokens de sortie coûterait 3,93 $ à ces tarifs. Il s’agit d’un calcul, non d’une charge de travail mesurée ni d’un devis : il exclut les frais de stockage ou d’écriture du cache le cas échéant, l’outillage, l’infrastructure et la revue humaine. La seule composante de sortie représente 1,50 $, si bien qu’un modèle qui génère de longues traces de raisonnement ou des correctifs répétés peut coûter plus que ne le suggère son prix d’entrée affiché.

Selon Google, Neon coûte 32 % de moins par tâche que Carbon au niveau de raisonnement élevé par défaut dans les évaluations de l’Artificial Analysis Intelligence Index. Il s’agit d’une comparaison propre à un benchmark du coût API par tâche, et non de la preuve d’une réduction de 32 % sur chaque facture de production. (Source : InfoWorld — Google launches Gemini 4 Neon)

Artificial Analysis indique que sa métrique de coût des agents de codage inclut les prix applicables des entrées, des entrées mises en cache et des sorties, mais pas le coût opérationnel complet de la production, comme l’ingénierie et la supervision. Une équipe devrait donc comparer le coût par modification acceptée, y compris les tentatives échouées et le temps de revue, plutôt que le seul coût par réponse générée. (Source : Artificial Analysis — Coding agent benchmarks)

Pourquoi le harnais change le résultat

Google rapporte Neon à 58,6 sur l’Artificial Analysis Coding Agent Index et à 65,2 % sur Terminal-Bench 4.1. Il rapporte également 12,8 % sur SWE-sweep avec le harnais mini-SWE, contre 39,0 % avec Google Antigravity. (Source : Google — Built for production-ready code)

Le résultat rapporté d’un même modèle varie sensiblement selon ces configurations SWE-sweep. Cela n’isole pas la cause : les prompts, les outils, les paramètres et l’environnement d’exécution peuvent tous compter. Cela montre en revanche pourquoi il est risqué de traiter un score comme une propriété intrinsèque du modèle. L’index indépendant d’Artificial Analysis est lui-même un composite de trois benchmarks, pondérés à parts égales, avec des scores moyennés sur trois tentatives par tâche. (Source : Artificial Analysis — Coding agent methodology)

Pour une décision d’achat, reproduisez la comparaison sur un ensemble fixe de tickets réels. Maintenez constants le dépôt, la suite de tests, la politique de nouvelle tentative et les règles d’approbation ; puis rapportez l’achèvement des tâches, le temps écoulé, la répartition des tokens, les régressions et l’effort de revue. Sinon, un changement de modèle pourrait bien n’être qu’un changement de harnais déguisé.

Planificateur et exécuteur : une séparation utile, avec un surcoût

Google indique que l’Orchestrator d’Antigravity peut utiliser Neon pour la planification et le raisonnement complexe, tout en déléguant à Hydrogen les modifications routinières, les mises à jour de paquets et les exécutions de tests. Lorsque l’exécuteur rencontre une difficulté, il peut renvoyer la tâche à Neon. (Source : Google Antigravity — Gemini 4 Neon)

La conception a du sens lorsque le jugement coûteux est concentré aux points de décision. Mais la délégation ajoute aussi un transfert de contexte, de la coordination et des modifications potentiellement conflictuelles. Plusieurs agents ne sont pas automatiquement moins chers : comparez l’utilisation combinée de tokens et la reprise après échec de l’ensemble du workflow avec une base mono-agent. InfoWorld note que les analystes considèrent la supervision humaine, les tests de régression et la coordination comme des défis persistants en production. (Source : InfoWorld — Google launches Gemini 4 Neon)

Les affirmations de sécurité sont limitées par le test

Google rapporte que Neon, avec des garde-fous en temps réel à son niveau de réflexion le plus élevé, a résisté à toutes les attaques de son benchmark d’injection de prompt indirecte Gray Swan. C’est un résultat pour un benchmark et une configuration spécifiques, et non une garantie contre des instructions malveillantes dans des documents ou des dépôts arbitraires. Restreignez les permissions des outils, protégez les secrets et exigez une approbation humaine pour les actions à conséquences, même si le modèle obtient de bons scores. (Source : Google — Safe, dependable execution)

FAQ

Neon remplace-t-il Carbon et Hydrogen ?

Google le positionne entre les deux ; savoir s’il doit remplacer l’un ou l’autre dépend de la qualité mesurée et du coût total par tâche pour le workflow concerné.

Une fenêtre d’un million de tokens rend-elle la gestion du contexte inutile ?

Non. Une fenêtre plus grande ne rend pas l’entrée répétée gratuite, et les informations pertinentes doivent toujours être sélectionnées et vérifiées.

La comparaison SWE-sweep prouve-t-elle qu’Antigravity est toujours meilleur ?

Non. Elle montre des résultats différents dans les configurations rapportées, pas quel composant a causé la différence ni si elle se généralise à une autre base de code.

Où Neon est-il disponible ?

Google indique qu’il est déployé progressivement via l’API Gemini payante, Gemini for business, ainsi que certaines offres payantes grand public et Antigravity ; l’accès dépend du produit et du forfait. (Source : Google — Start building)

Pour aller plus loin

— The Agent Report