L’API Decisions d’OpenAI facture uniquement les entrées et sort l’agent de la génération de texte

TL;DR

L’API Decisions, désormais en disponibilité générale, fonctionne sur GPT-6 Luna pour les probabilités, les choix et les scores sur grille d’évaluation — pas pour les réponses ouvertes.
Entrée non mise en cache : 0,10 $/M de tokens ; aucun frais de sortie. Un contexte de 10 k tokens coûte 0,001 $ ; 20 M de décisions mensuelles coûtent environ 20 000 $.
Un p95 annoncé sous les 300 ms place les décisions dans des chemins synchrones, y compris les contrôles préalables à l’action.
Les verdicts s’acheminent facilement mais n’offrent aucune justification ; les affirmations de vitesse sont rapportées par l’entreprise.

Un verdict, pas une réponse

L’argument d’OpenAI est que les agents prennent de nombreuses petites décisions de classification, de routage et d’action suivante dont la latence et le coût se cumulent. L’API GA concentre GPT-6 Luna sur des questions bornées portant sur du texte, des images et des entrées structurées ; OpenAI revendique jusqu’à 10× la vitesse de Luna via Responses. Il s’agit moins d’un chatbot que d’une interface : spécifier une question étroite, recevoir un résultat typé, laisser le code applicatif agir. (Source : OpenAI — Build more responsive apps with the Decisions API)

Les trois types de réponse sont distincts. Un prédicat estime la probabilité d’une condition de 0 à 1. Un choix sélectionne une option prédéfinie et renvoie sa distribution de probabilité et sa confiance. Un score évalue l’entrée par rapport à des niveaux ordonnés d’une grille d’évaluation, de deux à dix, et renvoie leur indice moyen pondéré par les probabilités, qui peut être fractionnaire. Ce sont des jugements structurés assortis de signaux d’incertitude, pas nécessairement une étiquette ou un scalaire. GPT-6 Luna est actuellement le seul modèle pris en charge. OpenAI indique que dots utilise Decisions pour réduire les temps de réponse et améliorer l’interactivité, Personal Finance pour catégoriser les descriptions de transactions, et Communications pour classer la couverture par thème et évaluer si elle renforce ou conteste les récits. (Source : OpenAI API Docs — Decisions ; OpenAI — exemples internes et clients)

L’entrée devient la surface facturable

Le tarif affiché est de 0,10 $ par million de tokens d’entrée non mis en cache, sans frais de tokens de sortie, et cela modifie la surface facturable. Une facture de génération classique croît avec ce qu’un modèle lit et écrit ; Decisions renvoie une probabilité, un choix fourni ou une distribution de scores plutôt qu’une prose ouverte. Le point de terminaison de génération de Luna était déjà à 0,10 $ en entrée et 0,50 $ en sortie par million de tokens (article sur la guerre des prix de septembre) ; Decisions conserve le tarif d’entrée et supprime entièrement la sortie. L’inférence n’est pas gratuite, mais le point de terminaison facture le contexte plutôt que le texte généré. (Source : OpenAI — annonce de l’API Decisions ; OpenAI API Docs — tarification Decisions)

À ce tarif, 10 000 tokens coûtent 10 000 ÷ 1 000 000 × 0,10 $ = 0,001 $ par décision. À 20 millions de décisions par mois avec cette taille de contexte, la facture s’élève à environ 20 000 $. La cible d’optimisation pratique passe de la réduction d’une réponse au fait de ne pas renvoyer un historique surdimensionné : ne conserver que l’état nécessaire pour décider et réutiliser les entrées stables lorsque la mise en cache s’applique. Les tarifs en cache diffèrent ; des majorations pour traitement régional et des multiplicateurs de contexte long peuvent aussi s’appliquer, si bien que 0,10 $ n’est pas le tarif effectif de toutes les charges de travail. (Source : OpenAI API Docs — tarification et mise en cache Decisions ; OpenRouter — GPT-6 Luna Decisions)

Un modèle dans le chemin synchrone

Sierra rapporte une sélection d’action suivante en direct sous 280 ms p95. Datadog évalue le risque des commandes rshell générées par l’agent avant exécution et rapporte un p95 40× plus rapide avec une précision comparable. Cela place le modèle dans un chemin critique de remédiation, en amont d’une action automatisée. (Source : OpenAI — exemples clients)

À cette vitesse, un modèle de décision devient une dépendance de service synchrone. Son délai d’expiration, sa disponibilité, ses seuils et son repli font partie de la conception de fiabilité du chemin d’action. Le modèle n’est plus seulement un générateur que l’agent consulte ; il conditionne ce que l’agent peut faire. Mesurez les faux blocages et les risques manqués en parallèle de la latence. (Source : OpenAI — exemples clients)

Un score n’est pas une raison

Les réponses bornées sont faciles à analyser et à seuiller, mais ne s’expliquent pas d’elles-mêmes. Les prédicats donnent une probabilité ; les choix et les scores incluent des informations de probabilité et de confiance. Aucun n’est une justification. Un score de risque Datadog peut être audité comme un nombre, pas comme le raisonnement derrière la classification d’une commande.

Pour la remédiation autonome, cela modifie les preuves disponibles après une action. OpenAI conseille de calibrer les seuils sur des exemples étiquetés en fonction des coûts des faux positifs et des faux négatifs. Conservez l’entrée, la version de la décision, les probabilités renvoyées, le seuil et l’action résultante ; ajoutez une revue ou une explication distincte lorsque la politique exige une justification. (Source : OpenAI API Docs — Decisions et interprétation)

Quatre cents questions changent l’unité

La limite GA est de 400 questions par requête, soit le double du plafond précédent. Les questions indépendantes peuvent partager l’entrée ; les questions dépendantes nécessitent des requêtes distinctes. La version ajoute aussi l’intégration native GPT-Live, la mise en cache, la résidence d’inférence aux États-Unis et dans l’UE, le JSON natif, les images dans les instructions des questions et de la capacité supplémentaire dans plusieurs régions d’Asie. (Source : OpenAI — annonce de l’API Decisions)

Le traitement par lots fait de la requête l’unité de contexte partagé, tandis que chaque question reste une unité de qualité. Les équipes peuvent évaluer ensemble plusieurs propriétés indépendantes d’un document. Rapportez la précision, la calibration et les coûts d’erreur par question, ainsi que la latence et les dépenses par requête ; sinon, un agrégat sain peut masquer une question faible. Les dépendances restent séquentielles. (Source : OpenAI API Docs — Poser plusieurs questions)

Traitez les chiffres clients comme des signaux

Box rapporte « ~5x faster route selection on 30 certificate of insurance cases, with the same accuracy as the Responses API ». Ramp indique avoir été « 4x faster and 30% cheaper to attribute our AI costs to the actual work when compared to GPT-6 Luna, without sacrificing accuracy ». Datadog rapporte « 40x faster p95 with comparable accuracy » par rapport aux modèles de pointe disponibles, en évaluant le risque rshell avant exécution. Sierra rapporte « under 280 ms p95, about 3× faster and 90% lower cost per call than our previous approach, with no drop in customer outcomes ». Speak indique pouvoir « reduce the time to next action by over 90%, from 1.4s to 0.13s ». Les évaluations rapportées par l’entreprise portent sur des tâches et des références différentes ; elles ne constituent pas des tests indépendants ou comparables, et la version ne comprend aucun benchmark tiers. C’est une absence de preuves, pas la preuve que les affirmations sont fausses. (Source : OpenAI — exemples clients)

Le signal est pratique, pas universel : des équipes testent des décisions bornées pour le routage, l’allocation, l’orchestration et le risque préalable à l’action. Cela déplace des jugements répétés vers le logiciel ; les développeurs doivent garder un contexte léger et accepter qu’un verdict ne soit pas sa propre explication.

FAQ

La sortie est-elle gratuite ?

Il n’y a pas de frais de tokens de sortie. Les tarifs d’entrée varient selon la mise en cache, la région et la longueur du contexte.

Renvoie-t-elle une seule étiquette ?

Non. Les prédicats renvoient des probabilités ; les choix et les scores incluent des données de probabilité et de confiance.

Les questions peuvent-elles dépendre les unes des autres dans un même appel ?

Non. Regroupez les questions indépendantes ; les questions dépendantes nécessitent des requêtes distinctes.

Les affirmations de vitesse des clients sont-elles vérifiées indépendamment ?

La version citée fournit des évaluations clients, pas un benchmark indépendant.

Pour aller plus loin

— The Agent Report