DigitalOcean vend la boucle de rétroaction des agents : traces, signaux et simulations dans un seul cloud

En bref

DigitalOcean a livré trois briques d’IA en une semaine : Agent Data Services (aperçu privé, 12 oct.), Insights (observabilité) et Signals + Simulations (aperçu public, 12 oct.), le tout sous une bannière d’apprentissage par agents.
Signals trie les sessions de production selon trois axes — interaction, exécution, environnement — et rapporte un taux d’informativité de 82 % avec une efficacité 1,52× supérieure à un échantillonnage aléatoire sur τ-bench.
Simulations rejoue une modification candidate à travers des épisodes de scénarios multi-tours dans un bac à sable isolé, sur le même harnais et les mêmes outils que la production, puis note chaque trajectoire avec un juge LLM.
La stratégie, c’est l’histoire : celui qui détient les traces détient aussi le jeu d’évaluation, la suite de régression et les données de fine-tuning. DigitalOcean achète la boucle, pas une fonctionnalité.

Trois produits, une boucle

Les briques ont été annoncées à quelques jours d’intervalle et semblent sans rapport jusqu’à ce qu’on les mette bout à bout.

Agent Data Services est un substrat de contexte managé : Data Flows ingère du contenu multimodal et des traces d’exécution d’agents dans un catalogue unique gouverné avec traçabilité, interrogeable via SQL, recherche vectorielle ou API. Il capture les traces d’exécution et la télémétrie comportementale, ce qui explique pourquoi il se situe sous la bannière données et apprentissage plutôt que stockage. Aperçu privé, sans SLA. (Source : DigitalOcean — Introducing Agent Data Services)

Signals surveille le trafic en direct sur Managed Agents et Inference Engine et signale les sessions qui valent la peine d’être lues. Simulations transforme une session signalée — ou un scénario que vous décrivez en langage naturel — en un test qu’une modification candidate doit survivre avant d’être déployée. Les deux en aperçu public. (Source : DigitalOcean — Introducing Signals and Simulations)

Lu comme un pipeline : production → traces → triage → scénarios → rejeu simulé → diff noté → déploiement. C’est une boucle de rétroaction, et c’est la première fois qu’un cloud de taille intermédiaire l’empaquette comme une gamme de produits plutôt que comme quatre modèles d’articles de blog.

Pourquoi le triage, et non l’évaluation, est la partie difficile

Le problème d’ingénierie que nomme DigitalOcean, c’est le volume. Le volume brut de traces peut dépasser 100 Go/s, ce qui rend l’évaluation de chaque session par un juge LLM économiquement absurde et la revue manuelle arithmétiquement impossible. Signals effectue une première passe peu coûteuse, recoud les tours en sessions et ne fait remonter que celles susceptibles d’être informatives.

La méthode est publiée : Signals: Trajectory Sampling and Triage for Agentic Interactions rapporte 82 % d’informativité et un gain d’efficacité de 1,52× par rapport à un échantillonnage aléatoire dans une étude contrôlée sur τ-bench. (Source : arXiv — Signals: Trajectory Sampling and Triage for Agentic Interactions)

La taxonomie est la partie discrètement utile. Les signaux d’interaction capturent le sentiment de l’utilisateur — corrections, escalades, abandons. Les signaux d’exécution capturent la fiabilité des outils — arguments invalides, boucles de réessai. Les signaux d’environnement capturent l’infrastructure — délais d’attente, limites de débit, débordement de contexte.

Cette séparation correspond à un vrai échec de diagnostic. La plupart des équipes lancent une seule alerte « l’agent est cassé », alors que les trois causes exigent trois correctifs différents : un prompt, un schéma ou un quota. Les distinguer au moment du triage, c’est ce qui rend possible la conversion en un clic vers un scénario d’évaluation — un amas de requêtes de base de données sur la mauvaise région devient un cas de test au lieu d’un ticket.

Deux contraintes méritent d’être répétées : Signals est facultatif, masque les données personnelles avant traitement et conserve les traces à l’intérieur des frontières de votre équipe plutôt que de les utiliser pour un entraînement inter-clients. Et il fonctionne au mieux quand votre agent tourne sur Managed Agents avec des modèles sur DigitalOcean Inference Engine — une phrase techniquement sur la compatibilité et commercialement sur l’enfermement.

Simulations : la partie qui change les habitudes

Les évaluations notent des réponses uniques. Les agents échouent sur plusieurs tours : un ajustement de prompt corrige l’étape deux et casse discrètement l’étape sept. Simulations s’attaque à cela en exécutant un simulateur d’utilisateur face à votre candidat tour après tour, dans un bac à sable isolé sur Harness Runtime, avec la même configuration et les mêmes outils Action Gateway qu’en production. Les outils qui écrivent des données ou coûtent de l’argent peuvent être simulés, de sorte que le test ne touche jamais les systèmes en production.

Chaque scénario est joué plusieurs fois ; chaque partie est un épisode produisant une trajectoire, et le simulateur emprunte des chemins différents — c’est ainsi qu’un scénario fait émerger plusieurs façons dont une conversation peut se dérouler. Un juge LLM note ensuite chaque trajectoire sur l’atteinte de l’objectif, la rétention des connaissances et l’exactitude de l’usage des outils, plus des métriques personnalisées. Comme chaque appel d’outil est enregistré, le rapport distingue un échec de raisonnement d’un échec d’usage d’outil : la distinction dont les ingénieurs ont réellement besoin.

Harnais pris en charge en aperçu : Claude Code, Codex, OpenCode. Non pris en charge : LangChain, Hermes, CrewAI. Si vous voulez seulement comparer deux modèles sur des prompts fixes, les Evaluations mono-tour restent le bon outil.

Il y a un détail commercialement astucieux : Simulations tourne sur les offres Agent Droplets, et Pro bénéficie d’une remise de 15 %, Team de 20 %, appliquée à la génération de scénarios, à la simulation d’utilisateur et au jugement LLM. La boucle d’évaluation est facturée à l’usage comme du calcul, parce que c’en est.

La lecture stratégique

Trois choses se produisent en même temps, et une seule concerne DigitalOcean.

L’observabilité fusionne avec l’évaluation. Les fournisseurs de traçage vous disent ce qui s’est passé ; les fournisseurs d’évaluation vous disent si cela aurait dû se passer. La boucle a besoin des deux, plus d’un magasin de données, et celui qui possède les traces possède le chemin le moins coûteux vers le jeu de test. C’est pourquoi cela arrive sous forme de bundle.

Le fossé défensif passe des modèles aux données. L’inférence se banalise vite — la même semaine, DeepSeek a livré un checkpoint sous licence MIT qui bat les modèles de pointe sur la moitié des benchmarks agentiques publiés. Quand les poids sont gratuits, le différenciateur, ce sont vos propres traces, votre propre bibliothèque de scénarios, votre propre suite de régression. Un cloud qui les stocke et les note a un modèle économique qui survit à la banalisation de l’intelligence.

Le cloud de taille intermédiaire a un vrai coin d’attaque. Les hyperscalers vendent la même boucle sous forme de cinq produits avec cinq modèles IAM et un engagement à six chiffres. DigitalOcean vend l’ensemble à une équipe de trois personnes, moins les certifications de conformité. Les conditions d’aperçu sont explicites : pas de SLA, pas d’engagement de support, non couvert par les certifications de conformité standard, tarifs et fonctionnalités susceptibles de changer. C’est un pari sur la gravité des développeurs, pas sur les achats d’entreprise.

La question ouverte est de savoir où la boucle se referme. Les scénarios sont versionnés en verrouillant un ensemble une fois utilisé, le versionnage sur place étant annoncé comme prochaine étape — sans scénarios versionnés, une suite de régression dérive lentement vers le folklore. Et sans export des trajectoires notées vers l’entraînement, la boucle s’arrête à l’évaluation plutôt qu’à l’amélioration. Les données Signals sont téléchargeables pour le fine-tuning et comme données de récompense RL, ce qui est la porte vers la seconde moitié. (Source : DigitalOcean — Introducing Agent Data Services)

Ce que les développeurs doivent retenir

Si vous exploitez des agents en production et que vous ne pouvez pas répondre à « qu’est-ce qui a changé dans le comportement la semaine dernière, et est-ce que c’est allé mieux ou plus mal », la boucle est la lacune. Vous n’avez pas besoin de DigitalOcean pour la construire : des traces dans un entrepôt, un triage par heuristiques, des scénarios issus de sessions réelles, un juge LLM, un ensemble de régression verrouillé. C’est un projet de deux semaines pour un ingénieur, et ce sont les deux semaines au plus fort levier dont dispose une équipe d’agents aujourd’hui.

Ce qu’il ne faut pas faire, c’est confondre observabilité et évaluation. Un tableau de bord affichant 99,9 % de disponibilité et 400 ms de latence ne vous dit rien sur le fait que l’agent a choisi le bon outil. Le propre argumentaire de DigitalOcean s’ouvre sur cet échec — un appel d’outil qui a renvoyé 200 avec la mauvaise région — parce que c’est l’échec que tout le monde a livré au moins une fois.

FAQ

Est-ce généralement disponible ? Non. Agent Data Services est en aperçu privé ; Signals et Simulations sont en aperçu public. Ni l’un ni l’autre ne comporte de SLA.

Signals fonctionne-t-il avec n’importe quel framework d’agents ? Il est conçu autour des événements de Managed Agents et d’Inference Engine, donc il y fonctionne au mieux. Simulations en aperçu prend en charge Claude Code, Codex et OpenCode ; LangChain, Hermes et CrewAI ne sont explicitement pas pris en charge pour l’instant.

Combien cela coûte-t-il ? Aucune tarification publique. Simulations consomme les allocations Agent Droplets, avec des remises de 15 % (Pro) et 20 % (Team) sur la génération de scénarios, la simulation d’utilisateur et le jugement.

Mes traces entraînent-elles le modèle de quelqu’un d’autre ? DigitalOcean affirme que les traces et les évaluations dérivées des traces restent à l’intérieur des frontières de votre équipe et ne sont pas utilisées pour un entraînement inter-clients. Signals est facultatif et masque les données personnelles avant traitement.

Puis-je exporter les données ? Oui — les données Signals sont téléchargeables pour le fine-tuning ou comme données de récompense et de préférence RL. Cet export est ce qui rend la boucle portable plutôt que louée.

Pour aller plus loin

— The Agent Report