TL;DR
L’Agensh open source de Microsoft coordonne des agents sans orchestrateur central. Dans les expériences des auteurs, le taux moyen de réussite aux tests sur cinq tâches de programmation difficiles est passé de 19,31 % avec un agent à 28,78 % avec 128 agents. Le résultat à 1 024 agents concerne une seule tâche, Pandoc, et n’établit pas un coût inférieur par tâche réussie.
Au-delà d’un manager et de ses travailleurs
Un orchestrateur central peut décomposer une tâche et en confier les parties à différents agents. Cette approche est intuitive, mais un seul manager peut devenir un goulot d’étranglement à mesure que l’équipe grandit. Agensh explore une autre méthode : les agents découvrent et revendiquent des sous-tâches, partagent leurs découvertes, vérifient le travail et fusionnent leurs contributions de manière asynchrone. Le projet est open source sous licence MIT. (Source : Microsoft — Agensh repository; Microsoft Research — Agensh paper)
Les agents continuent de se coordonner, mais Agensh remplace le manager central par une infrastructure partagée : un espace de travail, une interface de messagerie et un contexte commun. Dans l’implémentation décrite, Gitea fournit l’espace de travail et Mattermost assure la messagerie. La coordination passe donc par des protocoles, des fichiers et des interactions entre pairs. (Source : Microsoft — How Agensh works)
Le résultat sur cinq tâches
Les auteurs évaluent le système sur cinq tâches difficiles de ProgramBench : FFmpeg, GROMACS, Pandoc, PHP-src et ctags. Leur configuration utilise GPT-5.6-sol avec un effort de raisonnement élevé, un budget de six heures et aucun accès à Internet. Les agents reconstruisent des programmes de référence à partir d’observations et de documentation fournie. (Source : Microsoft — Experiment overview; Agensh — Research paper)
Sur ces cinq tâches, le taux moyen final de réussite aux tests rapporté passe de 19,31 % avec un agent à 28,78 % avec 128 agents. Cela représente une augmentation de 9,47 points de pourcentage, soit environ 49 % en relatif par rapport au taux de départ. Les gains relatifs et les gains en points de pourcentage répondent à des questions différentes ; rapporter les deux facilite l’interprétation de l’ampleur du résultat. (Source : Agensh — Abstract)
Il s’agit d’une preuve de meilleurs résultats dans la limite de temps et la configuration expérimentale indiquées. Ce n’est pas la preuve que l’équipe plus nombreuse a utilisé moins de tokens ou coûté moins cher. Un budget en temps réel fixe permet à de nombreux agents de s’exécuter en parallèle, de sorte que la quantité de calcul peut augmenter sensiblement à mesure que l’équipe grandit.
Que s’est-il passé à 1 024 agents ?
Le chiffre de 1 024 agents largement cité provient de Pandoc, et non de la moyenne des cinq tâches. Sur cette tâche, le taux de réussite rapporté est de 33,89 % avec un agent, 50,94 % avec 128 et 55,06 % avec 1 024, toujours dans le budget de six heures. (Source : Microsoft — Agensh results)
L’amélioration supplémentaire entre 128 et 1 024 agents est de 4,12 points de pourcentage sur cette tâche. C’est un avertissement utile contre l’extrapolation d’une ligne droite entre taille d’équipe et qualité. Ce n’est pas une loi d’échelle universelle : la forme peut dépendre de la tâche, du modèle, du budget de temps et de la conception de la coordination. Nous ne disposons pas non plus d’une comparaison de coûts correspondante dans ces chiffres phares rapportés.
Le dépôt rapporte séparément une expérience Pandoc utilisant GPT-6.1-sol : 56,19 % avec un agent et 79,59 % avec 32 agents, avec un effort de raisonnement élevé et en six heures. Comme le modèle diffère, il ne s’agit pas d’une continuation propre de la série d’échelle avec GPT-5.6-sol. (Source : Microsoft — Agensh repository)
La question de la reproduction
Un code ouvert améliore la possibilité d’inspecter et de reproduire le travail, mais ne constitue pas en soi une réplication indépendante. La publication de Microsoft inclut des scripts de lancement et un guide de reproduction. Le guide décrit également les différences entre la configuration publiée et l’expérience historique, notamment le composant cleanroom. Toute personne rapportant une reproduction devrait documenter l’environnement réel plutôt que de supposer qu’il est identique. (Source : Microsoft — Reproduction guide)
Un suivi utile consisterait à réaliser des essais répétés à plusieurs tailles d’équipe tout en publiant le total de tokens, l’utilisation de calcul, le temps écoulé, les résultats des tests et la variance. Deux comparaisons répondraient à des questions différentes : l’une avec un budget de temps écoulé fixe, l’autre avec un budget monétaire ou de calcul fixe. La première demande à quelle vitesse des travailleurs parallèles supplémentaires peuvent améliorer les résultats. La seconde demande si répartir le travail est plus efficace que dépenser les mêmes ressources autrement.
Où les équipes décentralisées peuvent encore échouer
Les espaces de travail partagés créent de nouvelles questions opérationnelles. Deux travailleurs peuvent revendiquer un travail qui se chevauche, fusionner des modifications incompatibles ou amplifier une hypothèse erronée issue du contexte partagé. Les processus de vérification et d’intégration deviennent aussi importants que le mécanisme de lancement des agents. L’observabilité doit capturer qui a modifié quoi, quels tests ont été exécutés et comment les résultats contradictoires ont été résolus.
Pour un déploiement en production, une équipe devrait également tester la gestion des secrets, les permissions, les limites de ressources et la reprise après l’interruption de travailleurs. Le résultat de recherche motive ces expériences ; il ne fournit pas de garantie de sécurité générale.
FAQ
Les cinq tâches ont-elles toutes été exécutées avec 1 024 agents ?
Le score phare à 1 024 agents est rapporté pour Pandoc. La comparaison moyenne sur cinq tâches utilise un et 128 agents.
Décentralisé signifie-t-il absence de coordination ?
Non. Les agents se coordonnent via des espaces de travail, des messages et un contexte partagés plutôt que via un orchestrateur central unique.
Une équipe plus nombreuse coûte-t-elle moins cher ?
Les résultats phares établissent des taux de réussite aux tests dans un budget de temps, et non un coût inférieur par tâche réussie.
Pour aller plus loin
— The Agent Report