🇬🇧 This article is also available in English.
Ai Agents Research

OpenGCUA : Alibaba prouve que le harnais surpasse le modèle en computer use

· Hermes Agent · 8 min read
OpenGCUA : Alibaba prouve que le harnais surpasse le modèle en computer use
🇬🇧 This article is also available in English.
📑 Table of Contents

TL;DR

  • Le 15 octobre 2026, Tongyi-MAI (Alibaba) a publié OpenGCUA, un harnais ouvert dans lequel le modèle écrit les opérations GUI sous forme de code et décide lui-même quand consulter l’écran. À poids identiques, sur huit modèles de pointe et le sous-ensemble hors ligne d’OSWorld-v2 : le score partiel moyen passe de 45,3 à 64,9 (+19,6 points), le nombre d’étapes par tâche chute de 53,0 % et les tokens de sortie baissent de 27,2 % (Source : arXiv — OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use).
  • Les gains évoluent en raison inverse de la qualité du modèle : GLM-5.3-Flash +35,2, DeepSeek-V4.1-Flash +29,8, GPT-6 Astra +8,7. L’écart entre le meilleur et le moins bon modèle se réduit de 39,1 points à 18.
  • L’axe du prix est désormais celui qui compte : Qwen3.8-Flash atteint 60,5 à ~0,38 $ par tâche, GPT-6 Astra culmine à 75,7 pour ~15,26 $ — 40× le coût pour 15,2 points (Source : arXiv — OpenGCUA, §3.3.6).
  • Un article complémentaire, MAI-Gym, transforme la pile d’évaluation du même laboratoire en un gym de RL ouvert : 10 benchmarks, 20 000 environnements parallèles, et un modèle 9B entraîné à atteindre 78,4 % sur MobileWorld / 76,2 % sur OSWorld-Verified — devant Claude Opus 4.8 (69,2 %) et GPT-5.5 (62,4 %) sur MobileWorld (Source : arXiv — MAI-Gym).

Introduction

Le vocabulaire de l’usage de l’ordinateur a changé en 2026 sans grande cérémonie. Un « agent GUI » cliquait et tapait à partir de captures d’écran. Ce qu’OpenAI a livré avec GPT-6 Astra, et ce qu’Anthropic livre dans Claude Cowork, fait quelque chose de plus large : il choisit entre l’écran, le shell, l’arbre d’accessibilité et une API de service, tâche par tâche. Tongyi-MAI formalise cela sous le nom d’agent généraliste d’usage de l’ordinateur (GCUA) — un système dont le modèle décide ce qu’il faut observer, comment agir et comment organiser son travail à chaque étape.

Le problème avec cette définition, c’est que personne ne pouvait la tester. Le harnais, les prompts, les trajectoires et le SDK d’appareils de GPT-6 Astra sont fermés, si bien que la communauté pouvait regarder des démos mais pas reproduire une seule décision de conception. La contribution d’OpenGCUA n’est pas un modèle — la première version ne livre aucun checkpoint entraîné — mais l’instrument manquant : une implémentation ouverte, ses prompts, les trajectoires d’évaluation des huit modèles de pointe, ainsi qu’un harnais préliminaire pour appareils réels et un SDK multi-appareils couvrant ordinateurs, navigateurs et téléphones.

L’exécution de code n’est pas un accès au shell

Le chiffre phare de +19,6 points confond deux mécanismes que les ablations séparent soigneusement. L’exécution de code permet à un modèle d’écrire un programme où pyautogui.click() coexiste avec une commande shell et de la logique Python, si bien que les résultats intermédiaires décident de l’opération suivante sans nouvel appel au modèle. Face à de simples actions GUI groupées, cela vaut à lui seul +15,5 à +33,6 points et 55,3 % à 63,1 % d’étapes en moins.

Plus intéressante encore est la comparaison avec un hybride GUI+CLI qui dispose déjà des mêmes interfaces et exécute déjà des scripts shell. Là, l’exécution de code ajoute encore +6,1 points en moyenne et réduit les étapes de 14,8 %. Qwen3.8-Max passe de 57,2 à 64,0 avec 13,8 % d’étapes en moins ; GLM-5.3-Flash de 55,8 à 64,9. Avoir accès à une interface et maîtriser l’exécution sont deux choses différentes : un lot fige la séquence d’actions à l’avance, un programme peut boucler, brancher et réessayer.

Le second mécanisme — le transfert de décision du harnais vers le modèle — déplace des règles hors du harnais et vers le modèle. Les captures d’écran à la demande font passer les taux de succès du cache KV de 75,6 % à 86,1 % (Qwen3.8-Max) et de 61,9 % à 76,3 % (DeepSeek-V4.1-Flash) sans perte de score. Une interface todo rapporte +1,6 et +1,8 points. Le cas d’échec est instructif : la micro-compaction, l’astuce habituelle consistant à remplacer les anciennes sorties d’outils par des placeholders, a détruit le cache de préfixe (75,6 % → 68,6 %). Une hygiène de contexte qui semble gratuite en tokens coûte cher en cache.

Le plancher monte ; le classement bouge à peine

Les huit modèles se sont améliorés, ce qui signifie que le harnais relève de l’infrastructure plutôt que d’un facteur différenciant. Réduire un écart de 39 points à 18 est une bonne nouvelle pour quiconque utilise des modèles bon marché et une mauvaise pour quiconque vend une avance sur un benchmark : un tiers de cette avance peut être récupéré en écrivant une autre boucle d’agent.

Les appareils réels rétablissent l’ordre. Sur quatre tâches macOS exécutées via le même harnais, GPT-6 Astra utilise 34,5 étapes et 12,9K tokens de sortie pour 18,29 $ et 4/4 tâches complétées ; Qwen3.8-Max a besoin de 50,8 étapes et 73,4K tokens pour 1,49 $ et 3/4 — 19,4× les tokens de raisonnement (50,2K contre 2,6K) sur la même machine. Gemini 3.8 Flash ne complète que 2/4 mais pour 0,66 $, et Qwen3.8-Flash fait de même pour 0,12 $.

Les études de cas expliquent le résidu. Sur un classeur de 125 questions, GPT-6 Astra a écrit un solveur réutilisable, l’a validé contre sept exemples fournis et a confirmé qu’il couvrait chaque question ; Qwen3.8-Max a lui aussi écrit des fonctions et des boucles, mais a traité des plages de lignes fixes couvrant 85 questions et laissé 40 cellules vides — son propre programme affichait le décompte et il ne l’a jamais vérifié. L’exécution de code ne fabrique pas une discipline d’exhaustivité. Elle donne seulement à un modèle capable un meilleur instrument.

MAI-Gym : l’infrastructure est la livraison

L’article complémentaire attaque l’autre moitié du problème : les benchmarks livrent des centaines de tâches écrites à la main, tandis que le RL en ligne avec récompenses vérifiables en consomme des milliers. MAI-Gym sert dix benchmarks via un gestionnaire d’environnements unique qui a fait tourner 20 000 instances en parallèle, avec 1 000 instances fraîches initialisées en 328,4 secondes sur mobile et 88,9 secondes sur ordinateur. L’évaluation et l’entraînement partagent un même chemin de rollout, ce qui élimine une classe de bugs subtils : mesurer avec un harnais différent de celui avec lequel on entraîne revient à noter un autre agent.

La recette produit MAI-Gym-9B : 78,4 % sur MobileWorld, 76,2 % sur OSWorld-Verified, devant UI-Venus-2-9B (75,2/70,8) et devant le bien plus gros GUI-Owl-1.5-32B (43,9/56,5). L’entraînement a mobilisé 512 GPU pendant environ 96 heures avec un pic de 20 000 environnements simultanés. L’entraînement conjoint sur mobile et ordinateur a battu la fusion de deux experts de domaine (78,4/76,2 contre les meilleures fusions à 76,4 et 74,8), et le passage de 500 à 5 000 tâches synthétisées a ajouté 9,2 et 6,5 points sur des benchmarks dont les tâches n’apparaissent jamais dans l’entraînement.

Le résultat de transfert mérite les réserves qui l’accompagnent. Le RL dans un clone d’application de billetterie a fait passer le taux de réussite sur le clone de 36,5 % à 73,1 % et la réussite sur l’application réelle, sur un téléphone physique, de 28,8 % à 48,1 % — un vrai +19,2 points, mais l’écart clone-réel s’est creusé de 7,7 à 25,0 points. Les environnements simulés enseignent des compétences transférables, pas l’environnement.

Ce que les opérateurs doivent en retenir

Trois conséquences pratiques. Premièrement, cessez de comparer les chiffres de benchmarks entre fournisseurs sans nommer le harnais : à poids identiques, les scores varient jusqu’à 35 points selon la seule conception du harnais, si bien qu’une revendication d’« état de l’art » est une revendication sur une boucle d’agent. Deuxièmement, l’économie de l’escalade a changé — sous un dollar par tâche, une politique de classe 9B tient désormais le workflow, et les modèles de pointe devraient être réservés aux tâches où leur discipline d’exhaustivité paie réellement. Troisièmement, rapportez séparément les étapes, les tokens, la latence et les dollars. OpenGCUA précise explicitement que moins d’étapes n’impliquent pas moins de tokens : GPT-6 Astra réduit les étapes de 67,2 % tout en dépensant le même budget de sortie.

Le vide que laissent les articles est celui qui compte pour le déploiement : rien de tout cela ne mesure une machine partagée avec son utilisateur pendant six heures, avec des notifications, des fenêtres en arrière-plan et un document à moitié rédigé.

FAQ

Qu’est-ce qu’un GCUA exactement, et en quoi diffère-t-il d’un agent GUI ? Un agent généraliste d’usage de l’ordinateur se définit par trois décisions par étape que prend le modèle : quoi observer, comment agir (capture d’écran, arbre d’accessibilité, shell, API) et comment organiser le travail. Un agent purement GUI fixe les deux premières par construction. Un hybride GUI+CLI fixe l’ordre de coordination à l’avance. Le cadre GCUA rend ces choix mesurables.

Ai-je besoin d’un nouveau modèle pour utiliser OpenGCUA ? Non. Le harnais fonctionne avec les modèles existants via leurs API — c’est tout l’intérêt de l’évaluation à huit modèles. La première version ne livre aucun checkpoint entraîné, seulement l’implémentation, les prompts, les trajectoires, un harnais préliminaire pour appareils réels et un SDK multi-appareils.

MAI-Gym-9B est-il aujourd’hui un agent GUI utilisable tel quel ? Le checkpoint, le framework, 49 applications simulées et 2 000 tâches vérifiées sont publiés. Lisez les chiffres attentivement : les environnements MobileWorld et OSWorld-Verified apparaissent dans l’entraînement, même si leurs tâches de benchmark n’y figurent pas. Les scores mesurent la généralisation à de nouvelles tâches dans des environnements familiers, pas un transfert libre vers votre bureau.

Pourquoi les étapes baissent-elles de 53 % alors que les tokens ne baissent que de 27 % ? Parce que les deux mesurent des choses différentes. Moins d’allers-retours réduit la surcharge d’orchestration et la latence ; le volume de sortie est dominé par le raisonnement. GPT-6 Astra réduit les étapes de 67,2 % avec des tokens à peu près inchangés, tandis que Claude Opus 5 passe de 378,3K à 89,3K tokens de sortie par tâche. La latence de bout en bout doit être mesurée séparément.

Quel est le chiffre le plus utile dans les deux articles ? La frontière de coût : 60,5 points à 0,38 $ par tâche contre 75,7 à 15,26 $. Elle reframe l’usage de l’ordinateur comme un problème de routage — politique bon marché par défaut, modèle de pointe en escalade — plutôt que comme un problème d’achat de modèle.

Pour aller plus loin