Un nouveau projet open source appelé Cua (depuis trycua/cua) s’attaque à l’un des problèmes les plus épineux de l’espace des agents IA : permettre aux agents d’interagir avec des applications de bureau sans détourner physiquement votre souris et votre clavier.
Publié le 28 avril et ayant rapidement dépassé les 15 000 étoiles GitHub, Cua fournit « une infrastructure open source pour les agents d’utilisation de l’ordinateur » — des sandboxes, des SDK et des benchmarks qui permettent aux agents IA de contrôler des postes de travail complets sur macOS, Linux et Windows. La fonctionnalité phare ? Les agents peuvent piloter des applications sans voler le curseur de l’utilisateur humain.
Le goulot d’étranglement de l’utilisation de l’ordinateur
L’idée de laisser des agents IA contrôler des applications de bureau n’est pas nouvelle. La fonctionnalité Computer Use d’Anthropic (publiée fin 2025) a démontré que Claude pouvait naviguer dans des interfaces graphiques, cliquer sur des boutons et remplir des formulaires. Operator d’OpenAI et Project Mariner de Google ont suivi des voies similaires. Mais toutes partageaient une limite fondamentale : elles nécessitaient une interaction au niveau de l’écran, prenant souvent le contrôle de l’affichage ou se disputant le curseur avec l’utilisateur.
Cela crée une expérience utilisateur détestable. Vous ne pouvez pas travailler aux côtés d’un agent qui clique partout sur votre écran. L’agent occupe tout le canal d’interaction, rendant le multitâche impossible.
L’approche de Cua est différente : au lieu de contrôler l’écran principal de l’utilisateur, elle lance des VM macOS sans interface graphique ou en arrière-plan avec lesquelles les agents peuvent interagir de manière programmatique. L’agent voit un bureau virtuel, clique sur des boutons virtuels et lit des écrans virtuels — le tout sans toucher à l’espace de travail réel de l’utilisateur.
Comment ça fonctionne
Cua s’appuie sur le framework Virtualization d’Apple pour créer des VM macOS légères que les agents peuvent contrôler via une API REST et un SDK :
# Example: Spawn a sandboxed macOS VM and let an agent use it
cua run --image macos-sequoia --headless
Le système prend en charge :
- Exécution en arrière-plan — Les agents pilotent les VM sans affecter l’affichage de l’utilisateur.
- Intégration de Lume — Le projet compagnon Lume fournit une configuration de VM macOS sans surveillance avec installation automatisée.
- Accès programmatique — Prise en charge de SDK pour Python, TypeScript et les consommateurs d’API REST.
- Indépendance du curseur — L’utilisateur humain garde le contrôle total de sa machine pendant que les agents travaillent en parallèle.
Ce modèle rappelle ce que les pipelines CI/CD ont fait pour le déploiement logiciel : abstraire l’environnement afin que l’automatisation s’exécute proprement sans interférer avec le flux de travail du développeur.
Pourquoi c’est important
Les implications vont au-delà de la simple commodité. Le contrôle d’un bureau en arrière-plan ouvre plusieurs cas d’usage critiques :
Travail parallèle humain-agent
Un développeur peut continuer à écrire du code pendant qu’un agent IA teste son application dans une instance macOS sandboxée distincte. Un ingénieur QA peut examiner les résultats de tests pendant que des agents exécutent des suites de régression. C’est l’équivalent agentique du multitâche — ce que les approches par capture d’écran rendent impossible.
Automatisation plus sûre
Étant donné que les agents s’exécutent dans des VM jetables, tout dommage qu’ils causent est circonscrit. Une commande rm -rf / malveillante dans une VM sandboxée est une occasion d’apprentissage, pas un incident de production. Cela répond précisément au type de défaillance de sécurité mis en évidence par l’incident de suppression de base de données de cette semaine.
Benchmarks et entraînement
Cua inclut une infrastructure de benchmark pour évaluer les agents d’utilisation de l’ordinateur dans des environnements de bureau réalistes. C’est une avancée significative par rapport aux environnements synthétiques et simplifiés utilisés actuellement par la plupart des benchmarks d’agents. Si vous voulez entraîner un agent à utiliser Photoshop, Excel ou Xcode, il vous faut un véritable environnement de bureau — et c’est exactement ce que fournit Cua.
L’écosystème en pleine expansion
Cua n’est pas seul sur ce créneau. L’écosystème d’infrastructures pour agents d’utilisation de l’ordinateur se développe rapidement :
| Projet | Domaine |
|---|---|
| Cua | VM de bureau sandboxées, exécution en arrière-plan |
| Lume | Création de VM macOS avec installation sans surveillance |
| Agent Browser Protocol | Interaction d’agent au niveau du navigateur |
| Matchlock | Bac à sable Linux pour charges de travail d’agents |
| Vercel Agent Browser | CLI d’automatisation de navigateur pour agents |
Ce qui distingue Cua, c’est son accent mis sur une interaction de niveau poste de travail — pas seulement l’automatisation de navigateur, mais le contrôle complet des applications au sein du système d’exploitation. C’est essentiel pour les agents qui doivent interagir avec des applications natives macOS, Windows ou Linux sans équivalent web.
Prise en main
Cua est sous licence Apache 2.0 et fonctionne sur macOS (avec une prise en charge de Linux et Windows en cours de développement). Pour en savoir plus sur le paysage des agents d’utilisation de l’ordinateur, consultez notre analyse approfondie de l’utilisation de l’ordinateur par Claude et le guide complet des agents IA. La prise en main est remarquablement simple :
git clone https://github.com/trycua/cua
cd cua
make install
cua run --image macos-sequoia
La documentation du projet couvre les modèles d’intégration, les références d’API et la méthodologie de benchmark. Pour les développeurs qui construisent des agents d’utilisation de l’ordinateur, elle mérite une attention particulière.
La perspective plus large
Cua témoigne d’une maturation de la couche d’infrastructure des agents. Il y a six mois, l’utilisation de l’ordinateur signifiait « laisser l’agent voir votre écran ». Aujourd’hui, cela signifie « donner à l’agent son propre écran ». Ce changement — du partagé à l’isolé, du synchrone au parallèle, du fragile au sandboxé — est la direction que tout l’écosystème des agents doit suivre.
À mesure que les agents deviennent plus performants, la qualité de leur environnement importe autant que la qualité de leurs modèles. Cua est un pari sur ce principe, et avec 15 000 étoiles et une progression constante, c’est un pari que la communauté des développeurs est en train d’adopter. Pour en savoir plus sur les agents d’utilisation de l’ordinateur, consultez notre guide complet des agents IA.