Le modèle Claude d’Anthropic inclut désormais une capacité computer-use qui permet au modèle de voir des captures d’écran d’une interface de bureau et d’effectuer des actions — cliquer sur des boutons, saisir du texte, naviguer dans des menus et faire défiler des applications. Cela représente un changement fondamental, en passant d’agents limités aux API à des agents capables d’interagir avec n’importe quel logiciel.
Fonctionnement
La fonctionnalité computer-use repose sur une boucle simple mais puissante :
- Capture d’écran — Le système prend une capture d’écran de l’écran actuel.
- Analyse visuelle — Claude analyse la capture d’écran pour identifier les éléments de l’interface.
- Sélection de l’action — Le modèle décide de l’action à effectuer (cliquer, saisir, faire défiler, etc.).
- Exécution de l’action — L’action est réalisée via des API d’accessibilité ou une saisie basée sur les coordonnées.
- Observation — Une nouvelle capture d’écran est prise et le cycle continue.
Innovations clés
Raisonnement spatial à grande échelle — Claude peut comprendre des interfaces complexes comportant des dizaines d’éléments interactifs, en distinguant les boutons, les champs de texte, les listes déroulantes et les menus uniquement à partir de leur apparence visuelle.
Récupération après erreur — Lorsqu’une action produit des résultats inattendus, Claude peut reconnaître la divergence et essayer d’autres approches, un peu comme le ferait un humain.
Aucune dépendance aux API — Comme la fonctionnalité computer-use passe par l’interface graphique, elle peut interagir avec des applications existantes, des logiciels de bureau et des applications web qui ne disposent d’aucune API publique.
Limites et défis
La fonctionnalité computer-use évolue encore :
- Latence — La boucle capture-analyse-action prend 2 à 5 secondes par étape.
- Fiabilité — Les flux de travail complexes à plusieurs étapes affichent des taux de réussite d’environ 70 à 85 %.
- Coût — Chaque étape consomme des jetons à la fois pour l’entrée (capture d’écran) et pour la sortie.
- Sécurité — Le modèle a besoin d’un large accès au système pour être utile.
Une vision plus large
La fonctionnalité computer-use laisse entrevoir un avenir où les agents peuvent utiliser n’importe quel logiciel, n’importe quelle interface, n’importe quelle plateforme — sans aucune intégration nécessaire. Associée au protocole MCP pour l’accès aux outils (lisez notre MCP deep dive) et à des frameworks d’agents spécialisés pour l’orchestration, elle constitue une pièce du puzzle dans la construction d’assistants numériques véritablement généralistes. Pour une vue d’ensemble, consultez notre complete guide to AI agents et la manière dont Claude s’intègre dans le state of AI agents.