OpenGCUA : l'open stack du computer-use agent qui rafale 53 % d'étapes en moins sur OSWorld-v2
🔎 Le computer use devient un problème ouvert — et les chiffres piquent
Le computer use est devenu la ligne de front de l'IA agentique — et il reste massivement fermé. Les systèmes les plus efficaces du moment pilotent des ordinateurs derrière des harness propriétaires : personne à l'extérieur ne peut inspecter quand ils prennent un screenshot, comment ils enchaînent leurs actions, ni pourquoi. Le 15 octobre 2026, l'équipe Tongyi-MAI d'Alibaba publie OpenGCUA (arXiv 2610.22200), présentée comme la première stack complète ouverte de « generalist computer-use agent ». Le paper atteint la première place des papers trending sur Hugging Face dès sa sortie (AlphaXiv).
Le repo GitHub assume la provocation : « GPT-6 made computer use the frontier. We make it open. » Ce n'est pas un slogan creux. Sur OSWorld-v2, la stack open fait passer le score partiel moyen de 45,3 à 64,9 — soit +19,6 points — et réduit de 53,0 % le nombre d'étapes par tâche. Le détail qui rend le résultat solide : ces gains concernent les huit modèles frontier testés, de GPT-6 Astra à DeepSeek-V4.1-Flash (GitHub).
Reste à trier ce qui est réellement publié, ce que ces chiffres mesurent — et ne mesurent pas — et ce que ça change pour quiconque construit des agents qui prennent la main sur un ordinateur. C'est l'objet de cet article.
L'essentiel
- OpenGCUA (arXiv 2610.22200, 15 octobre 2026) : première publication open d'une stack complète de generalist computer-use agent. Le modèle décide lui-même quoi observer, comment agir et comment organiser son travail.
- +19,6 points de score partiel moyen sur OSWorld-v2 (45,3 → 64,9) et -53,0 % d'étapes par tâche vs exécution GUI-only batchée, mesurés sur 8 modèles frontier.
- GPT-6 Astra passe de 102 à 34 étapes par tâche ; Claude Opus 5 gagne 4,4 points (65,7 → 70,1) malgré un niveau déjà élevé.
- L'exécution de code — un programme Python combinant PyAutoGUI, Playwright, shell et API d'apps — ajoutée à un accès GUI+CLI équivalent apporte +6,1 points et -14,8 % d'étapes.
- Publié dès maintenant : harness, prompts, trajectoires d'évaluation des 8 modèles, harness macOS réel (préliminaire), Cross-Device SDK (préliminaire). Le modèle GCUA dédié, lui, n'est pas encore de la partie.
Outils recommandés
| Outil | Usage principal | Prix (octobre 2026) | Idéal pour |
|---|---|---|---|
| OpenGCUA sur GitHub | Harness open, prompts, trajectoires d'éval, SDK multi-appareils | Gratuit (open source) | Construire ou benchmark un agent computer-use |
| Paper arXiv 2610.22200 | Référence scientifique complète + ablations | Gratuit | Comprendre observer/agir/organiser |
| Page projet OpenGCUA | Doc de design + lab interactif en ligne | Gratuit | Explorer les décisions de chaque step |
| Version annotée AlphaXiv | Lecture commentée, discussions communautaires | Gratuit | Creuser la méthode ligne par ligne |
| Hostinger | VPS pour héberger un bac à sable d'exécution d'agents | Dès quelques €/mois (vérifiez sur hostinger.fr) | Isoler vos tests d'agents de votre poste principal |
Un GCUA, c'est quoi exactement ?
Un GCUA (generalist computer-use agent) ne se définit pas par ses composants, mais par qui prend les décisions. Dans un GCUA, c'est le modèle lui-même qui choisit comment observer, comment agir et comment organiser son travail, step après step (page projet).
La distinction est tectonique. Dans la plupart des frameworks actuels, ces choix sont codés en dur dans le harness : screenshot après chaque action, espace d'actions fixe, orchestration externe en Python. Le modèle exécute, il ne décide pas. OpenGCUA transfère ces trois décisions au modèle — d'où l'expression « harness-to-model decision transfer » qui structure tout le paper.
Et le mot « generalist » compte autant que le reste : il ne s'agit pas d'un agent entraîné pour un workflow précis, mais d'un système qui doit se débrouiller sur n'importe quelle application, n'importe quel OS, n'importe quelle tâche. C'est exactement le pari que fait l'ensemble du secteur — Google lance Gemini Agent avec la même ambition d'agent universel, mais en fermé.
Décision 1 : quoi observer
Screenshot uniquement quand le modèle en a besoin, au lieu d'un screenshot systématique après chaque action. Sur deux modèles testés, cette observation à la demande fait grimper le taux de cache hit de +10,5 et +14,4 points, sans aucune baisse de score. Autrement dit : moins d'images redondantes dans le contexte, plus de réutilisation du cache, même niveau de performance.
Décision 2 : comment agir
Un seul programme Python par step, qui combine arbre d'accessibilité, API d'applications, commandes shell et actions GUI — avec boucles, branches et vérifications internes. L'agent écrit du code qui clique, plutôt que de cliquer mille fois en espérant que ça finisse par marcher.
Décision 3 : comment organiser
Le modèle tient une todo list et énonce son intention avant chaque programme. Fini l'agent qui improvise son plan action par action et se perd au bout de vingt clics. Le plan devient explicite, vérifiable, et surtout corrigible en cours de route.
Les chiffres d'OSWorld-v2 : +19,6 points et -53 % d'étapes, sur 8 modèles frontier
Oui, les gains tiennent sur les huit modèles frontier évalués — c'est précisément ce qui rend le résultat difficile à balayer d'un revers de main. Sur le set offline d'OSWorld-v2, le score partiel moyen passe de 45,3 à 64,9, et le nombre d'étapes par tâche chute de 53,0 % en moyenne, par rapport à une exécution GUI-only batchée (arXiv).
| Modèle | Score partiel avant | Score partiel après | Étapes par tâche |
|---|---|---|---|
| Claude Opus 5 | 65,7 | 70,1 | — |
| GLM-5.3-Flash | 55,8 | 64,9 | — |
| Qwen3.8-Max | 57,2 | 64,0 | 66,1 → 57,0 |
| DeepSeek-V4.1-Flash | 50,9 | 57,7 | — |
| GPT-6 Astra | — | — | 102 → 34 |
Deux lectures importantes dans ce tableau. D'abord, GPT-6 Astra — déjà très efficace en GUI — passe de 102 à 34 étapes par tâche : même les meilleurs profitent massivement d'un meilleur harness. Ensuite, l'écart entre le meilleur et le pire modèle se réduit de plus de moitié. La stack nivelle vers le haut, et profite le plus aux modèles qui partaient avec le moins bon outillage.
Autre signal d'efficacité, moins mis en avant : les output tokens baissent de 27,2 % sur six des huit modèles. Moins d'étapes, moins de tokens générés, plus de score. Ce trio gagnant est rare dans la littérature agentique, où l'on gagne souvent un axe en dégradant les deux autres.
Gardez une nuance en tête : il s'agit d'un score partiel moyen sur un benchmark, pas d'un taux de réussite en conditions réelles. On y revient dans les erreurs courantes.
Pourquoi les agents GUI-only gaspillent la moitié de leurs étapes
Parce que le harness les force à boucler screenshot → une action → screenshot, même quand la tâche réclame une boucle ou une opération de masse. Cliquer est l'appel d'API le plus lent qu'un agent puisse se permettre. L'analyse de Reid Marlow sur les agents GUI-only pose ce diagnostic — les chiffres d'OpenGCUA le confirment à l'échelle de huit modèles.
Les ablations du paper quantifient précisément ce que l'exécution de code apporte :
| Comparaison | Gain de score | Gain d'étapes |
|---|---|---|
| Code exécuté vs actions GUI batchées | +15,5 à +33,6 points | -55,3 à -63,1 % |
| Code exécuté vs accès GUI+CLI équivalent | +6,1 points | -14,8 % |
(Moyennes calculées sur 3 modèles pour ces ablations.)
Le chiffre à retenir est la deuxième ligne. Même à accès égal — GUI et CLI disponibles dans les deux cas — le simple fait de laisser le modèle écrire un programme avec boucles, branches et vérifications ajoute 6,1 points et retire 14,8 % des étapes. Ce n'est pas un effet de bord, c'est un changement de paradigme d'action.
On observe la même dynamique ailleurs dans l'écosystème : Browser Use sort Video Use et mise sur un agent de code pour éditer des vidéos plutôt que sur une suite de clics enregistrés. Le code est le langage naturel des tâches répétitives — y compris quand la cible est une interface graphique.
Le code ne tue pas le clic, il l'encadre
Précision importante pour éviter le contresens : OpenGCUA ne supprime pas les actions GUI. PyAutoGUI reste dans le programme généré, à côté de Playwright et du shell. La thèse du paper est plus fine : le modèle doit pouvoir choisir l'outil adapté à chaque sous-tâche — une API quand elle existe, un clic quand rien d'autre ne marche — et composer le tout dans un même programme contrôlé.
Harness-to-model decision transfer : l'innovation discrète qui compte
La vraie contribution d'OpenGCUA n'est pas un nouveau modèle — c'est un déplacement de responsabilité. Les décisions d'observation et d'orchestration, jusque-là figées dans le harness, passent côté modèle (Hugging Face).
Pourquoi c'est important : un harness qui décide à la place du modèle est optimisé pour un modèle moyen. Un modèle qui décide lui-même quand observer et comment s'organiser s'adapte à ses propres forces et à la tâche en cours. Les trajectoires publiées des 8 modèles permettent en plus de vérifier cette affirmation trajectoire par trajectoire, pas seulement en moyenne.
La contrepartie, c'est le coût de raisonnement. Sur quatre tâches macOS réelles, les trajectoires retenues de Qwen3.8-Max consomment 19,4× plus de tokens de raisonnement que celles de GPT-6 Astra. Traduction : donner plus de liberté décisionnelle au modèle coûte cher en tokens pour les modèles les moins efficaces en raisonnement. Le repo liste d'ailleurs l'optimisation d'efficacité comme chantier à venir — c'est probablement là que se jouera la prochaine itération.
Ce qui est réellement ouvert — et ce qui manque encore
Presque tout, sauf le modèle. Concrètement, la version publiée le 15 octobre 2026 contient :
- un exemple d'intégration OSWorld prêt à l'emploi ;
- les trajectoires d'évaluation complètes des 8 modèles (GPT-6 Astra, Claude Opus 5, Gemini 3.8 Flash, GLM-5.3-Flash, Qwen3.8-Max, Qwen3.8-Flash, Kimi K3, DeepSeek-V4.1-Flash) ;
- un harness macOS réel, préliminaire, sous forme d'app menu-bar ;
- un Cross-Device SDK préliminaire (ordinateurs, navigateurs, téléphones) ;
- un lab interactif en ligne sur la page projet.
Annoncé pour plus tard : le modèle GCUA dédié, l'optimisation d'efficacité, et un benchmark sur environnements réels. Alibaba publie dans la foulée MAI-Gym, l'environnement d'entraînement associé (AICoder, 17 octobre 2026).
Mon avis : les trajectoires des 8 modèles frontier sont peut-être la publication la plus sous-cotée du lot. C'est de la donnée d'imitation de haut niveau, exactement le carburant qu'il faut pour distiller un futur modèle GCUA — et un matériau d'analyse rare pour quiconque étudie comment ces agents prennent réellement leurs décisions. Peu d'équipes fermées publient ce niveau de détail sur leurs propres systèmes.
Comment tester OpenGCUA dès aujourd'hui
Commencez par le repo GitHub et le lab interactif — lire les trajectoires ne coûte rien et en dit plus long que n'importe quelle démo vidéo.
git clone https://github.com/Tongyi-MAI/OpenGCUA.git
cd OpenGCUA
Le harness s'appuie sur des modèles appelés via API — les 8 testés couvrent l'essentiel du paysage, et notre guide des meilleurs LLM pour les agents IA aide à choisir selon votre budget et vos latences. Le harness macOS et le Cross-Device SDK sont explicitement préliminaires : testez dans un environnement isolé, pas sur votre poste de production. Un VPS fait très bien l'affaire pour ça (Hostinger).
Si vous voulez mettre en parallèle une stack 100 % locale, notre guide sur les agents IA open source avec Ollama couvre l'alternative sans API — avec les limites que ça implique en computer use, où les modèles frontier gardent une avance nette. Et si vous débutez, apprendre à créer un agent IA reste le meilleur point d'entrée avant d'attaquer un harness de cette taille.
Ce que ça change pour l'écosystème des agents
OpenGCUA installe une baseline publique. Dorénavant, un acteur fermé qui revendique des performances en computer use devra justifier ses choix de harness, pas seulement son modèle — car on sait désormais qu'un meilleur harness vaut jusqu'à 19,6 points, indépendamment du modèle. C'est une pression nouvelle sur tout le secteur.
Les gros joueurs avancent leurs pions en parallèle : OpenAI Codex Computer Use arrive sur Windows pour contrôler le PC à distance, pendant que Google pousse son agent universel vers le poste de travail complet. Tous fermés, tous sans trajectoires publiées. La comparaison avec OpenGCUA sera inévitable — et cette fois, elle pourra se faire sur un terrain mesurable.
Côté open source, la tendance long terme se confirme. DeerFlow de ByteDance pousse déjà les agents open sur des tâches longues ; OpenGCUA y ajoute la brique « piloter un ordinateur » avec des chiffres crédibles et un SDK multi-appareils. Pour situer tout ça dans le paysage, notre sélection des meilleurs agents IA autonomes reste la bonne porte d'entrée.
Le point à surveiller pour la suite : la sortie du modèle GCUA dédié. Si Tongyi-MAI entraîne un modèle nativement pensé pour ce harness, sur des données MAI-Gym, on aura pour la première fois une stack computer-use cohérente de bout en bout — et ouverte.
❌ Erreurs courantes
Erreur 1 : lire « +19,6 points » comme un taux de réussite absolu
La métrique est un score partiel moyen sur le set offline d'OSWorld-v2, pas un taux de réussite binaire en conditions réelles. 64,9 en benchmark ne prédit pas le comportement de l'agent sur vos tâches du quotidien. Solution : lisez les définitions de métriques dans le paper avant de citer le chiffre.
Erreur 2 : recycler les chiffres d'analystes non sourcés
Une partie de la couverture — notamment sur dev.to — cite des projections d'analystes sans source vérifiable. Le paper et le repo suffisent largement : tenez-vous-en aux chiffres de l'abstract, vérifiables ligne par ligne, et exigez une source dès qu'un pourcentage circule sans référence.
Erreur 3 : croire que le harness open suffit à égaler un agent frontier
Le même harness laisse Qwen3.8-Max consommer 19,4× plus de tokens de raisonnement que GPT-6 Astra sur les tâches macOS : la capacité du modèle reste déterminante. Le harness nivelle vers le haut, il ne gomme pas les écarts entre modèles. Et le modèle GCUA dédié n'est pas encore publié.
Erreur 4 : tester le harness macOS sur sa machine principale
La version publiée est explicitement préliminaire, et un agent qui pilote un ordinateur a accès à tout cet ordinateur. Utilisez une VM ou un VPS dédié, et traitez chaque trajectoire comme du code non audité — parce que c'en est.
❓ Questions fréquentes
OpenGCUA est-il vraiment open ?
Le code, les prompts, les trajectoires d'évaluation des 8 modèles, le harness macOS préliminaire et le Cross-Device SDK sont publiés sur GitHub et sur la page projet. Le modèle GCUA dédié ne l'est pas encore — c'est le principal morceau manquant de la stack, annoncé pour une version ultérieure.
Quels modèles ont été testés ?
Huit modèles frontier : GPT-6 Astra, Claude Opus 5, Gemini 3.8 Flash, GLM-5.3-Flash, Qwen3.8-Max, Qwen3.8-Flash, Kimi K3 et DeepSeek-V4.1-Flash. Tous gagnent des points avec la stack complète, avec une réduction de plus de moitié de l'écart entre le meilleur et le pire.
Quelle différence avec les agents computer use des grands labs ?
Les implémentations frontier restent fermes : pas d'accès au harness, ni aux prompts, ni aux trajectoires. OpenGCUA publie tout, ce qui permet de reproduire, d'auditer et d'améliorer. Le fait que Claude Opus 5 gagne encore 4,4 points avec ce harness montre que même les meilleurs systèmes fermés laissent des points sur la table.
Faut-il du matériel puissant pour l'utiliser ?
Non pour le harness lui-même, qui orchestre des modèles appelés via API. Le calcul local devient pertinent si vous visez le self-hosting complet des modèles — notre guide sur Ollama détaille cette voie, avec ses compromis sur les tâches agentiques complexes.
Ça fonctionne sur Windows et mobile ?
Le harness réel publié est macOS, en version préliminaire. Le Cross-Device SDK vise ordinateurs, navigateurs et téléphones, mais la couverture Windows complète reste à venir. En attendant, les solutions fermées dominent ce terrain — surveillez les mises à jour du repo.
✅ Conclusion
OpenGCUA fait passer le computer use de l'ère des démos fermées à celle de la science reproductible : +19,6 points et -53 % d'étapes sur 8 modèles frontier, avec harness, prompts et trajectoires en accès libre. Clonez le repo, lisez les trajectoires avant les tweets — et gardez un œil sur le modèle GCUA à venir, c'est probablement là que la suite se jouera.