Cursor Computer Use : l'agent sort du navigateur et pilote n'importe quelle app de bureau, y compris l'iOS Simulator
🔎 L'agent coding gagne des yeux et des mains
Les coding agents avaient un angle mort assumé : ils écrivent du code qu'ils ne voient jamais tourner. Tests unitaires ? Oui. CI ? Oui. Mais cliquer sur le bouton qu'ils viennent de générer, naviguer dans le flux qu'ils viennent d'implémenter ? Jamais. Le 23 octobre 2026, Cursor a comblé cette brèche.
Sa nouveauté, sobrement baptisée Computer Use, autorise ses agents à cliquer et taper dans n'importe quelle application de bureau. La vitrine : l'iOS Simulator. L'agent développe une fonctionnalité iOS, lance le Simulator, navigue dans le flux, inspecte le rendu, corrige le code. Une seule tâche, zéro intervention humaine.
Pourquoi maintenant ? Parce que le computer-use devient le prochain champ de bataille. OpenAI pousse Codex Computer Use sur Windows, browser-use étend le concept jusqu'à la vidéo, et l'open source publie des modèles qui rivalisent avec les solutions fermées. Cursor riposte là où il est le plus fort : l'intégration au workflow du développeur.
L'essentiel
- Cursor lance Computer Use le 23 octobre 2026 : ses agents coding cliquent et tapent dans des applications de bureau, dont l'iOS Simulator, pour tester ce qu'ils viennent de construire (Runtimewire, AICoder).
- Sur macOS, la fonction s'appuie sur une app dédiée « Cursor Computer Use » (bundle
co.anysphere.cursor-computer-use) et exige les permissions Accessibilité et Capture d'écran (Cursor Docs). - Déclenchement par @-mention dans le prompt d'agent, ou sélection automatique quand la tâche l'exige ; côté CLI :
agent worker --computer-use start. - Ce qu'on ne sait pas encore : plateformes supportées, modèle de permissions complet, benchmarks — rien n'a été publié (AICoder).
- Le contexte : sur OSWorld-Verified, l'open source OpenCUA-72B atteint 45,0 %, devant Claude 4 Sonnet (41,5 %) et OpenAI CUA (31,4 %) (OpenCUA, 2025).
Outils recommandés
| Outil | Usage principal | Prix (mois année) | Idéal pour |
|---|---|---|---|
| Cursor | Agent coding avec Computer Use intégré (macOS au lancement) | Pro à 20 $/mois (octobre 2026, vérifiez sur cursor.com) | Devs iOS/macOS qui veulent la boucle code → test → correction automatisée |
| Cursor CLI — agent worker | Exécution locale de l'agent avec computer-use et partage d'écran | Inclus avec Cursor | Self-hosting, sessions GUI contrôlées et auditées |
| browser-use | Contrôle de navigateur open source, étendu à la vidéo avec video-use | Gratuit, open source | Automatisation web et multimédia sans éditeur propriétaire |
| OpenCUA | Stack open source complète pour computer-use agents (modèles 7B à 72B) | Gratuit, open source | Recherche, agents souverains, déploiement local |
| Hostinger | Hébergement de l'app ou de l'API que l'agent teste | Dès quelques €/mois (octobre 2026, vérifiez sur hostinger.com) | Le serveur, pas l'agent : Computer Use exige une machine locale avec interface graphique |
Ce que Cursor a réellement annoncé — et ce qu'il ne dit pas encore
Le 23 octobre 2026, Cursor officialise Computer Use : ses agents coding peuvent désormais opérer des applications de bureau — cliquer, taper, naviguer — bien au-delà du navigateur qui constituaient leur seul terrain de jeu visuel.
L'annonce est passée par deux posts sur X le 23 octobre (explainx), avec la bénédiction du compte officiel @cursor_ai (AICoder). Runtimewire décrit le périmètre sans ambiguïté : l'agent peut cliquer et taper dans des applications de bureau pour tester ce qu'il vient de construire.
La fonctionnalité ne sort pas de nulle part. Un changelog communautaire de septembre mentionnait déjà Computer Use sur Mac en version 3.20.21 (AICoder). Cursor laissait mûrir en silence avant l'officialisation, stratégie classique chez AnySphere.
Mais gardons la tête froide sur ce qui manque. Plateformes supportées, modèle de permissions complet, benchmarks : rien de tout cela n'a été publié au lancement. La bonne pratique consiste à surveiller le changelog officiel plutôt que les threads X, qui enflamment plus vite qu'ils n'informent.
Détail révélateur relevé par AGTP : sur macOS, tout passe par une petite application helper nommée Cursor Computer Use, pilotée par le CLI. Ce choix d'architecture en dit long sur l'ambition — et sur les garde-fous. J'y reviens plus bas.
Cette offensive s'inscrit dans une stratégie plus large : au moment où la spec officielle des plugins de Cursor arrive sur GitHub, l'éditeur construit visiblement une plateforme, pas un simple éditeur de texte. De quoi consolider sa première place dans notre comparatif des meilleurs outils IA pour le code.
Le cas d'usage vedette : l'iOS Simulator en boucle fermée
Le scénario qui justifie l'annonce tient en une phrase : l'agent développe une fonctionnalité iOS, puis va la vérifier lui-même dans le Simulator — sans toucher à votre clavier.
explainx décrit la boucle complète : builder, lancer le Simulator, taper, lire l'écran, corriger, recommencer. Une itération de bout en bout, en une seule tâche d'agent.
Concrètement : vous demandez un écran de réglages avec une bascule de notifications. L'agent écrit le SwiftUI, compile, lance le Simulator, navigue jusqu'à l'écran, constate que la bascule déborde du cadre, rouvre le code, recompile. Avant, vous étiez le testeur. Désormais, vous êtes le reviewer.
Pourquoi c'est structurant : les coding agents avaient des tests, des linters, des pipelines — mais aucun œil. La régression d'interface, celle que l'utilisateur voit en premier, restait hors de la boucle. Computer Use la fait rentrer dedans.
Côté déclenchement, l'agent est invoqué par @-mention dans le prompt — le fameux @Computer Use — ou choisi automatiquement quand la tâche l'exige (Runtimewire). La mention devient un verbe du vocabulaire du développeur, comme @Files il y a deux ans.
Mon avis : cette boucle de vérification autonome est exactement la frontière entre un autocompléteur et un agent. C'est aussi le critère qui structure notre comparatif des meilleurs agents IA autonomes — et Cursor vient de marquer un point sérieux.
Sous le capot : une app dédiée, deux permissions, un CLI
Sur macOS, Computer Use ne hacke rien : il s'appuie sur une application dédiée et sur les mécanismes standards de permissions d'Apple. C'est sobre, et c'est un bon signe.
L'application s'appelle « Cursor Computer Use », bundle co.anysphere.cursor-computer-use (Cursor Docs). Ce sont elle — et ni Cursor ni Terminal — qui doivent recevoir les permissions Accessibilité et Capture d'écran.
Ce découpage n'est pas cosmétique. C'est du moindre privilège : la seule surface qui voit votre écran est isolée, identifiable et révocable indépendamment de l'éditeur lui-même. On en reparle dans la section confidentialité.
Le déclenchement passe par le CLI Cursor :
agent worker --computer-use start
L'option --share-desktop permet le partage de la session — autrement dit, observer ce que l'agent fait à l'écran au lieu de le croire sur parole.
Contrainte non négociable : le worker doit être signé et s'exécuter dans une session graphique (GUI) macOS. Un serveur headless est hors jeu, pour des raisons évidentes — pas d'écran, pas de computer use.
La philosophie est explicitement opt-in : ces capacités ne s'activent que sur action explicite, jamais par le serveur. Pour un pas-à-pas d'installation côté machine, Flavio Copes publie un guide dédié à la fonctionnalité.
Activer et tester : la checklist express
Pour tester chez vous, il faut trois ingrédients : un Cursor à jour, une session graphique macOS et deux permissions accordées à la bonne application. Rien de plus.
- Mettez Cursor à jour et vérifiez le numéro de version dans le changelog officiel — la fonction était déjà présente en 3.20.21 sur Mac dès septembre.
- Lancez le worker via
agent worker --computer-use startdepuis le CLI Cursor. - Dans Réglages → Confidentialité et sécurité, accordez les permissions Accessibilité et Capture d'écran à « Cursor Computer Use » — pas à Terminal, pas à Cursor (Cursor Docs).
- Dans votre tâche d'agent, @-mentionnez Computer Use, ou formulez la demande de sorte que l'agent la sélectionne seul quand la tâche l'exige (Runtimewire).
- Gardez un œil via
--share-desktop: vous voyez exactement ce que l'agent voit et fait, en temps réel.
Attention au piège numéro un : une session SSH ou un environnement sans interface graphique ne fonctionnera pas. La session GUI macOS est une obligation, pas une option.
Dix minutes de configuration pour supprimer des heures de tests manuels : le ratio est imbattable, à condition d'accepter le pacte des permissions qui vient avec. C'est le vrai sujet.
OpenAI, browser-use, OpenCUA : la course au computer-use s'accélère
Cursor n'invente pas la catégorie du computer-use : il l'industrialise pour les développeurs, sur un terrain déjà disputé par trois camps aux stratégies très différentes.
OpenAI aligne d'un côté son CUA — benchmarké publiquement — et pousse Codex Computer Use sur Windows, capable de contrôler un PC à distance (notre analyse). Cursor choisit macOS, OpenAI mise sur Windows : la coïncidence n'en est pas une, c'est de la tactique de plateforme.
browser-use, devenu le standard open source du contrôle de navigateur, pousse la logique plus loin : avec video-use, un agent de code peut désormais éditer des vidéos (notre décryptage). La frontière du computer use ne s'arrête clairement plus au clic dans une page web.
Côté open source, OpenCUA — spotlight NeurIPS 2025 — publie une stack complète : données, pipeline et modèles de 7B à 72B. Notre analyse d'OpenGCUA, l'open stack du computer-use agent, montre qu'il réduit de 53 % le nombre d'étapes sur OSWorld-v2 — moins d'étapes, moins de captures d'écran, moins de tokens.
Mon avis : la vraie bataille n'est plus le modèle brut, mais l'intégration. Celui qui contrôle le workflow du développeur contrôle le point d'entrée du computer-use. Cursor part avec l'éditeur déjà installé sur des millions de machines — un avantage qu'aucun benchmark ne mesure.
Ce que disent les chiffres : OSWorld donne la mesure du chemin restant
Sur OSWorld-Verified (100 étapes), le meilleur score public est de 45,0 % : personne ne réussit encore la majorité des tâches de bout en bout. Le computer-use reste un terrain difficile, malgré les démos spectaculaires.
| Agent / modèle | OSWorld-Verified (100 étapes) |
|---|---|
| OpenCUA-72B (open source) | 45,0 % |
| Claude 4 Sonnet | 41,5 % |
| OpenCUA-32B (open source) | 34,8 % |
| OpenAI CUA | 31,4 % |
| UI-TARS-1.5-7B (open source) | 27,4 % |
| OpenCUA-7B (open source) | 26,6 % |
Source : OpenCUA, benchmark publié à l'occasion du spotlight NeurIPS 2025.
Deux lectures de ce tableau. D'abord, l'open source devance : OpenCUA-72B passe devant Claude 4 Sonnet et nettement devant OpenAI CUA. Ensuite, l'humilité : même le leader échoue sur plus d'une tâche sur deux. Les démos de lancement flatten toujours la réalité.
Où se situe Cursor ? Nulle part, pour l'instant : aucun benchmark publié pour Computer Use au lancement. Impossible de le placer honnêtement sur cette grille. Jugez sur vos propres tâches, pas sur les GIF.
Et rappelez-vous que le nombre d'étapes est une métrique de coût : chaque étape représente une capture d'écran, une inférence et une action. Les travaux sur la réduction d'étapes — ces fameux −53 % sur OSWorld-v2 — sont donc autant d'économies directes sur la facture de tokens.
Confidentialité : quand l'agent lit tout votre écran
Le prix de la magie, c'est la visibilité : pour cliquer et taper juste, l'agent doit voir — potentiellement tout ce qui s'affiche à l'instant T sur votre machine.
Capture d'écran plus accès Accessibilité, cela signifie une lecture complète de l'interface : fenêtres, messages, notifications, et ces codes de double authentification qui s'affichent toujours au mauvais moment. explainx liste d'ailleurs explicitement les risques à côté des capacités confirmées.
Les garde-fous côté Cursor sont réels mais minimaux : opt-in explicite, jamais d'activation par le serveur, permissions isolées sur l'application dédiée, et --share-desktop pour l'audit. C'est mieux que rien, ce n'est pas une réponse complète.
Hygiène minimale que je recommande : une session utilisateur dédiée aux tests, la révocation des permissions quand vous n'utilisez pas la fonction, et aucune boucle d'agent pendant vos opérations sensibles — paiements, administration système, messagerie privée.
Si le cloud vous indispose, l'alternative existe : les agents IA open source en local avec Ollama gardent vos écrans sur votre machine. Moins polis, plus sobres — mais vos pixels ne partent nulle part.
Mon avis : cette friction permissions/confidentialité sera le vrai verrou d'adoption en entreprise, bien plus que la technologie elle-même. Un agent qui lit l'écran, c'est LA question que tout DSI va poser — et « c'est opt-in » ne suffira peut-être pas comme réponse.
Ce que ça change pour votre workflow (et ce qui reste à prouver)
Pour les devs iOS et macOS, le gain est immédiat : la boucle code-compile-test se referme sans intervention humaine. Pour les autres plateformes, la prudence reste de mise.
Les gains concrets : smoke tests d'interface automatisés, itérations design accélérées, détection des régressions visuelles avant la review humaine. Le test manuel d'UI, ce trou dans la journée du développeur, a enfin un remplaçant crédible.
Les limites, assumées : plateformes non annoncées, benchmarks absents, modèle de permissions détaillé uniquement pour macOS. Traitez Computer Use comme une bêta très prometteuse, pas comme une révolution acquise.
Le coût, aussi : chaque itération passe par des captures d'écran analysées par un modèle vision. Les boucles d'agent consomment nettement plus que le chat, et la qualité plafonne au niveau du modèle sous-jacent. Les références agentic du moment — GPT-5.5 (98,2), Claude Opus 4.7 (94,3) sur notre grille de juin 2025 — fixent ce plafond, et notre guide des LLM pour agents détaille le choix selon vos tâches.
Mon pronostic : dans six mois, « l'agent a testé dans le Simulator » sera une case cochée par défaut sur les tâches iOS. La question ne sera plus « est-ce possible ? » mais « quels droits lui accorde-t-on ? ». Préparez vos réponses dès maintenant.
❌ Erreurs courantes
Erreur 1 : accorder les permissions à la mauvaise application
Beaucoup iront cocher Accessibilité et Capture d'écran pour Cursor ou pour Terminal. La documentation est formelle : c'est l'app dédiée « Cursor Computer Use » qui les exige (Cursor Docs). Sans ça, rien ne fonctionne — et vous élargissez inutilement la surface d'accès de vos outils.
Erreur 2 : vouloir faire tourner l'agent sur un serveur headless
Le worker doit être signé et s'exécuter dans une session GUI macOS. Un VPS Linux sans écran n'est pas un poste de conduite pour Computer Use. Gardez le serveur pour héberger ce que l'agent teste — pas pour le piloter.
Erreur 3 : croire que l'agent observe votre écran en permanence
Non : la fonctionnalité est opt-in et jamais activée par le serveur. Si vous ne déclenchez pas, il ne se passe rien. Et --share-desktop vous permet de vérifier par vous-même ce qui est vu et fait.
Erreur 4 : extrapoler la démo iOS à tout l'écosystème
L'iOS Simulator est la vitrine, pas la garantie. Plateformes supportées et benchmarks ne sont pas publiés. Testez sur votre propre stack avant de réécrire vos process QA autour de la fonctionnalité.
❓ Questions fréquentes
Cursor Computer Use est-il disponible sur Windows ?
Pas au 24 octobre 2026. La documentation décrit un flux macOS — permissions Accessibilité et Capture d'écran, session GUI signée — et aucune liste officielle de plateformes n'a été publiée (AICoder, 24 octobre 2026). OpenAI a, lui, choisi Windows pour son Codex Computer Use : les trajectoires devraient converger, sans date annoncée côté Cursor.
L'agent peut-il lire mes messages ou mes mots de passe ?
Techniquement, la capture d'écran et l'accès Accessibilité offrent une vue de tout ce qui s'affiche, codes 2FA compris. Cursor répond par l'opt-in : aucune activation par le serveur, des permissions portées par l'app dédiée et révocables à tout moment. Sur une session contenant des données sensibles, la prudence reste néanmoins de mise.
Combien coûte Cursor Computer Use ?
Aucune tarification dédiée n'a été publiée au lancement. L'usage s'inscrit dans vos plans Cursor existants : l'abonnement Pro est affiché à 20 $/mois (octobre 2026, vérifiez sur cursor.com). Attention toutefois : les boucles avec captures d'écran consomment nettement plus de tokens qu'une session de chat ou d'autocomplétion classique.
Quel modèle IA pilote Computer Use ?
Cursor ne l'a pas précisé. Les agents coding s'appuient typiquement sur des modèles taillés pour l'agentic — GPT-5.3 Codex et Claude Sonnet 4.6 figurent parmi les références de notre classement de juin 2025. Sur une boucle vision-action, ce choix de modèle pèse d'ailleurs davantage que sur de la simple complétion de code.
Existe-t-il une alternative open source ?
Oui. La stack OpenCUA publie des modèles de 7B à 72B, avec un OpenCUA-72B à 45,0 % sur OSWorld-Verified, devant Claude 4 Sonnet (41,5 %) et OpenAI CUA (31,4 %). Pour des agents entièrement locaux sur votre machine, notre guide Ollama détaille le montage. L'open source n'a jamais été aussi proche de l'état de l'art.
✅ Conclusion
En donnant des yeux et des mains à ses agents, Cursor transforme le test d'interface manuel en routine automatisée — à condition d'accepter le pacte des permissions qui vient avec. Les benchmarks et les plateformes se jugeront dans le changelog ; la boucle fermée, elle, est déjà réalité. Pour aller plus loin, notre guide pour créer un agent IA vous montre comment bâtir vos propres boucles d'agent, du prompt à la vérification.