📑 Table des matiùres

Poki : l'agent open source qui vit dans votre iPhone et tape dans vos vraies apps

Agents IA 🟱 DĂ©butant ⏱ 15 min de lecture 📅 2026-11-21

Poki : l'agent open source qui vit dans votre iPhone et tape dans vos vraies apps

🔎 Deux agents, deux mondes, la mĂȘme semaine

Le 20 novembre 2026, Google Research racontait dix ans de Duplex et son intĂ©gration directe dans Tasks, au cƓur de l'app Gemini (TechCrunch, 17 novembre 2026). Un agent cloud, propriĂ©taire, gratuit pour des centaines de millions d'utilisateurs, qui appelle des commerces Ă  votre place.

Le mĂȘme jour, un tout autre projet prenait le chemin inverse. Poki, agent open source publiĂ© sur GitHub, ne passe par aucun serveur pour agir : il vit dans votre iPhone, lit l'Ă©cran, et tape, glisse, scrolle dans vos vraies applications.

Deux rĂ©ponses Ă  la mĂȘme question — comment dĂ©lĂ©guer du concret Ă  une IA — et deux philosophies difficilement rĂ©conciliables. ExplainX rĂ©sumait bien le moment dans son Ă©dition du 21 novembre 2026 : le dĂ©bat n'est plus « faut-il des agents ? », mais « qui les contrĂŽle ? ».


L'essentiel

  • Poki est un agent open source (AGPL-3.0-only) qui tourne directement sur iPhone : il lit l'Ă©cran et tape, glisse, scrolle dans vos vraies apps, sans jailbreak.
  • L'installation tient en une phrase : « Install Poki on my iPhone », lancĂ©e Ă  Claude Code ou Codex depuis un Mac ou un PC, iPhone branchĂ© en USB. Ensuite, il fonctionne seul.
  • Il utilise vos comptes : connexion ChatGPT Plus/Pro ou clĂ© API Anthropic, OpenAI, Gemini, DeepSeek, OpenRouter, OpenCode Go, ou serveur OpenAI-compatible.
  • Il s'arrĂȘte devant le sensible : paiements, suppressions et Wallet dĂ©clenchent une pause avec approbation, chaque Ă©tape s'affichant dans la Dynamic Island et sur l'Ă©cran verrouillĂ©.
  • Google a rĂ©pondu sur la mĂȘme fenĂȘtre d'actualitĂ© avec Duplex dans Tasks : local + open source contre agent cloud propriĂ©taire, le duel est lancĂ©.

Outils recommandés

Outil Usage principal Prix Idéal pour
Poki Agent local qui pilote vos vraies apps iPhone Gratuit (open source, AGPL-3.0) Automatiser iOS sans jailbreak
Guide d'installation officiel Prérequis, cùble USB, VPN, signature 7 jours Gratuit Réussir l'installation du premier coup
Poki pour Claude Code L'iPhone comme outil MCP de Claude Code/Codex Gratuit Dévs mobiles : tests UI, captures vidéo
Hostinger VPS pour exposer un endpoint OpenAI-compatible dÚs quelques $/mois (novembre 2026, vérifiez sur hostinger.com) Brancher Poki sur un modÚle auto-hébergé

Poki, c'est quoi exactement ?

Poki est un agent IA open source qui s'installe sur votre iPhone et pilote vos vraies applications à votre place : il lit l'écran, puis tape, glisse et scrolle comme le ferait votre pouce.

Le projet est publié sur GitHub par un développeur indépendant, sous licence AGPL-3.0-only. Le rythme donne le vertige : v0.1.0 le 5 novembre 2026, v0.4.0 beta 1 le 13 novembre (release notes). Deux semaines pour passer de « ça marche chez moi » à un installateur multi-plateforme.

Une fois installĂ©, Poki n'a besoin de personne. On le dĂ©clenche par chat, en maintenant le bouton Action, ou via Siri et les Raccourcis. Chaque Ă©tape s'affiche en direct dans la Dynamic Island et sur l'Ă©cran verrouillĂ© — vous voyez l'agent travailler, en temps rĂ©el.

Détail qui sent le futur : sur iPhone Duo, Poki travaille sur deux apps cÎte à cÎte en Split View. Un agent qui multitùche mieux que la plupart des humains, voilà un bon résumé.


Comment Poki pilote votre iPhone sans jailbreak

Poki combine deux briques : l'arbre d'accessibilitĂ© du systĂšme pour lire l'Ă©cran, et des Ă©vĂ©nements tactiles natifs pour agir — sans jailbreak ni matĂ©riel externe.

ConcrÚtement, l'agent ne « regarde » pas des captures d'écran comme un touriste. Il reçoit la structure de l'interface : boutons, libellés, champs. Puis il envoie des touches qui se comportent comme des interactions physiques, indiscernables pour les apps.

Deux rĂ©gimes techniques cohabitent. Sur iOS 27 et plus, le contrĂŽle est natif. Sur iOS 18 Ă  26, Poki passe par une session XCTest. Le projet prĂ©cise avoir testĂ© sur un iPhone physique sous iOS 27 — c'est la configuration de rĂ©fĂ©rence.

Pourquoi l'arbre d'accessibilité est le bon pari

Les agents qui « voient » des captures d'écran cassent à chaque redessin d'interface. L'arbre d'accessibilité, lui, décrit la structure : plus robuste, moins gourmand, et aligné avec des réglages pensés pour les humains. C'est, à mon sens, le choix technique le plus sain de ce projet.

L'héritage MCP : quand l'iPhone devient un outil de dev

Poki n'est pas né app. La premiÚre mouture était un serveur MCP reliant un agent tournant sur ordinateur à un iPhone ou un simulateur ; cette voie n'est plus maintenue, l'app standalone la remplace. Mais la documentation d'intégration (poki.bot) décrit bien la surface exposée à Claude Code et Codex : lecture d'écran via l'arbre d'accessibilité, touch, saisie de texte, exécution en batch, enregistrement vidéo.

Pour les développeurs, les cas d'usage restent excellents : vérifier un build mobile sur du matériel réel, enchaßner des batches d'interactions UI multi-écrans en un seul appel d'outil, capturer une vidéo pour un bug report. Si vous pratiquez déjà le code mode dans Claude Code pour chaßner vos appels d'outils, l'iPhone devient simplement un outil de plus dans la liste.


L'installation : un cĂąble USB et une phrase suffisent

Oui, l'installation tient en une instruction : dites à Claude Code ou Codex « Install Poki on my iPhone », iPhone branché en USB, et l'agent d'installation gÚre le reste.

L'opération ne se fait qu'une fois, depuis un Mac ou un PC Windows. Ensuite, Poki vit sa vie sur l'iPhone, sans ordinateur. Les prérequis, détaillés dans le guide officiel :

  • un iPhone XS/XR/SE 2e gĂ©nĂ©ration ou plus rĂ©cent, sous iOS 18 minimum (iOS 27 testĂ©) ;
  • un Mac sous macOS 14+, ou un PC Windows x64 avec Apple Devices/iTunes ;
  • Node.js 24+ pour l'agent d'installation cĂŽtĂ© Mac ;
  • un cĂąble USB et un simple compte Apple gratuit ;
  • une app VPN sur l'iPhone routant 10.7.0.1 vers l'appareil — LocalDevVPN fait l'affaire gratuitement, Karing ou Shadowrocket aussi.

Point de friction assumĂ© : l'app est signĂ©e 7 jours via un compte Apple gratuit, et il faut renouveler la signature — depuis Poki Setup ou depuis l'app elle-mĂȘme. C'est le prix de la vie hors App Store : zĂ©ro commission Apple, mais un rituel hebdomadaire.

Mon avis : ce rituel disqualifie Poki pour le grand public, et c'est trÚs bien comme ça, pour l'instant. Si vous voulez comprendre les mécaniques que Claude Code manipule pendant cette phase, notre guide comment créer un agent IA détaille ces boucles perception-action.


Vos clés, vos modÚles : le BYOK débarque sur iOS

Poki n'embarque aucun modĂšle et n'en revend aucun : il se branche sur vos comptes — connexion ChatGPT Plus/Pro, ou clĂ© API Anthropic, OpenAI, Gemini, DeepSeek, OpenRouter, OpenCode Go, ou n'importe quel serveur OpenAI-compatible.

Ce choix change tout, Ă©conomiquement. Pas d'abonnement intermĂ©diaire, pas de marge sur vos tokens, pas de moteur imposĂ©. Vous payez votre consommation chez le fournisseur de votre choix — ou pas du tout, si vous auto-hĂ©bergez.

Et pour un agent qui doit lire des écrans et enchaßner des étapes, la qualité du modÚle n'est pas un détail. Les derniers classements agentic (juin 2025) donnent le ton :

ModĂšle Score agentic (juin 2025) AccĂšs depuis Poki
GPT-5.5 (OpenAI) 98,2 Clé API ou connexion ChatGPT Plus/Pro
Gemini 3 Pro Deep Think (Google) 95,4 Clé API Gemini
Claude Opus 4.7 Adaptive (Anthropic) 94,3 Clé API Anthropic
Kimi K2.6 (Moonshot AI, self-host) 88,1 Serveur OpenAI-compatible
GLM-5 Reasoning (Z.AI, self-host) 82 Serveur OpenAI-compatible

Les options self-host mĂ©ritent le dĂ©tour : Ollama expose une API compatible OpenAI, donc branchĂ©e en deux minutes — notre guide sur les agents IA open source avec Ollama dĂ©taille la marche Ă  suivre. GLM-5 Reasoning ou Kimi K2.6 tiennent sur un simple VPS : un Hostinger Ă  partir de quelques dollars par mois (novembre 2026, vĂ©rifiez sur hostinger.com) suffit largement.

Pour trancher entre ces moteurs, notre comparatif des meilleurs LLM pour les agents IA reste la meilleure porte d'entrĂ©e. Mon conseil : commencez avec un modĂšle de tĂȘte (GPT-5.5 ou Claude Opus 4.7 Adaptive), puis descendez en gamme une fois vos scĂ©narios stabilisĂ©s.


Paiements, suppressions, Wallet : lĂ  oĂč Poki s'arrĂȘte net

Devant une action sensible — payer, supprimer, toucher au Wallet — Poki se met en pause et attend votre approbation. Le Wallet, lui, est toujours confirmĂ©, sans exception.

Les niveaux d'approbation se configurent dans les réglages. Et la transparence n'est pas un slogan : chaque étape s'affiche dans la Dynamic Island et sur l'écran verrouillé. Vous voyez l'agent agir, étape par étape, et vous pouvez interrompre à tout moment.

Ce sont les bons défauts. Beaucoup d'agents enchaßnent cinquante actions puis vous présentent un résumé post-mortem ; Poki vous consulte avant que le dégùt soit possible. J'espÚre que ce comportement par défaut deviendra une norme du secteur.

Reste la vraie question de confidentialitĂ©, que le projet documente honnĂȘtement : le contenu de l'Ă©cran est envoyĂ© au service de modĂšle choisi. Si Poki ouvre votre appli bancaire pendant qu'il tourne sur une clĂ© API cloud, ces Ă©crans partent chez ce fournisseur. Deux parades : un endpoint auto-hĂ©bergĂ©, ou une politique stricte d'approbation au cas par cas.


Le mĂȘme jour, Google rĂ©pond avec Duplex dans Tasks

Le 20 novembre 2026, Google a officialisĂ© l'intĂ©gration de Duplex directement dans Tasks, au cƓur de l'app Gemini : un agent cloud propriĂ©taire qui appelle des commerces Ă  votre place. L'exact contre-pied de Poki.

Le fonctionnement, dĂ©taillĂ© par AI Understanding : Duplex appelle des commerces depuis Tasks, et chaque appel s'annonce comme un systĂšme automatisĂ© appelant de la part de Google. Le commerçant peut refuser ces appels, via son Google Business Profile ou en plein conversation. CĂŽtĂ© moteur, Duplex repose dĂ©sormais sur Gemini 4 (Hydrogen et Neon) — comprĂ©hension multimodale, planification, synthĂšse vocale basse latence — qui remplacent les anciens modĂšles Ă©troits, spĂ©cialisĂ©s par tĂąche.

Tasks ne se limite plus aux appels : analyse de factures, paiements via l'Agent Payments Protocol, coordination par email et RCS. Et selon TechCrunch (17 novembre 2026), l'ensemble est ouvert gratuitement Ă  des centaines de millions d'utilisateurs sur Gemini 4 Hydrogen : appels, rĂ©servations, Google Pay, navigation sur des sites web. Huit mois auront suffi : Gemini Spark en mai pour les testeurs, Task Mode, puis ouverture gĂ©nĂ©rale — une dĂ©cennie que Google Research a racontĂ©e le 20 novembre.

CritĂšre Poki Duplex dans Tasks (Gemini)
OĂč tourne l'agent Sur l'iPhone, en local Dans le cloud Google
Code Open source (AGPL-3.0-only) Propriétaire
ModĂšle Le vĂŽtre (BYOK ou self-host) Gemini 4 Hydrogen et Neon
PérimÚtre Toutes vos apps iOS Appels, RDV, paiements, email/RCS
Prix Gratuit + votre consommation API Gratuit (novembre 2026)
Transparence Chaque étape à l'écran, pause avant actions sensibles Appels annoncés comme automatisés, opt-out commerçant
Public visé Utilisateurs techniques Centaines de millions d'utilisateurs

Soyons justes : l'annonce « cet appel est automatisé » est une bonne pratique de Google, et l'ouverture gratuite change l'échelle du marché. Mais les modÚles de confiance sont incompatibles. Avec Duplex, vous confiez le contexte à un tiers qui monétise tout un écosystÚme. Avec Poki, rien ne sort de votre téléphone, sauf ce que vous décidez d'envoyer au modÚle choisi.

Cette fracture ne concerne d'ailleurs pas que ces deux-lĂ . Notre panorama des meilleurs agents IA autonomes trace la mĂȘme ligne open/cloud, et des initiatives comme Poppy 10, le protocole d'agent personnel qui s'installe sur tous les Shopify du monde prĂ©parent dĂ©jĂ  l'interopĂ©rabilitĂ© entre agents personnels.


Les limites, sans langue de bois

Poki est une beta de deux semaines, vérifiée physiquement dans un cadre étroit : interface chinoise, mode portrait, iPhone physique sous iOS 27.

Le projet liste lui-mĂȘme ses limites, et c'est assez rare pour ĂȘtre saluĂ© :

  • le contenu d'Ă©cran part vers le service de modĂšle choisi (voir plus haut) ;
  • le support physique n'est vĂ©rifiĂ© qu'en interface chinoise et en mode portrait ;
  • aucun test sur iOS infĂ©rieur Ă  27 ni sur iPad — mĂȘme si le prĂ©requis officiel descend Ă  iOS 18 ;
  • un rythme de releases effrĂ©nĂ© (v0.1.0 le 5 novembre, v0.4.0 beta 1 le 13), synonyme de qualitĂ© variable d'une semaine Ă  l'autre.

La fragilité structurelle des agents « à l'écran »

Le vrai risque n'est pas dans la beta, il est dans l'approche : chaque mise Ă  jour d'iOS ou de vos apps peut dĂ©placer un bouton, renommer un libellĂ©, casser un enchaĂźnement. L'arbre d'accessibilitĂ© amortit ces chocs, il ne les supprime pas. Les agents adossĂ©s Ă  des API officielles restent plus stables — mais ces API n'existent pas pour tout.

L'open source agentique ne se résume d'ailleurs pas à l'écran : DeerFlow de ByteDance : l'agent open-source qui recherche, code et crée sur le long terme explore un tout autre chemin, celui des missions longues et documentées. Les deux approches finiront par se croiser.


Pour qui, pour quoi : les usages qui justifient déjà le détour

Aujourd'hui, Poki vise deux publics : les développeurs mobiles et les power users capables de vivre avec une beta hebdomadaire.

Pour les développeurs, la valeur est déjà là : vérifier un build sur du vrai matériel, enchaßner des scénarios UI multi-écrans en un appel d'outil, générer des captures vidéo pour les bug reports. Rien que ce périmÚtre justifie l'existence du projet.

Pour les utilisateurs avancĂ©s, ce sont les tĂąches rĂ©pĂ©titives multi-apps : copier une donnĂ©e d'une app vers une autre, remplir des formulaires, vĂ©rifier cinq applis dans l'ordre. Dans la mĂȘme vague open source, OpenHuman : l'agent IA open source qui connaĂźt votre vie avant mĂȘme de lui parler construit le contexte personnel ; Poki fournit les mains. Les deux se complĂštent plus qu'ils ne concurrencent.

Et si votre besoin penche vers les missions de longue haleine — recherche, code, projets qui s'Ă©talent sur des jours —, DeerFlow de ByteDance reste la rĂ©fĂ©rence open source du genre.

En revanche, trois profils doivent passer leur tour : ceux qui ne veulent pas brancher un cùble USB un samedi aprÚs-midi, ceux qui refusent d'envoyer leurs écrans à un fournisseur cloud, et ceux qui ne tolÚrent aucune rupture de service. Pour eux, attendre six mois sera plus rationnel.


❌ Erreurs courantes

Erreur 1 : croire que « open source » signifie « rien ne quitte le téléphone »

Le code est ouvert, pas le flux : le contenu de l'écran part vers le service de modÚle que vous avez configuré. La solution : un endpoint auto-hébergé pour les usages sensibles, et une approbation au cas par cas pour tout le reste.

Erreur 2 : se lancer sans vérifier les prérequis

Un iPhone trop ancien ne passera pas : il faut XS/XR/SE 2 au minimum, iOS 18+, un Mac sous macOS 14+ ou un PC Windows x64, Node.js 24+, et une app VPN pour la phase d'installation. La solution tient en un lien : suivez le guide officiel du projet, pas un tuteur YouTube.

Erreur 3 : désactiver les approbations pour gagner trois secondes

Les confirmations sur paiements, suppressions et Wallet existent parce qu'un agent se trompe parfois — et qu'un tap erronĂ© coĂ»te plus cher qu'une notification ignorĂ©e. Gardez les rĂ©glages par dĂ©faut tant que vous n'avez pas observĂ© l'agent sur des dizaines de tĂąches banales.

Erreur 4 : confondre le Poki MCP historique et l'app standalone

L'ancien Poki MCP, qui reliait un agent sur ordinateur à un iPhone ou un simulateur, n'est plus maintenu. Si vous suivez un tutoriel daté, vous installerez un projet mort. Visez la release actuelle (app-0.4.0-beta.1, 13 novembre 2026) et l'app standalone.


❓ Questions frĂ©quentes

Réponses courtes, sans détour.

Poki est-il vraiment gratuit ?

Le logiciel, oui : open source sous licence AGPL-3.0-only, sans abonnement cÎté Poki. Mais l'agent consomme des tokens : connexion ChatGPT Plus/Pro ou facturation API selon le fournisseur choisi. En self-host (GLM-5, Kimi K2.6), vous ne payez que l'infrastructure. Comptez le coût du modÚle, pas celui de l'agent.

Faut-il jailbreaker son iPhone ?

Non, et c'est le point technique clé du projet. Poki lit l'arbre d'accessibilité du systÚme et envoie des événements tactiles natifs, sans jailbreak ni matériel externe. ContrÎle natif sur iOS 27+, session XCTest sur iOS 18-26. La contrepartie : une signature de 7 jours à renouveler, via un compte Apple gratuit.

Poki fonctionne-t-il sans ordinateur une fois installé ?

Oui. Le Mac ou le PC ne sert qu'Ă  l'installation initiale en USB, et au renouvellement Ă©ventuel de la signature — encore que Poki Setup ou l'app elle-mĂȘme puissent s'en charger. Au quotidien, l'agent se dĂ©clenche par chat, bouton Action maintenu, ou Siri et Raccourcis, directement sur le tĂ©lĂ©phone.

Quels modĂšles peut-on brancher sur Poki ?

Une connexion ChatGPT Plus/Pro, ou des clés API Anthropic, OpenAI, Gemini, DeepSeek, OpenRouter, OpenCode Go, ou tout serveur OpenAI-compatible. Pour un agent qui lit des écrans et planifie, visez le haut du classement agentic : GPT-5.5 (98,2) ou Claude Opus 4.7 Adaptive (94,3) font la différence sur les enchaßnements complexes.

Poki ou Duplex dans Gemini Tasks : que choisir ?

Deux usages d'abord : Poki pilote vos apps iOS, Duplex appelle des commerces et paie via Google Pay. Deux philosophies ensuite : local, open source et BYOK contre cloud propriétaire, gratuit et à trÚs grande échelle. Si le contrÎle prime, Poki ; si la simplicité prime, Tasks.

Mes données d'écran sont-elles envoyées à un tiers ?

Oui, vers le service de modĂšle que vous avez configurĂ© — c'est une limite documentĂ©e par le projet lui-mĂȘme. Avec un modĂšle cloud, vos Ă©crans transitent chez ce fournisseur. La seule parade complĂšte reste l'auto-hĂ©bergement d'un endpoint OpenAI-compatible sur votre propre machine ou un VPS.


✅ Conclusion

En cette fin novembre 2026, Poki et Duplex incarnent les deux futurs possibles de l'agent mobile : celui oĂč votre tĂ©lĂ©phone obĂ©it Ă  votre clĂ© API, et celui oĂč il obĂ©it au cloud de quelqu'un d'autre — une beta fragile mais libre face Ă  un service poli mais verrouillĂ©. Testez Poki depuis son dĂ©pĂŽt GitHub, et dites-nous en commentaire quelle philosophie vous convainc.