T-Rex : Panasonic et Berkeley présentent un robot bimanuel qui corrige ses gestes en temps réel via le toucher
🔎 Les robots savent voir. Ils ne savent pas toucher.
C'est le constat qui a motivé T-Rex, un système de manipulation dextre présenté le 5 novembre 2026 par Panasonic HD, développé avec UC Berkeley, NVIDIA, Stanford, l'université Sapienza de Rome et ItalAI. Son nom complet : Tactile-Reactive Dexterous Manipulation. Il sera présenté officiellement à CoRL 2026, la conférence de référence en robotique d'apprentissage, qui se tient à Austin du 9 au 12 novembre.
Le problème qu'attaque T-Rex est simple à énoncer, terrible à résoudre. Les grands modèles vision-langage-action (VLA) qui équipent les bras robotiques actuels fonctionnent à partir d'images et d'instructions textuelles. Ils planifient un geste, l'exécutent, puis regardent le résultat. Entre les deux, ils sont aveugles au contact. Or la manipulation humaine — tourner une clé, saisir un œuf sans l'écraser, extraire une feuille de papier coincée — repose précisément sur cette boucle de retour tactile en temps réel.
T-Rex intègre donc le toucher à 10 doigts directement dans la boucle de contrôle. Le résultat est mesurable : 65 % de taux de succès moyen sur 12 tâches réelles, contre 35 % pour le meilleur modèle de référence, et 42 % pour la même architecture privée du retour tactile. Ces chiffres, sourcés dans le communiqué de presse de Panasonic HD, placent T-Rex parmi les systèmes de manipulation bimanuelle les plus performants jamais publiés à ce jour.
Et surtout, l'équipe ouvre tout : le dataset de 100 heures, l'architecture, le code. Le dépôt GitHub officiel est public.
L'essentiel
- T-Rex est un VLA tactile développé par Panasonic HD avec UC Berkeley, NVIDIA, Stanford, Sapienza et ItalAI, présenté à CoRL 2026 (Austin, 9-12 novembre).
- Architecture asynchrone : un module de génération de mouvement vision-langage tourne à ~5 Hz, tandis qu'un module de correction tactile raffine les gestes à ~20 Hz — sans relancer la reconnaissance d'image.
- Résultats : 65 % de succès moyen sur 12 tâches réelles (tourner une page, manipuler un œuf, presser du dentifrice, tourner une clé, saisir une carte, visser une ampoule), contre 35 % pour le meilleur baseline et 42 % sans retour tactile.
- Données : 7 700 épisodes bimanuels (100 heures), 200+ objets, 22 actions de base, pré-entraînement sur 22 889 heures de vidéo egocentrique humaine, fine-tuning avec ~100 démonstrations par tâche.
- Ouverture : dataset de 100 h tactile-reactif public (sous-ensemble ~50 h au format LeRobot v3.0), architecture Mixture-of-Transformers sur backbone Qwen3-VL-2B documentée dans le papier arXiv.
- Cibles industrielles : insertion, retrait et vissage de composants en usine, manutention d'objets mous ou fragiles en logistique.
Outils recommandés
| Ressource | Usage principal | Prix | Idéal pour |
|---|---|---|---|
| T-Rex — repo GitHub officiel | Code, architecture MoT, pipeline de collecte | Gratuit (open source) | Chercheurs et ingénieurs en manipulation robotique |
| Dataset T-Rex (100 h tactile) | Données bimanuelles HDF5+MP4+tactile, sous-ensemble LeRobot v3.0 | Gratuit | Entraînement et fine-tuning de VLA tactiles |
| Papier arXiv 2606.17055 | Détails de l'architecture et benchmark des 12 tâches | Gratuit | Comprendre le design des trois experts |
| Communiqué Panasonic HD | Résultats officiels et feuille de route industrielle | Gratuit | Contexte business et applications usine |
| Page recherche Dexmate | Détails hardware : robot Vega, mains Sharpa Wave | Gratuit | Reproduction du setup matériel |
Pourquoi le tactile est le maillon manquant de la robotique dextre
Parce que la vision seule plafonne autour de 35-42 % de succès sur les tâches de contact précises. C'est la leçon chiffrée de T-Rex, et elle est plus importante que le système lui-même.
Les VLA classiques traitent le tactile de deux façons défaillantes, comme le résume la synthèse de EE Herald : soit ils l'ignorent complètement, soit ils le traitent comme une entrée statique — un instantané capturé au début du geste, jamais mis à jour. Dans les deux cas, le robot ne peut pas détecter qu'il serre trop fort, qu'un objet glisse, ou qu'une clé n'est pas alignée avec la serrure.
Pensez à ce que vous faites en tournant une page. Vous ne planifiez pas le geste à partir d'une photo : vos doigts mesurent en permanence la résistance du papier, ajustent la pression, compensent les micro-glissements. C'est une boucle de contrôle à haute fréquence, pas une décision ponctuelle. Aucun pipeline vision-langage à 5 Hz ne peut reproduire cela en retraitant des images à chaque itération — le calcul serait prohibitif et la latence rédhibitoire.
C'est exactement le problème d'architecture que T-Rex résout, et c'est pour ça que ce travail mérite l'attention bien au-delà du laboratoire Panasonic.
Comment T-Rex fonctionne : trois experts, deux fréquences
T-Rex est une architecture Mixture-of-Transformers (MoT) asynchrone à trois experts, bâtie sur un backbone Qwen3-VL-2B. Le détail complet est dans le papier arXiv, mais la logique tient en trois rôles :
- L'expert latent prédit l'évolution visuelle de la scène — il anticipe ce que la caméra va voir.
- L'expert action dénoise les trajectoires de mouvement à basse fréquence, environ 5 Hz, en combinant vision et langage. C'est le "cerveau planificateur".
- L'expert tactile raffine ces trajectoires à haute fréquence, environ 20 Hz, en réutilisant le contexte visuel-langage déjà en cache. Pas de nouvelle reconnaissance d'image : le module tactile travaille en parallèle, sur des signaux de contact à 10 doigts.
Le couplage entre les deux fréquences se fait par cascaded flow matching — une technique de génération où un modèle grossier produit une trajectoire qu'un modèle plus fin raffine. L'encodeur tactile est un VQ-VAE temporel, qui compresse les séquences de capteurs de pression en représentations discrètes exploitables par le transformer.
Le choix du backbone Qwen3-VL-2B est significatif
L'équipe n'a pas entraîné un modèle géant from scratch. Elle est partie d'un VLM compact de 2 milliards de paramètres et a ajouté les experts spécialisés autour. C'est une tendance claire de la robotique 2026 : la performance vient de l'architecture de contrôle et des données, pas de la taille brute du modèle. Le résultat — 65 % de succès — est obtenu avec un système qui tourne en temps réel sur un robot physique, pas dans une simulation.
Le hardware de collecte
Les données ont été collectées sur un robot bimanuel Vega-1 de Dexmate équipé de mains Sharpa Wave, avec des gants Manus et des trackers VIVE pour capturer les gestes humains de démonstration. Le pipeline d'enregistrement stocke en HDF5 les signaux tactiles, en MP4 les flux vidéo, avec compression sans perte — un détail technique qui compte pour quiconque veut réutiliser le dataset.
Les chiffres : 65 %, 35 %, 42 % — ce qu'ils disent vraiment
Le gain de +30 points de taux de succès est le plus important jamais rapporté sur ce benchmark de manipulation dextre. Selon le papier arXiv, T-Rex surpasse les dexterous-hand foundation models de référence de +30 % en moyenne sur les 12 tâches.
Décomposons :
| Configuration | Taux de succès moyen |
|---|---|
| T-Rex complet (vision + langage + tactile) | 65 % |
| Meilleur baseline (VLA dextre sans boucle tactile) | 35 % |
| T-Rex sans retour tactile | 42 % |
Le chiffre le plus parlant n'est pas le 65 %. C'est le 42 %. Retirez le tactile du propre système de T-Rex — même architecture, mêmes données, même entraînement — et vous perdez 23 points. Cela signifie que près de la moitié de la performance du système vient exclusivement de la boucle de correction tactile à 20 Hz. Ce n'est pas un gadget sensoriel : c'est le composant qui porte la moitié du résultat.
Les 12 tâches ont été choisies pour être honnêtes
Pas des démonstrations chorégraphiées. Le benchmark couvre quatre familles de difficultés : insertion (clé dans une serrure, carte dans un lecteur), déformation (tourner une page, presser un tube de dentifrice), contrôle de force (saisir un œuf sans le casser, visser une ampoule sans la briser) et coordination bimanuelle (les deux mains travaillant ensemble sur un même objet). Ces tâches sont notoirement difficiles pour les robots précisément parce qu'elles exigent un retour de contact continu.
Un dataset ouvert de 100 heures : l'argument sous-estimé
Le dataset T-Rex est probablement la contribution la plus durable du projet. 7 700 épisodes bimanuels, 100 heures de données tactile-reactives, 200+ objets, 22 actions de base — le tout public, avec un sous-ensemble d'environ 50 heures déjà converti au format LeRobot v3.0, le standard émergent des données robotiques ouvertes.
Pourquoi ça compte ? Parce que le goulot d'étranglement des VLA n'est plus le compute, c'est la données de contact. Il existe des millions d'heures de vidéo humaine sur Internet, mais presque rien de ce qui combine vision, langage et signaux tactiles synchronisés sur des manipulations dextres. T-Rex apporte exactement cette combinaison.
La recette d'entraînement est reproductible
Le pipeline est documenté : pré-entraînement sur 22 889 heures de vidéo egocentrique humaine (pour apprendre la structure des gestes humains), puis fine-tuning sur les données tactile-reactives collectées sur le robot, avec environ 100 démonstrations par tâche pour adapter le système à une nouvelle compétence. Cent démonstrations, c'est un ordre de grandeur raisonnable pour une équipe industrielle qui veut spécialiser un robot sur une opération d'assemblage précise.
Ce n'est pas anodin. Si 100 démos suffisent pour une nouvelle tâche, le coût de déploiement industriel devient calculable — et donc finançable.
Applications industrielles : là où Panasonic veut encaisser
Panasonic vise explicitement l'usine et la logistique, pas le robot domestique. Le communiqué cite deux familles de cas d'usage : l'insertion, le retrait et le vissage de composants en environnement manufacturier, et la manutention d'objets mous ou fragiles en logistique.
C'est un choix stratégique cohérent. Les tâches d'insertion et de vissage sont le talon d'Achille de l'automatisation depuis trente ans : les bras industriels classiques gèrent des gestes répétitifs dans des environnements structurés, mais échouent dès qu'il faut sentir un embout s'engager dans une vis. Un système qui réussit 65 % du temps sur des tâches de ce type, avec une marge de progression claire (plus de données, plus de tâches), devient économiquement intéressant bien avant d'atteindre des taux humains.
La manutention d'objets fragiles — denrées, composants électroniques, produits pharmaceutiques — est le second marché. Là encore, le tactile est la réponse : un robot qui mesure la pression qu'il exerce peut manipuler un fruit ou un flacon sans écrasement, ce qu'aucun gripper à trajectoire programmée ne sait faire de façon fiable.
Cette trajectoire vers le déploiement industriel s'inscrit dans une tendance plus large que j'ai couverte ailleurs : Xiaomi met ses humanoïdes à l'épreuve avec 8 heures de tri de pièces auto en usine, preuve que les grands industriels testent désormais des robots polyvalents dans des flux de production réels, pas seulement en vitrine.
Ce que T-Rex ne résout pas
T-Rex est une avancée de manipulation, pas une avancée de cognition. Il faut être précis sur les limites, parce que la couverture presse des systèmes robotiques a tendance à gonfler les promesses.
Première limite : le taux de succès de 65 % reste loin d'un opérateur humain, qui approche les 99 % sur ces tâches. Un robot qui échoue une fois sur trois sur l'extraction d'une feuille de papier n'est pas déployable tel quel sur une ligne de production sans supervision.
Deuxième limite : le système est entraîné sur 22 actions de base et 200 objets. La généralisation à des objets et des gestes totalement nouveaux hors de cette distribution reste une question ouverte — le papier rapporte des résultats sur son propre benchmark, pas sur une évaluation universelle.
Troisième limite : le hardware. Le setup repose sur un robot Vega-1 avec mains Sharpa Wave et gants instrumentés pour la collecte. Reproduire les résultats exige un matériel spécifique et des capteurs tactiles à 10 doigts, qui ne sont pas encore des composants standard de l'industrie.
Enfin, T-Rex ne dit rien de la mobilité ni de la perception d'environnement global. C'est un système de manipulation sur poste. Pour un robot mobile bimanuel complet, il faut regarder ailleurs — par exemple NYU publie Mabel, un robot bimanuel mobile à 56 degrés de liberté pour 8 056 dollars, qui attaque le problème sous l'angle de la plateforme physique low-cost plutôt que de la boucle sensorielle.
T-Rex dans le paysage : complémentaire, pas concurrent
T-Rex occupe une case précise : la boucle sensorielle de manipulation dextre. Il ne concurrence pas directement les autres chantiers de la robotique 2026, il s'y empile.
D'un côté, les plateformes physiques progressent : Mabel de NYU rend le hardware bimanuel mobile accessible, les tests industriels de Xiaomi montrent que les humanoïdes tiennent des cadences d'usine. De l'autre, les interfaces de commande progressent : les modèles voix temps réel comme GPT-Realtime-2 d'OpenAI et Gemini 3.8 Live de Google rendent naturelle l'instruction vocale d'un robot — raisonnement en arrière-plan et exécution d'outils sans coupure de conversation. Et sur le front de la simulation et de la génération d'environnements, AlayaWorld ouvre la voie à des mondes générés en temps réel qui pourraient servir de terrain d'entraînement synthétique aux politiques de manipulation.
T-Rex comble la couche manquante : le retour de contact haute fréquence qui fait la différence entre un robot qui regarde son geste et un robot qui le sent. La stack complète d'un robot d'usine compétent en 2027 ressemblera probablement à ça : un VLA tactile comme T-Rex pour les mains, une plateforme mobile pour le déplacement, une interface voix temps réel pour l'opérateur humain.
❌ Erreurs courantes
Erreur 1 : croire que le tactile remplace la vision
Le chiffre de 42 % sans tactile peut faire croire que la vision devient secondaire. C'est faux : sans le pré-entraînement sur 22 889 heures de vidéo egocentrique et l'expert latent qui prédit l'évolution visuelle, l'expert tactile n'aurait rien à corriger. Les deux modalités sont complémentaires — la vision planifie, le toucher raffine. La solution : toujours évaluer les systèmes multimodaux en retirant chaque modalité, comme le fait le benchmark T-Rex.
Erreur 2 : extrapoler le 65 % à toutes les tâches
Le 65 % est une moyenne sur 12 tâches spécifiques, avec ~100 démonstrations par tâche. Il ne se transpose pas à un objet ou un geste hors du jeu de données. La solution : pour tout déploiement, comptez les démonstrations nécessaires sur votre tâche et mesurez le taux de succès sur votre propre benchmark, pas sur celui du papier.
Erreur 3 : sous-estimer la complexité du hardware tactile
Les capteurs de contact à 10 doigts, les gants Manus de collecte et les mains Sharpa Wave ne sont pas des composants que l'on branche en une après-midi. Beaucoup d'équipes échouent à reproduire des résultats tactile-reactifs parce qu'elles négligent la qualité et la synchronisation de la capture. La solution : partir du pipeline d'enregistrement documenté dans le repo officiel — HDF5, MP4, tactile compressé sans perte — plutôt que d'improviser un format maison.
Erreur 4 : confondre "open dataset" et "prêt à l'emploi"
Le dataset est public, mais seulement ~50 h sur les 100 sont au format LeRobot v3.0. Utiliser le reste exige de traiter les fichiers HDF5 bruts et d'aligner les flux tactiles avec les vidéos. La solution : commencer par le sous-ensemble LeRobot, valider votre pipeline d'entraînement, puis étendre.
❓ Questions fréquentes
Qu'est-ce que T-Rex exactement ?
T-Rex (Tactile-Reactive Dexterous Manipulation) est un modèle vision-langage-action bimanuel qui intègre le retour tactile à 10 doigts dans sa boucle de contrôle. Développé par Panasonic HD avec UC Berkeley, NVIDIA, Stanford, Sapienza et ItalAI, il génère des mouvements à ~5 Hz et les corrige à ~20 Hz via le toucher, atteignant 65 % de succès sur 12 tâches réelles.
Pourquoi les deux fréquences (5 Hz et 20 Hz) sont-elles importantes ?
Parce qu'elles reflètent la structure réelle du geste humain : la planification visuo-motrice est lente, la correction de contact est rapide. En découplant les deux — l'expert tactile réutilise le contexte vision-langage en cache sans relancer la reconnaissance d'image — T-Rex obtient une réactivité de contact sans explosion du coût de calcul.
Le dataset T-Rex est-il vraiment accessible ?
Oui. Les 100 heures de données bimanuelles (7 700 épisodes, 200+ objets, 22 actions) sont publiées sur le dépôt GitHub officiel, avec un sous-ensemble d'environ 50 heures au format LeRobot v3.0. Les fichiers combinent HDF5 pour les signaux tactiles, MP4 pour la vidéo et compression sans perte.
Peut-on utiliser T-Rex en entreprise dès aujourd'hui ?
Pas en l'état. Le taux de succès de 65 % et la dépendance à un hardware spécifique (Vega-1, mains Sharpa Wave) en font un résultat de recherche, pas un produit. Mais la recette — 100 démonstrations par tâche, architecture ouverte, dataset public — permet à une équipe industrielle de s'en inspirer pour construire son propre système tactile-reactif.
Où sera présenté T-Rex ?
À CoRL 2026 (Conference on Robot Learning), à Austin, du 9 au 12 novembre 2026. Le papier est disponible sur arXiv (2606.17055) et le communiqué officiel de Panasonic HD est en ligne depuis le 5 novembre 2026.
✅ Conclusion
T-Rex ne rend pas les robots humains, mais il leur donne enfin le sens qui manquait : le toucher — et avec 65 % contre 35 % sur 12 tâches réelles, la preuve chiffrée que la boucle tactile à 20 Hz vaut 30 points de performance. Commencez par le dataset ouvert et le papier arXiv : c'est le meilleur point d'entrée disponible aujourd'hui dans la manipulation tactile-reactive.