Looped Flows : une méthode de raisonnement par flots bouclés atteint 58,8% sur ARC-AGI-1
🔎 Le chaînon manquant du raisonnement récurrent
Les modèles de langage savent raisonner, mais ils le font en ligne droite. Token après token, ils avancent sans jamais revenir sur leurs pas. C'est efficace pour générer du texte, mais dramatiquement limité pour les problèmes qui exigent de la réflexion itérative.
Vous avez déjà essayé de résoudre un puzzle complexe du premier coup, sans jamais revenir en arrière ? Personne ne fonctionne comme ça. Nous tâtonnons, nous corrigeons, nous affinons. Les modèles bouclés (looped models) tentent d'imiter cette capacité, mais ils butent sur un problème fondamental : la rétropropagation ne couvre que quelques pas, rendant l'apprentissage des premières itérations quasi impossible.
Un papier publié le 10 septembre 2026 par une équipe internationale (EPFL, KAIST, University of Amsterdam, Carnegie Mellon, TU Wien/AITHYRA et Oxford) change la donne. Les Looped Flows atteignent 58,8% sur ARC-AGI-1 et 12,2% sur ARC-AGI-2, pulvérisant le précédent record de TRM (44,6% et 7,8%). Soit un gain de +14,2 points sur le premier benchmark et +4,4 points sur le second.
La clé ? Une idée d'une simplicité trompeuse : entraîner la récurrence avec des objectifs de débruitage local, transformant l'inférence en intégration de vélocité d'un flot de probabilité.
L'essentiel
- Problème résolu : Les modèles bouclés souffrent de la rétropropagation tronquée (BPTT) qui empêche l'apprentissage des premières itérations. Les Looped Flows contournent ce verrou par un alignement temporel via des niveaux de bruit décroissants.
- Mécanisme clé : L'inférence est formulée comme l'intégration de la vélocité d'un flot de probabilité paramétré par le débruiteur appris, couplé à des états récurrents. Le bruit est partagé entre les pas, créant un curriculum implicite.
- Résultats : 58,8% sur ARC-AGI-1 (vs 44,6% pour TRM) et 12,2% sur ARC-AGI-2 (vs 7,8%). SOTA parmi tous les modèles bouclés existants.
- Avantage pratique : Possibilité d'allouer plus de calcul en résolvant des problèmes plus difficiles via une grille temporelle plus fine, grâce à l'Adaptive Computation Time (ACT).
Outils recommandés
| Outil | Usage principal | Prix (septembre 2026, vérifiez sur le site) | Idéal pour |
|---|---|---|---|
| Hostinger | Hébergement de modèles et pipelines d'inférence | À partir de 2,99€/mois | Déployer des expériences de recherche et des prototypes avec des ressources GPU partagées |
| Hugging Face | Hub de modèles et datasets | Gratuit (payant pour calcul) | Héberger et partager des modèles Looped Flows |
| Weights & Biases | Suivi d'expériences et visualisation | Gratuit pour équipes académiques | Monitorer l'entraînement des modèles récurrents |
Pourquoi la rétropropagation tronquée est le talon d'Achille des modèles bouclés
Imaginez que vous appreniez à un enfant à résoudre une équation en lui montrant uniquement les deux dernières étapes, sans jamais lui expliquer comment poser le problème au départ. C'est exactement ce que fait la rétropropagation tronquée (BPTT) dans les modèles récurrents.
Les modèles bouclés comme TRM (Test-Time Reasoning Models) répètent une même couche plusieurs fois, créant un graphe de calcul profond. Pour entraîner ce graphe, la BPTT ne propage les gradients que sur un nombre limité de pas (typiquement 4 à 8). Résultat : les premières itérations de raisonnement reçoivent un signal d'apprentissage quasi nul. Le modèle apprend à bien raisonner à partir du milieu du processus, mais ne sait pas comment démarrer.
Le papier arXiv 2609.11801 identifie ce problème avec une clarté chirurgicale. Les auteurs démontrent que la BPTT crée un déséquilibre fondamental : les dernières itérations s'entraînent parfaitement, tandis que les premières stagnent. C'est comme si vous entraîniez un sprinter à accélérer en pleine course, mais jamais à partir du bloc de départ.
Les modèles comme Attractor Models tentent de résoudre ce problème par des architectures différentes, mais les Looped Flows attaquent la racine du mal : la formulation même de l'apprentissage récurrent.
Looped Flows : le débruitage comme solution au gradient vanishing
L'idée centrale
Les Looped Flows transforment le problème. Au lieu d'entraîner un modèle à raisonner directement sur des données propres, ils corrompent les données avec du bruit et apprennent au modèle à inverser cette corruption en plusieurs étapes récursives.
Voici l'intuition : si vous ajoutez du bruit à une image, puis que vous apprenez à un réseau à la débruiter progressivement, chaque étape de débruitage est localement apprenable. Le gradient ne doit pas voyager à travers 20 itérations — il reste confiné à chaque pas. Mais le partage du bruit-cible à travers les pas crée une association temporelle implicite.
Concrètement, le modèle fonctionne en deux phases :
- Forward pass : Les données d'entrée sont corrompues avec des niveaux de bruit décroissants. Le débruiteur stateful (un TRM augmenté) débruite l'état du flot ET met à jour un état récurrent.
- Entraînement : Des pertes locales sont appliquées à chaque pas, avec arrêt des gradients entre les pas. Le partage bruit-cible à travers les pas fournit le signal d'association temporel.
L'alignement temporel : le secret de la sauce
Le papier introduit le concept d'alignement temporel : les niveaux de bruit diminuent progressivement et le bruit est partagé entre les pas. Cela crée un curriculum implicite — le modèle apprend d'abord à gérer du bruit important (grandes transformations), puis affine progressivement.
C'est l'équivalent d'apprendre à un sculpteur à travailler d'abord à la tronçonneuse, puis au burin, puis au papier de verre. Chaque étape est indépendante, mais la progression est naturelle.
L'inférence devient alors une simple intégration de la vélocité d'un flot de probabilité. Le modèle paramétrise le champ de vélocité d'un flot continu, et l'inférence consiste à intégrer ce flot du bruit vers les données propres. Pas besoin de rétropropagation à l'inférence — le modèle avance pas à pas, chaque pas étant une prédiction de débruitage local.
Résultats : une avancée mesurable sur ARC-AGI
Les chiffres qui parlent
| Modèle | ARC-AGI-1 | ARC-AGI-2 | Gain vs baseline |
|---|---|---|---|
| TRM (précédent SOTA bouclé) | 44,6% | 7,8% | — |
| Looped Flows | 58,8% | 12,2% | +14,2 pts / +4,4 pts |
| DRM (Denoising Recursion Models) | — | 24,9% (ARC2-Eval) | Complémentaire |
Les 58,8% sur ARC-AGI-1 représentent un bond de 14,2 points par rapport au précédent record des modèles bouclés. Sur ARC-AGI-2, réputé plus difficile, le gain est de 4,4 points. Pour contextualiser : ARC-AGI-2 a été conçu pour être quasi impossible pour les modèles purement statistiques, et chaque point de progression y est arraché de haute lutte.
L'Adaptive Computation Time en action
Un détail technique qui change tout : les Looped Flows utilisent l'Adaptive Computation Time (ACT). Concrètement, le modèle peut ignorer les pas après saturation. Si le problème est simple, il s'arrête tôt. S'il est complexe, il continue à intégrer le flot sur une grille temporelle plus fine.
C'est exactement ce que fait un humain face à un problème difficile : il y consacre plus de temps. Les modèles traditionnels allouent le même budget de calcul à chaque problème, qu'il soit trivial ou complexe. Les Looped Flows adaptent dynamiquement leur effort.
L'auteur principal Ayhan Suleymanzade le résume parfaitement sur bittide.ai : « L'approche permet de résoudre des problèmes plus difficiles en allouant plus de calcul via une grille temporelle plus fine. »
Connexions avec les architectures existantes
DRM : une approche complémentaire
Le papier arXiv 2604.18839 sur les Denoising Recursion Models (DRM) propose une idée similaire — corrompre les données avec du bruit puis entraîner le modèle à inverser la corruption. Les DRM atteignent 24,9% sur ARC2-Eval, surpassant TRM.
La différence subtile mais importante : là où DRM utilise la corruption diffusion pour initialiser, les Looped Flows utilisent un flot de probabilité continu avec intégration. Les deux approches sont complémentaires et pourraient fusionner dans une future architecture hybride.
Le contexte ARC Prize 2025
Le rapport technique officiel du ARC Prize 2025 (arXiv 2601.10904) identifie les refinement loops comme le thème central des progrès de l'année. Les quatre labos frontières (Anthropic, Google DeepMind, OpenAI, xAI) reportent tous leurs performances ARC-AGI via des mécanismes de boucles de raffinement.
Les Looped Flows s'inscrivent dans cette tendance, mais avec une élégance théorique supplémentaire. Au lieu d'ajouter des boucles ad-hoc, ils reformulent le problème d'apprentissage pour que les boucles émergent naturellement.
❌ Erreurs courantes
Erreur 1 : Croire que plus d'itérations = meilleur raisonnement
Beaucoup pensent qu'augmenter le nombre de boucles améliore automatiquement les performances. C'est faux. Sans un mécanisme d'apprentissage qui propage correctement l'information à travers les itérations, ajouter des boucles ne fait que diluer le gradient et stabiliser le modèle dans des minima locaux médiocres.
La solution : Utiliser l'Adaptive Computation Time et des pertes locales comme dans les Looped Flows. Le nombre d'itérations doit être une variable apprise, pas un hyperparamètre fixé arbitrairement.
Erreur 2 : Ignorer l'alignement temporel
Entraîner chaque itération indépendamment sans partager le signal entre les pas est une erreur classique. Les Looped Flows montrent que le partage bruit-cible à travers les pas est crucial pour créer une association temporelle.
La solution : Implémenter un curriculum de bruit décroissant où chaque niveau de bruit est partagé entre les pas adjacents. C'est ce qui permet aux premières itérations d'apprendre efficacement.
Erreur 3 : Confondre Looped Flows avec du simple dropout ou du bruit d'entraînement
Le bruit dans les Looped Flows n'est pas une technique de régularisation. C'est un composant structurel de l'architecture qui permet de reformuler le problème d'apprentissage. Le confondre avec du dropout ou du bruit gaussien standard mène à des implémentations incorrectes.
La solution : Comprendre que le bruit est ici un outil de modélisation du flot de probabilité, pas un artifice de régularisation. La corruption et le débruitage sont au cœur de la dynamique d'apprentissage.
❓ Questions fréquentes
Qu'est-ce qui différencie les Looped Flows des modèles récurrents classiques comme les RNN ou les LSTM ?
Les RNN/LSTM souffrent du vanishing gradient sur de longues séquences. Les Looped Flows contournent ce problème en utilisant des pertes locales avec arrêt des gradients entre les pas. Le partage bruit-cible à travers les pas fournit le signal d'association temporel sans nécessiter de rétropropagation profonde. C'est une différence fondamentale dans la formulation de l'apprentissage.
Peut-on appliquer les Looped Flows à d'autres domaines que ARC-AGI ?
Oui, et c'est probablement la contribution la plus importante. Le mécanisme de débruitage local avec flot de probabilité est générique. Il peut s'appliquer à tout problème de raisonnement itératif : résolution de problèmes mathématiques, planification, génération de code, et même des tâches de vision où l'analyse progressive d'une image est bénéfique.
Les Looped Flows remplacent-ils les Transformers ?
Non, ils les complètent. Les Looped Flows sont une méthode pour améliorer l'apprentissage des modèles bouclés, pas une architecture totalement nouvelle. Ils peuvent être implémentés comme une couche supplémentaire ou un mécanisme d'entraînement pour les modèles Transformer existants. Les Attractor Models explorent une direction complémentaire en modifiant l'architecture elle-même.
Quel est le coût computationnel des Looped Flows par rapport à TRM ?
Le papier ne fournit pas de benchmark de performance direct, mais l'Adaptive Computation Time permet d'allouer le calcul de manière adaptative. Pour les problèmes simples, le coût est inférieur à TRM. Pour les problèmes complexes, il peut être supérieur, mais avec des performances bien meilleures. Le rapport qualité-prix computationnel est favorable.
✅ Conclusion
Les Looped Flows résolvent un problème vieux de plusieurs décennies en apprentissage récurrent : comment propager efficacement l'apprentissage à travers de multiples itérations sans souffrir de l'oubli des gradients. La solution — reformuler l'apprentissage comme un débruitage local avec alignement temporel — est à la fois élégante et pratique.
Avec 58,8% sur ARC-AGI-1 et 12,2% sur ARC-AGI-2, cette méthode établit un nouveau standard pour les modèles bouclés. Mais l'impact va bien au-delà des benchmarks : elle ouvre la voie à des modèles qui raisonnent plus longtemps, plus profondément, et surtout — qui apprennent à raisonner dès la première itération.
Pour approfondir, je vous recommande de lire l'analyse détaillée sur alphaXiv et de suivre les travaux complémentaires sur les Denoising Recursion Models. Si vous souhaitez expérimenter par vous-même, Hostinger propose des configurations GPU abordables pour déployer vos premiers prototypes de modèles bouclés.
Le futur du raisonnement artificiel ne sera pas linéaire. Il sera bouclé, itératif, et — grâce aux Looped Flows — enfin entraînable.