Sumi : le premier modèle de langage par diffusion uniforme construit from scratch — 7B paramètres, la fin de l'autorégression ?
🔎 Pourquoi juin 2026 marque un tournant pour les LLMs
Pendant cinq ans, l'industrie de l'IA s'est construite sur un seul paradigme : l'autorégression. Chaque modèle, de GPT-5.5 à Claude Opus 4.7, prédit le prochain token, un par un, de gauche à droite. C'est simple, ça marche, mais c'est fondamentalement séquentiel.
En dix jours, en juin 2026, deux bombes ont fracturé ce consensus. D'abord DiffusionGemma, le 10 juin, par Google DeepMind. Puis Sumi, le 17 juin, par l'Université Tohoku au Japon.
Deux approches radicalement différentes pour atteindre le même objectif : générer du texte par diffusion, pas par autorégression. Et Sumi apporte quelque chose que personne n'avait encore osé à cette échelle. Un modèle de langage à diffusion uniforme, pré-entraîné from scratch, sans aucun compromis architectural.
L'essentiel
- Sumi est le premier modèle de langage à diffusion uniforme (UDLM) pré-entraîné from scratch à 7B paramètres sur 1.5 billion de tokens, publié le 17 juin 2026 par l'Université Tohoku (paper arXiv).
- Contrairement aux modèles autorégressifs (GPT-5.5, Claude Opus 4.7), Sumi génère un canevas complet de tokens corrompus puis le débruite itérativement avec une attention bidirectionnelle native — pas de masque causal.
- Il se distingue de DiffusionGemma (Google, 26B MoE) car Sumi est purement diffusion depuis le premier token de pré-entraînement, pas un modèle AR converti.
- La recherche académique prouve qu'elle peut rivaliser avec les labos industriels sur l'architecture des LLMs — un signal fort après les débats autour de Meta Muse Spark.
Outils recommandés
| Outil | Usage principal | Prix (juin 2026, vérifiez sur site) | Idéal pour |
|---|---|---|---|
| Sumi-7B | Recherche, inférence diffusion | Gratuit (Apache-style) | Expérimenter l'UDLM from scratch |
| DiffusionGemma 26B | Génération texte rapide | Gratuit (Apache 2.0) | Production, 1000+ tokens/sec |
| Nemotron-Labs-Diffusion-14B | Décodage tri-mode | Gratuit (open-weights) | Benchmarks vitesse AR vs diffusion |
| Hostinger | Hébergement pour déployer des modèles | À partir de 2.99€/mois | Déploiement self-host de Sumi |
Autorégressif vs diffusion uniforme — deux philosophies opposées
L'autorégression, c'est l'approche "machine à écrire". Le modèle lit tout ce qui précède, puis devine le prochain mot. Un par un. Toujours.
La diffusion uniforme, c'est l'approche "sculpteur". Le modèle part d'un bloc de bruit — un canevas de tokens complètement corrompus — et le sculpte itérativement jusqu'à obtenir du texte cohérent. En parallèle, pas en séquence.
La différence est fondamentale. L'autorégression utilise une attention causale : chaque token ne voit que ce qui le précède. La diffusion uniforme de Sumi utilise une attention bidirectionnelle native : chaque token voit tout le contexte, dans les deux sens, à chaque étape de débruitage.
Conséquence pratique : là où un GPT-5.5 doit attendre d'avoir généré le token 50 pour commencer à réfléchir au token 51, Sumi raffine simultanément l'ensemble du texte. C'est un changement de paradigme computationnel, pas juste une optimisation.
Pourquoi l'autorégression a dominé si longtemps
L'autorégression avait un avantage écrasant : la simplicité d'entraînement. L'objectif de next-token prediction est trivial à implémenter et à mettre à l'échelle. Tout l'écosystème — données, infra, frameworks — s'est bâti autour.
La diffusion pour le texte, en revanche, posait des problèmes redoutables. La discrétisation du texte (des tokens, pas des pixels continus) rend les processus de bruitage et de débruitage beaucoup plus complexes. Jusqu'en 2025, personne n'avait trouvé la bonne formulation pour faire tenir un pré-entraînement massif.
Le vide que Sumi comble
Avant Sumi, les modèles de langage à diffusion n'étaient que des preuves de concept. Des checkpoints compute-optimaux sur des budgets de tokens minuscules, comme le souligne la revue sur Paperium.
1.5 billion de tokens à 7B paramètres, c'est la première fois qu'un UDLM atteint une échelle comparable aux LLMs autorégressifs de référence. L'Université Tohoku a prouvé que la formulation mathématique tient la route à grande échelle.
Ce qui fait la singularité de Sumi — architecture détaillée
Sumi n'est pas un modèle autorégressif maquillé en modèle diffusion. C'est la distinction la plus importante à comprendre.
Attention bidirectionnelle dès le départ
Dans un transformeur classique comme Claude Sonnet 4.6 ou GPT-5.4, le masque d'attention est triangulaire. Le token à la position i ne peut s'attacher qu'aux positions 0 à i-1. C'est un choix architectural qui encode l'ordre temporel dans la structure même du modèle.
Sumi supprime ce masque. Chaque couche d'attention voit l'intégralité du canevas à chaque étape de débruitage. Le modèle n'a jamais appris à "regarder en arrière" parce qu'il n'y a pas d'arrière ni d'avant — il y a un tout qu'il raffine.
Cela change radicalement la qualité de la représentation intermédiaire. Un modèle AR à mi-génération n'a qu'une vue partielle du texte final. Sumi, à chaque étape, a une vue globale.
Le processus de bruitage uniforme
Le "uniforme" dans UDLM est crucial. Contrairement à une diffusion gaussienne classique (utilisée en image IA), Sumi corrompt les tokens de manière uniforme : chaque token a une probabilité égale d'être remplacé par un token aléatoire du vocabulaire.
Ce choix n'est pas anodin. La discrétisation du texte rend les schémas de bruitage continus inapplicables directement. L'Université Tohoku a dû concevoir un schedule de corruption spécifique qui garantit que le processus de débruitage apprend bien la distribution linguistique sous-jacente.
7B paramètres, 1.5T tokens — les chiffres
7 milliards de paramètres, c'est la sweet spot pour la recherche ouverte en 2026. Assez grand pour des performances sérieuses, assez petit pour être reproduit par un labo académique. Les 1.5 billion de tokens placent Sumi dans la même catégorie de budget de données que les premiers LLMs compétitifs open-source.
Le modèle nécessite trust_remote_code=True dans la bibliothèque transformers de Hugging Face, ce qui indique une architecture custom qui n'est pas encore intégrée au pipeline standard. Un signe que l'écosystème doit encore s'adapter.
Sumi vs DiffusionGemma — deux chemins vers la diffusion
La comparaison est inévitable. DiffusionGemma est sorti une semaine avant Sumi, aussi en open-weights (Apache 2.0), mais avec une philosophie radicalement différente.
Deux stratégies de conception opposées
| Caractéristique | Sumi (Tohoku) | DiffusionGemma (Google) |
|---|---|---|
| Architecture | UDLM from scratch | AR converti en diffusion |
| Paramètres | 7B (dense) | 26B (MoE, 4B actifs) |
| Attention | Bidirectionnelle native | Bidirectionnelle ajoutée |
| Pré-entraînement | Objectif diffusion dès le départ | Objectif AR puis conversion |
| Licence | Code ouvert | Apache 2.0 |
| VRAM inférence | ~14-16GB estimé | 18GB documenté |
| Vitesse génération | Non communiquée précisément | 1000+ tokens/sec |
DiffusionGemma, c'est l'approche pragmatique industrielle. Google a pris un modèle autorégressif existant et l'a converti en modèle diffusion. L'étude de conversion AR vers diffusion publiée le 4 juin 2026 montre exactement cette méthode : remplacer l'attention causale par de l'attention bidirectionnelle et ré-entraîner avec un objectif de débruitage.
Sumi, c'est l'approche idéaliste académique. Rien d'autorégressif n'a jamais touché ce modèle. C'est plus pur conceptuellement, mais c'est aussi plus risqué — et potentiellement plus coûteux en compute de pré-entraînement.
Qui gagne ?
La réponse dépend de ce que vous cherchez. DiffusionGemma est immédiatement utilisable en production avec ses 1000+ tokens/seconde et son architecture MoE économe. Sumi est un banc d'essai pour comprendre si la diffusion from scratch peut surpasser la conversion AR à terme.
Mon avis : les deux sont nécessaires. DiffusionGemma valide la viabilité produit. Sumi valide la viabilité scientifique du paradigme.
NVIDIA Nemotron-Labs-Diffusion — le troisième acteur
Le paysage des LLMs diffusion ne s'arrête pas à Sumi et DiffusionGemma. NVIDIA Nemotron-Labs-Diffusion, publié le 23 mai 2026, propose une troisième voie encore différente : le tri-mode.
AR + diffusion + self-speculation dans un seul modèle
Nemotron-Labs-Diffusion-8B et -14B peuvent basculer entre trois modes de décodage simplement en changeant le pattern d'attention à l'inférence. Pas besoin de trois modèles séparés. Les gains de throughput mesurés vont de 2.7x à 3.3x par rapport à un modèle AR équivalent, et jusqu'à 6x pour le 8B.
C'est la preuve que l'industrie ne cherche pas à "tuer" l'autorégression mais à la compléter. Le tri-mode de NVIDIA reconnaît que l'AR reste meilleur sur certaines tâches, la diffusion sur d'autres, et que le meilleur modèle est celui qui sait choisir.
Où Sumi se positionne face à NVIDIA
Sumi ne fait pas de compromis. Il est 100% diffusion, 100% du temps. C'est à la fois sa force (pureté architecturale, optimisation maximale pour ce paradigme) et sa faiblesse (pas de filet de sécurité AR pour les tâches où la diffusion sous-performe).
La deep dive de dev.to sur Nemotron montre bien que le tri-mode est une approche d'ingénierie. Sumi est une approche de science fondamentale. Les deux se nourrissent.
Le module RCD — un boost pour les modèles diffusion
Un détail crucial de l'écosystème : PulseAugur signale l'apparition d'un nouveau module RCD (Random Corruption Denoising) qui améliore significativement la précision et l'efficacité des modèles diffusion pour le texte.
Ce que le RCD change concrètement
Le RCD introduit un mécanisme de corruption aléatoire plus sophistiqué que le bruitage uniforme de base. Au lieu de remplacer uniformément les tokens, il applique un pattern de corruption qui préserve davantage la structure locale du texte, rendant le débruitage plus facile à apprendre.
C'est exactement le type d'innovation qui pourrait être intégrée à Sumi dans une future version. Le modèle actuel utilise un bruitage uniforme pur — le RCD pourrait être une évolution naturelle de son schedule de corruption sans changer l'architecture fondamentale.
Implications pour l'avenir des LLMs — ce qui change vraiment
La question titulaire — "la fin de l'autorégression ?" — mérite une réponse nuancée.
Le parallélisme massif à l'inférence
C'est l'argument massue de la diffusion. Un article de fond de TeqVolt publié en juin 2026 le résume bien : les modèles diffusion proposent un parallélisme massif à l'inférence que l'AR ne pourra jamais égaler.
Quand GPT-5.5 génère 1000 tokens, il fait 1000 passes séquentielles dans le réseau. Quand Sumi génère 1000 tokens en N étapes de débruitage, chaque étape traite les 1000 positions en parallèle sur le GPU. Le speedup n'est pas linéaire (les étapes de débruitage ont un coût), mais il est structurellement favorisé par le hardware GPU qui est conçu pour le calcul parallèle.
La qualité sur les tâches structurées
Les benchmarks de Sumi suggèrent une avance notable sur les tâches où la cohérence globale du texte compte plus que la fluidité locale : résumés structurés, génération de code, tableaux, formats contraints.
C'est logique. L'attention bidirectionnelle permet au modèle de planifier la structure globale avant de raffiner les détails. Un modèle AR doit "improviser" la structure au fur et à mesure qu'il génère, ce qui le pénalise sur les formats rigides.
L'impact sur les données tabulaires
Un parallèle intéressant avec TabPFN, le premier modèle foundation pour les données tabulaires. TabPFN a montré que les architectures non-autorégressives pouvaient dominer sur des données structurées. Sumi étend cette logique au texte structuré.
Ce qui ne va pas disparaître
L'autorégression ne meurt pas. Les modèles comme Claude Opus 4.7 (score agentic 94.3) ou GPT-5.5 (score agentic 98.2) dominent le raisonnement complexe et les tâches agentic où la génération séquentielle — penser étape par étape — est un atout, pas un défaut.
Le futur le plus probable est hybride. NVIDIA l'a compris avec le tri-mode. L'AR pour le raisonnement chaîné, la diffusion pour la génération en bloc. Sumi est une brique essentielle de ce futur, pas son unique architecture.
Comment utiliser Sumi aujourd'hui
Installation et chargement
Le code est disponible sur le GitHub de Tohoku-NLP. L'installation passe par un clone du repo et un chargement custom via transformers avec trust_remote_code=True.
C'est encore un workflow de chercheur, pas de développeur produit. Il n'y a pas d'API servie, pas de intégration vLLM native, pas de quantification GGUF documentée. Si vous voulez expérimenter sérieusement, prévoyez un GPU avec au moins 16GB de VRAM et de la patience pour le setup.
Déploiement en self-host
Pour ceux qui veulent déployer Sumi ou d'autres modèles diffusion en propre, un hébergement type Hostinger avec GPU dédié ou une instance cloud équivalente est nécessaire. Le modèle n'est pas encore optimisé pour le consumer hardware.
Pour qui ?
- Chercheurs en NLP qui veulent étudier la diffusion pour le texte
- Équipes ML qui évaluent si la diffusion peut remplacer l'AR dans leurs pipelines
- Curieux qui veulent comprendre l'architecture avant qu'elle n'arrive dans les produits grand public
Ce n'est pas encore un outil pour la production. Mais les cycle de maturation s'accélèrent. DiffusionGemma est passé du paper au produit utilisable en quelques mois.
❌ Erreurs courantes
Erreur 1 : Confondre Sumi et DiffusionGemma
Ce sont deux modèles fondamentalement différents. DiffusionGemma est un modèle AR converti en diffusion. Sumi est né en diffusion. Lui attribuer les 1000 tokens/sec de DiffusionGemma est factuellement faux — les benchmarks de vitesse de Sumi ne sont pas encore publiés à ce niveau de détail.
Erreur 2 : Penser que la diffusion remplace l'AR partout
Les scores agentic de juin 2025 montrent que les modèles AR dominent le raisonnement complexe (GPT-5.5 à 98.2, Claude Opus 4.7 à 94.3). La diffusion excelle en génération parallèle et texte structuré. Ce sont des compléments, pas des substituts.
Erreur 3 : Ignorer le coût de pré-entraînement from scratch
Un UDLM from scratch coûte significativement plus en compute qu'un modèle AR de même taille, car l'objectif de débruitage est plus complexe à optimiser que le next-token prediction. L'Université Tohoku a fait un investissement considérable. Ne pas le mentionner, c'est présenter la diffusion comme une solution "gratuite" en performance, ce qui est trompeur.
Erreur 4 : Utiliser trust_remote_code=True en production sans audit
Le flag trust_remote_code=True dans transformers exécute du code arbitraire du repo Hugging Face. C'est acceptable pour de la recherche. C'est inacceptable en production sans audit complet du code custom de Sumi.
❓ Questions fréquentes
Sumi est-il vraiment le premier modèle de langage à diffusion ?
Non, mais c'est le premier UDLM pré-entraîné from scratch à l'échelle 7B/1.5T. Des modèles diffusion pour le texte existaient avant, mais seulement à petite échelle ou comme conversions de modèles AR.
Sumi peut-il remplacer GPT-5.5 ou Claude Opus 4.7 aujourd'hui ?
Non. Les modèles AR dominent encore largement le raisonnement et les tâches agentic. Sumi est un banc d'essai académique, pas un produit concurrentiel sur les benchmarks généraux actuels.
Quelle est la différence entre diffusion uniforme et diffusion gaussienne ?
La diffusion gaussienne (utilisée en image) ajoute du bruit continu aux pixels. La diffusion uniforme remplace des tokens discrets par d'autres tokens aléatoires avec une probabilité uniforme. Le texte étant discret, la formulation uniforme est plus naturelle.
Combien de VRAM faut-il pour faire tourner Sumi ?
Un modèle dense de 7B en fp16 nécessite environ 14GB de VRAM pour les poids seuls. Comptez 16-18GB avec le contexte et les buffers de débruitage. Un RTX 4090 ou un A10G suffit pour l'expérimentation.
Le module RCD est-il intégré à Sumi ?
Non. Le RCD (Random Corruption Denoising) est un module complémentaire signalé par PulseAugur en juin 2026. Sumi utilise un bruitage uniforme standard. L'intégration du RCD serait une évolution naturelle pour une future version.
✅ Conclusion
Sumi ne tuera pas l'autorégression. Mais il prouve de manière irréfutable que la diffusion pour le texte n'est plus un exercice académique de niche — c'est un paradigme viable à grande échelle, porté aussi bien par Google (DiffusionGemma) que par NVIDIA (Nemotron tri-mode) et maintenant par la recherche publique. Le code est disponible sur GitHub, le paper sur arXiv est ouvert : il n'a jamais été aussi facile de comprendre ce qui vient après le next-token prediction.