Thinking Machines livre Inkling 2 Mini : 26,4 Md de paramètres, 3,4 Md actifs, et des couches du milieu qui bouclent 3 fois par token
🔎 Ce qui change aujourd'hui
Thinking Machines tenait parole. Une semaine après avoir teasé Inkling 2 Small sous licence Apache 2.0, le laboratoire livre Inkling 2 Mini : 26,4 milliards de paramètres totaux, 3,4 milliards actifs par token, et une architecture looped transformer qui fait boucler les deux blocs du milieu (couches 6 à 17) trois fois par token. Résultat : 5,4 milliards d'activations effectives, une empreinte mémoire de ~20 Go en NVFP4, et des scores qui en font le leader des modèles open-weights sous 100B sur DeepSWE v1.1 (48,2 %) et Vals Index v2.2 (46,5 %). Les poids sont ouverts sur Hugging Face, vLLM assure le support jour-0, et un modèle compagnon à passes variables (TML-d24-varloop-research) accompagne la sortie pour la recherche. C'est la première fois qu'une architecture à boucles temporelles atteint cette maturité en production open-weight.
L'essentiel
- Architecture inédite : 24 couches stockées, 48 applications par token grâce au bouclage des couches 6-17 (trois passes avec poids partagés).
- Coût d'inférence divisé : la version non-bouclée coûtait 7,5 % moins cher à l'entraînement mais nécessitait 140 % de compute d'inférence en plus pour égaler la loss sur traces agentiques 512k tokens.
- Déploiement local réel : quantification native NVFP4 (4 dernières couches MXFP8), ~20 Go VRAM/RAM unifiée, context window 1M tokens, nativement multimodal.
- Benchmarks : #1 open-weight <100B sur DeepSWE v1.1 (48,2 %) et Vals Index v2.2 (46,5 %), devant Gemma 4 31B, Qwen3.8-27B, Dory 1.0 4B, SenseNova-Loop-9B.
- Recherche associée : horizon temporel sans CoT passe de 16 s (1 passe) à 37 s (3 passes) ; gains plafonnés au-delà de 3 passes ; N-Hop Lookup progresse jusqu'à 10 boucles.
Outils recommandés
| Outil | Usage principal | Prix (novembre 2026) | Idéal pour |
|---|---|---|---|
| vLLM | Serveur d'inférence haute performance | Gratuit (open source) | Production locale, day-0 support Inkling 2 Mini |
| Ollama | Exécution locale simplifiée | Gratuit | Laptop, tests rapides, développement |
| LM Studio | GUI locale avec quantification | Gratuit | Non-techniciens, comparaison modèles |
| Hugging Face Hub | Poids et model card officiels | Gratuit | Téléchargement, fine-tuning, recherche |
Architecture inédite : le looping au cœur du modèle
Inkling 2 Mini n'est pas un MoE classique : c'est un looped transformer où le calcul se réutilise temporellement. Les 24 couches sont organisées en quatre blocs de six. Les deux blocs centraux (couches 6-17) s'exécutent trois fois par token avec des poids partagés. Concrètement, le modèle stocke 24 couches mais en applique 48 par token — d'où les 5,4 milliards d'activations effectives pour 3,4 milliards de paramètres actifs.
Chaque bloc de six couches comprend cinq couches à fenêtre glissante (local attention, 1024 tokens) et une couche full attention. L'attention hybride utilise 24 têtes query et 8 têtes key/value. Le routeur MoE sélectionne 8 experts sur 128 par couche, après élagage de deux tiers des 384 experts initiaux puis healing sur 1 trillion de tokens distillés d'un modèle Inkling interne.
Le mécanisme de communication entre passes est la clé. Les passes 2 et 3 lisent des « messages » du passage précédent via des gates rank-64 qui injectent l'information dans query, key, value et les entrées MoE. Chaque passe garde son propre cache KV — 48 caches KV au total pour 24 couches stockées. Les passes 2-3 partagent le même point de départ (sortie du prélude, couches 0-5) et ne communiquent qu'à travers ces messages. Le coda (couches 18-23) finalise le traitement.
Cette architecture change la donne économique : le looping n'augmente pas les connaissances stockées (fonction du nombre total de paramètres, 26,4 Md), mais il amplifie le raisonnement par token sans gonfler la mémoire modèle. Le coût d'entraînement de la version non-bouclée était 7,5 % inférieur, mais elle demandait 140 % de compute d'inférence supplémentaire pour atteindre la même loss sur des traces agentiques de 512k tokens. Le trade-off est net : on paie une fois à l'entraînement pour économiser massivement à l'inférence.
Source : Introducing Inkling 2 Mini - Thinking Machines Lab, Inkling 2 Mini Model Card, Welcome Inkling 2 Mini - Hugging Face Blog
Performance : leader des open-weights sous 100B
Sur les benchmarks qui comptent pour l'agentique et le raisonnement long, Inkling 2 Mini domine sa catégorie de poids. DeepSWE v1.1 (évaluation d'ingénierie logicielle réelle) : 48,2 %. Vals Index v2.2 (raisonnement complexe, multi-hop) : 46,5 %. Ces scores placent le modèle devant Gemma 4 31B, Qwen3.8-27B, Dory 1.0 4B et SenseNova-Loop-9B — tous plus lourds en paramètres actifs ou totaux.
La fiche modèle précise que le routeur MoE 8/128 après pruning/healing conserve une efficacité de routage supérieure aux MoE denses équivalents. L'attention hybride locale/globale avec fenêtre de 1024 tokens permet de gérer le contexte 1M sans explosion quadratique. La quantification native NVFP4 (MXFP8 pour les 4 dernières couches) préserve la précision là où ça compte : les couches de sortie et les passages critiques du loop.
Le modèle compagnon TML-d24-varloop-research (publié sur Hugging Face) confirme la dynamique : sans chain-of-thought, l'horizon temporel passe de 16 secondes (1 passe) à 37 secondes (3 passes). Les gains plafonnent au-delà de 3 passes, mais le benchmark N-Hop Lookup continue de progresser jusqu'à 10 boucles. Cela valide l'hypothèse : le looping étend la profondeur de raisonnement effective sans CoT explicite, ce qui change l'économie du prompting pour les tâches complexes.
Source : Introducing Inkling 2 Mini, Inkling 2 Mini Model Card, thinkingmachines/Inkling-2-Mini on HF
Rapport qualité/coût : la nouvelle référence face à Qwen4-Max et GPT-6.2 Sol
Inkling 2 Mini redéfinit le plafond de ce qu'un modèle local peut faire — et force les API propriétaires à justifier leur marge. Comparons les coûts d'inférence réels (novembre 2026) :
| Modèle | Prix input / output (par M tokens) | Type | Contexte | Particularité |
|---|---|---|---|---|
| Inkling 2 Mini (local) | ~0 $ (coût électricité/GPU only) | Open-weight, local | 1M | 20 Go VRAM, looping 3 passes |
| Qwen4-Max (QwenCloud) | 1,50 $ / 4,50 $ | API propriétaire | 1M+ | Cache input 0,075 $/M |
| GPT-6.2 Sol (OpenAI) | 2,00 $ / 10,00 $ | API propriétaire | 1M+ | 1/5e coût d'Astra |
| GPT-6.2 Astra (OpenAI) | 8,00 $ / 40,00 $ | API propriétaire | 1M+ | Flagship reasoning |
Sources : GPT-6.2 Sol and Astra pricing - Requesty, Qwen4-Max pricing - DataCamp, GPT-6.2 Sol vs Qwen4-Max - llm-stats
Qwen4-Max est ~1,8x moins cher par token (blended 3:1) que GPT-6.2 Sol, mais les runs indépendants sont mitigés : GPT-6.1 Sol reste moins cher par tâche et légèrement meilleur sur Vals ; Qwen4-Max est décrit comme lent et verbeux. Inkling 2 Mini, lui, élimine la facture API pour qui possède le hardware (RTX 3090/4090 24 Go, M2/M3 Max 32+ Go, ou tout GPU 20+ Go). Sur DeepSWE et Vals, il bat les deux en open-weight <100B.
Le calcul est simple : pour une charge de travail agentique continue (ex. 10M tokens/jour), Sol coûte ~60 $/jour, Qwen4-Max ~33 $/jour, Inkling 2 Mini 0 $ marginal. L'amortissement d'une RTX 4090 (1 600 €) se fait en ~27 jours vs Sol, ~48 jours vs Qwen4-Max. Et le modèle tourne chez vous, sans latence réseau, sans fuite de données, sans rate limit.
C'est ici que le lien vers notre analyse de Qwen4-Max : le nouveau flagship d'Alibaba débarque le jour où l'open source pèse 10 prend tout son sens : la bataille prix/performance bascule vers le local. Et notre dossier sur GPT-6.2 Astra et Sol : OpenAI franchit son propre seuil d'auto-amélioration montre que même le leader proprietary sent la pression.
Déploiement local : 20 Go, vLLM day-0, laptop-ready
La promesse « executable on a laptop » n'est pas du marketing : la quantification native NVFP4 tient la route. L'empreinte mémoire ~20 Go inclut modèle + KV cache pour contexte standard. Sur une RTX 4090 (24 Go) ou un MacBook Pro M3 Max (36/48/96 Go unifiée), le modèle tient avec marge pour du batching ou du contexte long.
vLLM assure le support jour-0 avec une implémentation dédiée : exécution en trois phases (prelude couches 0-5 → loop core 6-17 ×3 passes → coda 18-23) et un draft model DSpark 3 couches qui lit les hidden states à quatre visites de couches pour de la spéculation accélérée. Le blog vLLM détaille l'optimisation du passage de messages entre passes via les gates rank-64 — critique pour ne pas tuer le throughput.
Ollama et LM Studio suivront dans les jours (semaines) qui viennent. Pour l'instant, vLLM est le chemin de production. La commande type :
vllm serve thinkingmachines/Inkling-2-Mini --quantization nvfp4 --max-model-len 1000000
La quantification NVFP4 est native (pas de recalibrage post-entraînement), les 4 dernières couches en MXFP8 protègent la stabilité numérique en sortie. Le contexte 1M tokens est natif — pas de RoPE scaling bidouille, l'architecture hybride locale/globale le gère structurellement.
Source : Inkling 2 Mini on vLLM: Day-0 Support - vLLM Blog, Introducing Inkling 2 Mini
Recherche : le modèle variable-pass et les limites du looping
Le modèle compagnon TML-d24-varloop-research est peut-être plus important qu'Inkling 2 Mini lui-même pour la recherche. Il permet de varier le nombre de passes (1 à N) à l'inférence et d'observer l'effet sur le raisonnement. Les résultats sont nets :
- Horizon temporel sans CoT : 16 s (1 passe) → 37 s (3 passes). Le modèle « pense plus loin » sans prompt explicite.
- Plafond à 3 passes : les gains sur tâches générales s'arrêtent là. Plus de passes = plus de compute pour retour nul.
- N-Hop Lookup : continue de progresser jusqu'à 10 boucles. La récupération d'information multi-sauts bénéficie d'une profondeur de calcul arbitraire.
Cela confirme une hypothèse forte : le looping étend la profondeur de calcul séquentielle par token, pas la connaissance. Les 26,4 Md de paramètres stockent la connaissance ; les 3 passes (48 couches effectives) allouent du « temps de pensée » par token. Au-delà de 3 passes, le modèle a épuisé ce que sa capacité paramétrique peut exprimer en raisonnement séquentiel pur.
Cela a des implications directes pour l'architecture des agents : pas besoin de CoT verbeux pour du raisonnement profond si le modèle a une boucle interne. Le coût en tokens de sortie chute, la latence perçue baisse, la fiabilité monte (moins de dérive dans les longues chaînes CoT). Mais attention : le looping ne crée pas de nouvelles connaissances. Sur des tâches purement factuelles ou de rappel, 1 passe suffit. Le gain est sur le raisonnement compositionnel.
Cette recherche valide aussi l'approche de Thinking Machines : publier le modèle de production (3 passes fixes, optimisé) ET le modèle de recherche (passes variables) simultanément. La communauté peut auditer, étendre, comprendre. C'est rare et sain.
Source : Introducing Inkling 2 Mini, Welcome Inkling 2 Mini - Hugging Face Blog
❌ Erreurs courantes
Erreur 1 : Confondre paramètres actifs et activations effectives
Ce qui ne va pas : Lire « 3,4 Md actifs » et croire que le modèle est un 3,4B.
La solution : Le looping triple les activations effectives à 5,4 Md par token. C'est ce chiffre qui détermine la capacité de raisonnement par token. Le comparer à un MoE 3,4B actif sans looping sous-estime drastiquement sa puissance.
Erreur 2 : Penser que le looping augmente la connaissance
Ce qui ne va pas : S'attendre à ce que 3 passes améliorent le rappel factuel ou la couverture de domaines.
La solution : La connaissance = f(paramètres totaux = 26,4 Md). Le looping = budget de calcul séquentiel par token. Sur du pur rappel, 1 passe = 3 passes. N'utilisez les passes multiples que pour du raisonnement (coding, math, planification, N-hop).
Erreur 3 : Ignorer le coût KV cache × 48
Ce qui ne va pas : Calculer la VRAM pour 24 couches et oublier que chaque passe a son cache.
La solution : 48 caches KV au total. Pour contexte 1M, ça pèse. vLLM gère l'optimisation, mais si vous implémentez vous-même, prévoyez large. La quantification NVFP4 ne s'applique qu'aux poids, pas aux KV caches (FP16/BF16).
Erreur 4 : Croire qu'Inkling 2 Small (Apache 2.0) est déjà sorti
Ce qui ne va pas : Confondre l'annonce de la semaine dernière et la livraison d'aujourd'hui.
La solution : Inkling 2 Mini est sorti (20 nov, open weights). Inkling 2 Small (poids Apache 2.0) est promis « la semaine prochaine ». Ce sont deux modèles distincts. Voir notre article : Thinking Machines dévoile Inkling 2 Small : poids Apache 2.0 la semaine prochaine.
❓ Questions fréquentes
Inkling 2 Mini est-il vraiment open source ?
Les poids sont ouverts (open weights) sur Hugging Face. La licence n'est pas explicitement Apache 2.0 dans les sources (contrairement à Small qui le sera). Vérifiez le fichier LICENSE sur le repo HF avant usage commercial. Le code d'inférence vLLM est Apache 2.0.
Peut-on fine-tuner Inkling 2 Mini ?
Oui, les poids sont disponibles. L'architecture looped avec gates rank-64 et MoE pruné/healé demande une attention particulière : les passes 2-3 partagent les poids du core mais ont des gates distincts. LoRA sur les experts et les gates est le chemin pragmatique. Pas de guide officiel encore — attendez les retours communauté.
Quel GPU minimum pour tourner confortablement ?
20 Go VRAM/RAM unifiée pour le modèle quantifié NVFP4 + KV cache contexte standard (4k-32k). Pour contexte long (100k+), visez 24 Go+ (RTX 3090/4090, A6000, Mac M2/M3 Max 32 Go+). En dessous, offload CPU possible mais lent.
Le looping fonctionne-t-il sur tout type de tâche ?
Non. Gains massifs sur raisonnement séquentiel (coding, math, planification, N-hop QA). Nuls sur rappel factuel, classification, tâches « one-shot ». Le modèle compagnon varloop le prouve : plateau à 3 passes hors N-Hop Lookup.
vLLM est-il le seul serveur supporté day-0 ?
Pour l'instant, oui. Le blog vLLM détaille l'implémentation spécifique (prelude/loop/coda, draft model DSpark). Ollama, LM Studio, TGI suivront. Pour la production maintenant : vLLM.
Comment Inkling 2 Mini se compare-t-il à Nemotron 3 Ultra ou Llama 4 70B ?
Catégories de poids différentes. Nemotron 3 Ultra (47B actifs) et Llama 4 70B (70B denses/70B actifs) sont 10-20x plus lourds en paramètres actifs. Inkling 2 Mini vise le rapport performance/empreinte, pas le plafond absolu. Sur DeepSWE/Vals <100B, il gagne. Sur MMLU-Pro ou GPQA diamond, les 70B+ restent devant.
✅ Conclusion
Inkling 2 Mini n'est pas une itération : c'est la preuve que l'architecture looped transformer passe du papier à la production open-weight. 26,4 Md stockés, 3,4 Md actifs, 5,4 Md effectifs via 3 passes, 20 Go quantifiés, leader <100B sur benchmarks agentiques, vLLM day-0. Le looping réécrit l'équation économique : on paie du calcul séquentiel par token au lieu de paramètres toujours actifs. Pour la première fois, un modèle local bat les API proprietary sur leur terrain (raisonnement long, coding) à coût marginal zéro. La balle est dans le camp d'OpenAI, Anthropic, Alibaba : justifiez la facture.