GVS5H : cinq Qwen3.8-27B orchestrés via un dossier partagé battent Claude Fable 5 à 92,4 % sur LiveCodeBench Hard
🔎 Un modèle de 27 milliards de paramètres, cinq instances, un dossier partagé — et un benchmark que Claude Fable 5 dominait
Un modèle open-weight de 27 milliards de paramètres vient de dépasser Claude Fable 5 sur les problèmes les plus durs de LiveCodeBench. Pas grâce à une nouvelle architecture, ni à un entraînement supplémentaire : grâce à un protocole d'orchestration appelé GVS5H, qui fait collaborer cinq instances fraîches du même modèle via un simple filesystem partagé.
Le résultat est spectaculaire sur le papier : 66,8 % → 92,4 % pass@1 sur les 100 derniers problèmes hard de LiveCodeBench, contre 90,4 % pour Fable 5 en référence. Et surtout, à environ 9 % du coût de la facture API d'Anthropic. Le code et le paper (arXiv 2608.26480) sont publics, la discussion fait rage sur Hacker News avec 137 points et 48 commentaires.
Mais avant de déclarer la fin des modèles géants, il faut lire les réserves — et elles sont sérieuses. Benchmark saturé depuis 2025, comparaison déséquilibrée entre un modèle harnaché et un modèle en appel unique, corrections d'évaluateur documentées en appendix B. Cet article fait le tri.
L'essentiel
- GVS5H (Zero-Shot Self-Orchestration with Ledger-Based Control) orchestre plusieurs instances du même modèle via un filesystem partagé :
/task.md,/plan.md,/tasks.json,/notes.md,/solution.py. Aucun entraînement, aucun fine-tuning. - Qwen3.8-27B passe de 66,8 % à 92,4 % pass@1 sur les 100 derniers problèmes hard de LiveCodeBench (+25,6 points, p < 2,5e-5), contre 90,4 ± 1,4 % pour Claude Fable 5 en single-pass.
- La variante Qwen3.8 Flash Next atteint 93,0 % (contre 84,2 % sans harness), à environ 9 % du coût d'un passage Fable 5.
- Les limites sont réelles : LiveCodeBench est saturé (problèmes de mai 2023 à avril 2025, contamination quasi certaine), aucun modèle concurrent récent (Astra, Sol, Fable 5.1, Opus 5.5) n'est comparé, et l'appendix B du paper documente des corrections de l'évaluateur LiveCodeBench (clés de réponses multiples).
- Les gains ne sont pas universels : certains modèles ne progressent pas, d'autres régressent (le bras Qwen3.6-35B perd de 1 à 9 points avec le reasoning désactivé).
Outils recommandés
| Outil | Usage principal | Prix (juin 2026) | Idéal pour |
|---|---|---|---|
| GVS5H (GitHub) | Scaffold d'orchestration zero-shot | Gratuit, open source | Reproduire le protocole sur vos propres modèles |
| Paper GVS5H (arXiv) | Documentation complète du protocole | Gratuit | Comprendre le scaffold et l'appendix B |
| Qwen3.8-27B (open weights) | Modèle de base auto-hébergeable | Coût GPU uniquement | Run local, bras à 51,75 $ / 100 problèmes |
| pi-zero-shot (GitHub) | Portage du scaffold sur le harness earendil-works/pi | Gratuit, open source | Intégrer GVS5H dans un stack existant |
| Hostinger | VPS pour héberger un modèle 27B et son harness | À partir de quelques euros/mois (juin 2026, vérifiez sur hostinger.com) | Tester le protocole sans louer un cluster |
Le protocole GVS5H : comment cinq instances d'un même modèle se coordonnent
GVS5H remplace le contexte massif par un dossier. Chaque instance du modèle lit et écrit dans un ensemble de fichiers qui servent de ledger : le problème, le plan courant, l'état d'avancement, les notes et la solution en cours.
Rien d'exotique techniquement. C'est précisément ce qui rend le résultat remarquable — et suspect aux yeux de certains.
Un filesystem comme mémoire partagée
Le scaffold repose sur cinq fichiers : /task.md (le problème), /plan.md (le plan de résolution), /tasks.json (la décomposition en sous-tâches), /notes.md (les observations persistantes) et /solution.py (la solution courante).
Chaque instance démarre fraîche, sans historique de conversation. Elle lit le ledger, y contribue, et rend la main. C'est le filesystem qui porte tout le contexte — d'où le terme « ledger-based control » utilisé dans le paper.
L'approche est détaillée dans le paper HTML et résumée sur daily.dev : une méthode d'orchestration sans entraînement, où plusieurs instances du même modèle se coordonnent par un filesystem partagé.
Quatre rôles, un dossier
Le protocole distingue quatre rôles, tous tenus par des instances du même modèle :
- Manager : découpe le problème, remplit
/plan.mdet/tasks.json. - Brainstorm : explore les approches avant implémentation.
- Exécution : écrit le code dans
/solution.py. - Vérificateur : exécute les tests publics et boucle les corrections dans
/notes.md.
Aucun de ces rôles n'a été entraîné. Le prompt fait tout le travail — ce qui explique pourquoi les auteurs insistent sur la reproductibilité : c'est essentiellement un prompt engineering à grande échelle, orchestré mécaniquement.
Les chiffres : 66,8 % → 92,4 %, et ce que la marge d'erreur ne dit pas
Sur les 100 derniers problèmes hard de LiveCodeBench, le gain du bras Qwen3.8-27B est de +25,6 points, avec une significativité statistique annoncée (p < 2,5e-5). Fable 5 sert de référence à 90,4 ± 1,4.
Le tableau des gains
Les résultats publiés dans le paper, modèle par modèle :
| Modèle | Sans GVS5H | Avec GVS5H | Gain |
|---|---|---|---|
| Qwen3.8-27B | 66,8 % | 92,4 % | +25,6 |
| Qwen3.8-Flash-Next | 84,2 % | 93,0 % | +8,8 |
| DeepSeek-V4.1-Flash | 88,4 % | 92,0 % | +3,6 |
| GPT-5.6-Terra | 80,8 % | 88,0 % | +7,2 |
| GPT-5.6-Luna | 70,4 % | 81,2 % | +10,8 |
| Claude Fable 5 (référence) | — | 90,4 ± 1,4 | — |
Deux points méritent votre attention. D'abord, l'hétérogénéité des gains : certains modèles ne bougent pas, d'autres régressent — le paper documente un bras Qwen3.6-35B qui perd de 1 à 9 points avec le reasoning désactivé. GVS5H n'est pas une potion magique universelle.
Ensuite, la borne de confiance à 95 % : elle laisse ouvert un déficit de 0,8 point de Qwen3.8-27B harnaché par rapport à Fable 5. Le titre « bat Fable 5 » est donc légèrement plus fort que ce que les statistiques garantissent strictement.
Le coût : 9 % de la facture de Fable 5, sauf si…
Les chiffres économiques du PDF du paper sont nuancés :
- GPT-5.6-Terra avec manager : 11,71 USD pour un passage des 100 problèmes, contre 61,11 USD pour Fable 5 — soit environ 19 % du coût, pas 9 %.
- La variante Qwen3.8 Flash Next orchestré (93,0 %) atteint les ~9 % du coût de Fable 5 annoncés dans le résumé.
- Le bras Qwen-27B sur poids auto-hébergeables coûte 51,75 USD en infrastructure — compétitif, mais pas gratuit.
- Le manager triple environ la facture en tokens : le prix de la coordination, c'est de la redondance.
Autrement dit : « 9 % du coût » est vrai pour la meilleure configuration, pas pour toutes. Et faire tourner le manager multiplie les tokens consommés par trois, ce qui change le calcul si vous partez d'un modèle déjà cher.
Pourquoi les réserves comptent : benchmark saturé, boucle agentic, comparaisons manquantes
La discussion Hacker News — 137 points, 48 commentaires — a soulevé les objections qu'un lecteur sérieux doit garder en tête. Aucune n'invalide le travail, mais toutes en bornent la portée.
LiveCodeBench Hard est un benchmark saturé
Les 100 derniers problèmes couvrent la période mai 2023 – avril 2025. À cette échéance, la contamination des données d'entraînement est quasi garantie pour tous les modèles frontaliers, open ou closed. Un score de 92 % sur un benchmark vu en entraînement ne dit rien de la capacité à résoudre du code inédit en production.
Le verdict prudent de developersdigest résume bien la situation : le résultat doit être traité « comme un prompt reproductible, pas comme une preuve d'égalité ». Et de souligner une comparaison déséquilibrée : Qwen harnaché face à Fable 5 en appel unique.
Single-pass contre harness : une comparaison structurellement inégale
C'est l'objection la plus fondamentale. GVS5H donne à Qwen3.8-27B une boucle agentic complète — planification, brainstorm, exécution, vérification sur les tests publics — tandis que Fable 5 est évalué en un seul passage. Comparer les deux, c'est comparer un coureur seul à une équipe outillée.
La preuve interne en est le chiffre sur Opus-5 : 91 % en un passage avec manager — mieux que Fable 5 sans harness. Autrement dit, le scaffold profite aussi aux grands modèles. Le message réel du paper n'est pas « Qwen bat Fable » mais « le harness bat l'absence de harness », quel que soit le modèle de départ.
Pas d'Astra, pas de Sol, pas de Fable 5.1 ni d'Opus 5.5
Le paper compare 11 modèles open et closed weights, mais aucun des modèles concurrents les plus récents du moment. Impossible de savoir où se situerait un Fable 5.1 harnaché — et c'est précisément la question qui intéresserait un décideur.
Appendix B : les corrections de l'évaluateur
Détail rarement mentionné dans les relais Twitter/X mais présent dans le paper HTML : l'appendix B documente des corrections de l'évaluateur LiveCodeBench, notamment la gestion des clés de réponses multiples. Les auteurs ont corrigé des cas où des solutions valides étaient rejetées à tort.
C'est de la rigueur méthodologique — mais ça signifie aussi que les chiffres ne sont pas directement comparables aux scores LiveCodeBench publiés ailleurs sans avoir vérifié quel évaluateur a été utilisé.
Ce que ça change pour les modèles ouverts : le self-hosting devient viable pour le code
Le signal le plus important de GVS5H n'est pas le dépassement de Fable 5. C'est la démonstration qu'un modèle de 27 milliards de paramètres, exécutable sur du matériel raisonnable, peut atteindre le niveau frontalier quand il est correctement outillé.
Pour un modèle de cette taille, le calcul est simple :
- Un 27B quantifié tourne sur une workstation ou un VPS GPU modeste. Notre guide pour installer un LLM en local couvre les bases avec Ollama et LM Studio, et notre sélection des meilleurs modèles Ollama vous aidera à choisir le point de départ.
- Le bras auto-hébergé du paper coûte 51,75 USD pour 100 problèmes — l'équivalent de quelques appels API premium, en infrastructure amortissable.
- Qwen3.8-27B est servi localement avec des scores de 66,8 % à 92,4 % selon la configuration, ce qui le place dans la même ligue que des modèles frontaux sur ce benchmark.
Si vous cherchez un point de comparaison dans l'écosystème open-source pour le code, notre article sur Qwen3-Coder-Next, le 80B MoE à 3B actifs montre que la tendance « petits modèles actifs, architecture MoE » est la même chez Alibaba. Et pour choisir le bon point de départ selon votre budget, consultez notre comparatif mensuel des meilleurs LLM et notre sélection des meilleurs LLM pour coder.
La coordination remplace-t-elle l'échelle ? Notre lecture
Oui, partiellement — et c'est la thèse la plus intéressante du paper, au-delà du buzz du titre.
Ce que GVS5H démontre : une partie de la performance qu'on attribuait à l'échelle des paramètres est en réalité accessible via l'organisation du travail. Décomposer, noter, vérifier, itérer — ce sont les gestes d'un développeur senior, appliqués mécaniquement par un modèle modeste. Le filesystem partagé remplace le contexte géant, et le ledger rend la collaboration traçable.
Ce que GVS5H ne démontre pas : que cette coordination suffise sur des tâches réellement agentic — refactoring multi-fichiers, débogage dans une base de code legacy, négociation d'ambiguïtés avec un utilisateur. Les commentateurs Hacker News le notent : aucune évaluation sur un benchmark reflétant le travail agentic réel n'est fournie. La boucle agentic de GVS5H est structurée autour d'un problème isolé, pas d'un projet.
Notre position : GVS5H est un excellent outil, et un excellent signal. Il ne remplace pas un modèle frontalier, il le contourne pour une classe précise de tâches — les problèmes algorithmiques auto-vérifiables. Pour les agents déployés en production, notre guide sur les meilleurs LLM pour les agents IA reste le point de départ, car le choix du modèle y dépend de critères que GVS5H ne teste pas : mémoire longue, outils, fiabilité multi-tours.
Et si votre priorité est le rapport performance/prix en usage direct, le bras GPT-5.6-Terra à 11,71 USD pour 100 problèmes (contre 61,11 USD pour Fable 5) montre que la voie hybride — modèle moyen + bon harness — est déjà rentable aujourd'hui.
Contexte : Fable 5, l'accès au modèle et les risques de la dépendance
Il faut replacer ce résultat dans le contexte d'Anthropic en 2026. Claude Fable 5, dont nous détaillions la disponibilité publique dans notre article sur Claude Fable 5 et le modèle Mythos, reste l'une des références du codage assisté — d'où l'impact médiatique d'un modèle open-source qui le dépasse, même dans des conditions discutables.
Mais la séquence récente rappelle aussi un risque souvent ignoré : la dépendance à un unique fournisseur propriétaire. Quand le gouvernement américain a ordonné le blocage de Fable 5 et Mythos 5, Anthropic a désactivé ses modèles les plus puissants pour tous les utilisateurs — y compris les équipes qui avaient bâti leur stack dessus. Peu importe votre opinion sur la décision elle-même : un protocole comme GVS5H, qui fonctionne sur des poids auto-hébergeables, est précisément le type d'assurance contre ce scénario.
C'est aussi pour cela que la comparaison Claude vs ChatGPT et le suivi des meilleurs LLM gratuits comptent autant en 2026 : la volatilité de l'accès est devenue une variable de premier ordre dans le choix d'un modèle.
❌ Erreurs courantes
Erreur 1 : confondre le modèle et le harness
Le titre « Qwen3.8-27B bat Fable 5 » est trompeur. Ce qui bat Fable 5, c'est Qwen3.8-27B + GVS5H, c'est-à-dire un système complet avec planification, brainstorm et vérification. Qwen3.8-27B seul plafonne à 66,8 %. Si vous évaluez des modèles pour votre stack, évaluez-les dans les conditions d'usage réelles — avec votre harness, pas nu.
Erreur 2 : généraliser à partir d'un benchmark saturé
LiveCodeBench Hard (mai 2023 – avril 2025) est presque certainement contaminé pour les modèles récents. Ne concluez pas que Qwen3.8-27B + GVS5H résoudra vos problèmes de production. Cherchez des résultats sur des problèmes postérieurs aux dates de cut-off, ou testez le scaffold sur votre propre backlog de tickets.
Erreur 3 : ignorer le coût du manager
Le paper est clair : le manager triple environ la facture en tokens. Les chiffres de coût publiés (11,71 USD, 9 % du coût de Fable 5) correspondent aux meilleures configurations. Si vous partez d'un modèle coûteux et ajoutez GVS5H sans mesurer, votre facture peut exploser au lieu de baisser. Mesurez vos tokens avant d'après.
Erreur 4 : appliquer GVS5H à n'importe quel modèle
Les gains ne sont pas universels. Certains modèles ne progressent pas, d'autres régressent — le bras Qwen3.6-35B perd de 1 à 9 points avec le reasoning désactivé. Testez le protocole sur votre modèle cible avant de l'industrialiser, et comparez toujours bras harnaché contre bras nu.
❓ Questions fréquentes
GVS5H nécessite-t-il un entraînement ou du fine-tuning ?
Non, c'est le principe même du « zero-shot ». Le protocole s'appuie entièrement sur des prompts et un filesystem partagé servant de ledger. Aucun poids n'est modifié, ce qui le rend immédiatement applicable à tout modèle compatible avec un appel d'outils fichiers. C'est aussi pourquoi les auteurs le présentent comme un scaffold reproductible plutôt qu'une méthode d'entraînement.
Combien coûte un run GVS5H complet sur 100 problèmes ?
Selon le paper : 11,71 USD avec GPT-5.6-Terra, 51,75 USD pour le bras Qwen-27B auto-hébergé, contre 61,11 USD pour Fable 5. La variante Qwen3.8 Flash Next atteint environ 9 % du coût de Fable 5. Attention : le manager triple la consommation de tokens, donc le coût réel dépend fortement de la configuration choisie.
Peut-on utiliser GVS5H avec des modèles propriétaires comme Claude ou GPT ?
Oui, le paper couvre 11 modèles open et closed weights. Opus-5 atteint 91 % en un passage avec manager, et GPT-5.6-Terra passe de 80,8 % à 88,0 %. Mais les gains ne sont pas universels : certains modèles restent inchangés ou régressent. Le portage pi-zero-shot facilite l'intégration dans un harness existant.
Les résultats sont-ils fiables vu les critiques sur LiveCodeBench ?
À prendre avec prudence. Le benchmark est saturé (problèmes 2023-2025, contamination probable), la comparaison avec Fable 5 est déséquilibrée (harness contre single-pass), aucun concurrent récent n'est testé, et l'appendix B documente des corrections d'évaluateur. Les bornes à 95 % laissent ouvert un déficit de 0,8 point. C'est un résultat sérieux, pas une preuve d'égalité.
Faut-il du matériel spécifique pour faire tourner Qwen3.8-27B en local ?
Un 27B quantifié passe sur du matériel consumer ou un VPS GPU, sans cluster. Le bras auto-hébergé du paper coûte 51,75 USD pour 100 problèmes en infrastructure. Pour démarrer, suivez notre guide d'installation d'un LLM local avec Ollama ou LM Studio, puis branchez le scaffold GVS5H par-dessus.
✅ Conclusion
GVS5H ne prouve pas qu'un modèle de 27B égale Fable 5 — il prouve quelque chose de plus utile : qu'une bonne partie de la performance frontalière s'achète désormais en organisation, pas seulement en paramètres. Testez le scaffold sur vos propres tickets, mesurez vos tokens, et gardez le benchmark comme un indice, pas comme un verdict. Pour suivre l'évolution du classement, notre comparatif des meilleurs LLM pour coder est mis à jour chaque mois.