Evolving Infra : le préprint MIT-Berkeley-Georgia Tech qui divise la latence du serving multi-agents par 4,1
🔎 Un préprint de 9 novembre qui attaque le vrai goulot d'étranglement des agents
Le 9 novembre 2026, une équipe réunissant le MIT Han Lab, UC Berkeley (Ion Stoica), Georgia Tech (Tushar Krishna), NVIDIA, OpenAI, UIUC et Georgia Tech a publié sur arXiv un préprint qui mérite votre attention : Evolving Infra, un framework open source de serving LLM spécialement conçu pour les workloads agents. Le chiffre qui fait le tour des veilleurs du secteur : jusqu'à 4,1x de réduction de la latence de bout en bout et 14x sur le P95 du time-to-first-token, face à Dynamo, le framework de production de NVIDIA lui-même.
Pourquoi maintenant ? Parce que 2026 est l'année où les charges de travail ont basculé du chatbot mono-tour vers les pipelines multi-agents : des dizaines de sous-agents, des branches asynchrones, des contextes qui vivent pendant des minutes voire des heures. Or l'infrastructure d'inférence — désagrégation prefill/decode, pools KV, éviction LRU — a été conçue pour des requêtes courtes et indépendantes. Le décalage est devenu brutal.
La thèse d'Evolving Infra tient en une phrase : arrêtez de figer l'allocation GPU et la gestion du KV cache au déploiement. Adaptez-les en runtime, à la composition réelle du workload. Et le détail qui change tout : le système le fait sans redémarrer les moteurs et sans perdre le cache déjà calculé. Comme le résume l'analyse de AI Weekly, ce n'est pas un prototype de laboratoire comparé à un strawman — c'est un head-to-head contre le serving stack de production de NVIDIA.
L'essentiel
- Evolving Infra (préprint arXiv 2611.12304, 9 novembre 2026) est un système de serving agent-adaptatif open source, publié par une équipe affiliée à Georgia Tech, UIUC, UC Berkeley, MIT, NVIDIA et OpenAI.
- Idée centrale : découpler l'allocation compute de la gestion du KV cache. Les nœuds basculent entre prefill et decode à chaud, en place, en 6,2 secondes en moyenne — plus de 100x plus court qu'un redémarrage Dynamo.
- Chiffres rapportés : latence E2E moyenne réduite de 1,15x à 4,12x, P95 TTFT réduit de 3,25x à 13,92x, throughput de 1,10x à 2,73x celui de Dynamo, et réutilisation KV perdue réduite de 81 à 95 %.
- Benchmarks : agents de coding, math et computer-use, sur GLM-5.2 et Kimi K2.6, jusqu'à 256 GPU GB300.
- Code ouvert : disponible sur github.com/mit-han-lab/EvolvingInfra, moteurs symétriques construits sur SGLang.
- À prendre avec recul : pas de chiffres de latence absolue dans l'abstract, pas de comparaison contre des stacks non-NVIDIA, et un run a raté ses SLO à cause d'un switch planner mal calé.
Outils recommandés
| Outil | Usage principal | Prix (novembre 2026) | Idéal pour |
|---|---|---|---|
| Evolving Infra | Serving agent-adaptatif, switch prefill/decode à chaud | Open source (gratuit) | Équipes qui font tourner des pipelines agents multi-étapes sur leur propre cluster |
| NVIDIA Dynamo | Serving PD désagrégé de référence, baseline de la comparaison | Open source (gratuit) | Charges stables et prévisibles, écosystème NVIDIA |
| SGLang | Moteur d'inférence haute performance, base des moteurs symétriques d'Evolving Infra | Open source (gratuit) | Servir des LLM open source comme Kimi K2.6 en self-host |
| Mooncake | Pool KV cache distribué avec transferts RDMA (approche citée par le préprint) | Open source (gratuit) | Architectures mémoire L2 partagées inter-nœuds |
Le problème n'est pas le modèle, c'est la plomberie du KV cache
Réponse directe : les gains d'Evolving Infra ne viennent pas d'un meilleur modèle, mais de la façon dont l'infrastructure gère le compute et la mémoire d'attention. Et ce goulot n'existait pas il y a deux ans.
Dans un serving PD désagrégé classique — l'architecture dominante en production — les nœuds sont séparés en deux populations : ceux qui font le prefill (traiter le prompt, remplir le KV cache) et ceux qui font le decode (générer les tokens). Le problème, c'est que ce split est figé au déploiement. Le KV cache de chaque nœud est lié à la phase de ce nœud : si vous voulez changer le ratio prefill/decode parce que votre workload a muté, il faut soit relancer le nœud, soit perdre son KV.
Or les workloads agents ne tiennent pas en place. Un pipeline d'agents enchaîne des tours de raisonnement, des appels d'outils, des sous-agents qui vivent en parallèle. La composition de la charge — ratio prefill/decode, taille des contextes, durée de vie des préfixes — change en cours de route. Un split calibré le matin par profiling offline est faux à 14h. Et contrairement au traitement parallèle multi-stream, qui parallélise au niveau du modèle, ce problème est purement systémique : c'est la file d'attente qui s'allonge.
Le pire ennemi est l'éviction LRU. Comme l'explique l'analyse technique de CASRAI, le LRU juge la valeur d'un contexte à sa récence — ce qui est catastrophique pour les agents. Un agent en pause sur un interpréteur de code, ou une branche de sous-agent asynchrone, voit son préfixe évincé pour « inactivité » alors qu'il va être réutilisé dans 30 secondes. À l'inverse, les tokens invalidés par la compaction restent en cache parce qu'ils ont été récemment accédés. Résultat : thrashing de cache, re-prefill redondants, et jusqu'à 55,5 % de cache hits potentiels perdus dans les mécanismes alternatifs de switch in-place (type Arrow) qui coupent l'accès au KV déjà caché.
C'est exactement le problème que notre article sur StreamMA addressait au niveau du protocole de raisonnement : la latence multi-agents ne se cumule pas linéairement, elle se compose. Chaque tour de queue ajoute du P95, et le P95 du pipeline est le max de tous les P95. Evolving Infra attaque le même ennemi, mais du côté de l'infrastructure.
Comment ça marche : trois designs, pas un
Réponse directe : Evolving Infra repose sur trois mécanismes complémentaires — un découplage compute/KV avec switch à chaud, un cost model agent-aware qui pilote un planner en ligne, et un KV manager distribué qui évite d'évincer ce qui va être réutilisé.
1. Découplage compute/KV : le switch en 6,2 secondes
Dans l'architecture d'Evolving Infra, les moteurs sont symétriques : chaque nœud peut faire du prefill ou du decode, et basculer de phase en place, sans redémarrage. Le KV cache n'est pas prisonnier du nœud : il vit dans un pool de host memory lisible par tous les nœuds, avec des transferts RDMA de type Mooncake. Concrètement, l'architecture mémoire est hiérarchique : L1 sur GPU, L2 en host memory (capacité 4x supérieure en tokens), pool partagé inter-nœuds.
Le chiffre clé : sur un run de 36 GB300, un switch de phase prend 6,2 secondes en moyenne — plus de 100x plus court qu'un redémarrage de nœud Dynamo. Pendant le switch, les requêtes en file du nœud qui bascule finissent ailleurs, et le KV reste lisible pendant toute l'opération. C'est la différence fondamentale avec les approches qui « coupent » pour basculer.
2. Un cost model qui comprend les agents, pas juste les tokens
Deuxième pièce : un cost model qui prédit la charge prefill/decode en tenant compte des sous-agents et du context management. Ce n'est pas un compteur de tokens entrants. Le modèle sait qu'un agent va forké trois sous-agents, que leurs contextes vont dupliquer des préfixes, que la compaction va invalider des branches.
Ce cost model sert à deux choses : le planner l'utilise pour dimensionner le split prefill/decode — et il ne bascule que si le gain de throughput prédit persiste sur la fenêtre de planification, ce qui évite que les bursts courts déclenchent des switches inutiles. Le routeur l'utilise pour placer chaque requête sur le nœud le plus pertinent, en arbitrant entre équilibrage de charge et localité de cache — l'arbitrage impossible dans les architectures où le KV est lié au nœud.
Point important, souligné par le README du repo : toute l'adaptation est purement en ligne, sans profiling offline. Vous ne calibrez rien avant le déploiement. Le système apprend la composition du workload en le servant.
3. Un KV manager agent-aware : éviction par valeur, pas par récence
Troisième pièce : l'éviction n'est plus un LRU bête. Le KV manager sait ce qu'est une branche d'agent. Il évince le KV dont plus aucune branche d'agent n'a besoin : historiques remplacés par compaction, contextes de sous-agents terminés, copies dupliquées. Et il conserve explicitement le KV qui sera réutilisé — même si ce préfixe est « inactif » depuis deux minutes parce que son agent attend un résultat d'outil.
C'est le renversement sémantique le plus intéressant du papier : la valeur d'un contexte n'est plus sa récence, mais sa futurité prévisible. Si vous avez suivi notre couverture du stockage massif des conversations de ChatGPT, vous voyez la tendance de fond : la mémoire conversationnelle devient un actif d'infrastructure à part entière, avec sa propre couche système. Evolving Infra en est la déclinaison serving.
Le tout est empaqueté avec les optimisations d'inférence classiques du Han Lab : quantisation NVFP4, KV cache FP8, speculative decoding via MTP, parallélisme tensoriel 4-way sur des nœuds 4xGB300.
Les chiffres face à Dynamo : ce que dit vraiment le benchmark
Réponse directe : les gains sont réels et mesurés sur des charges agents, mais ce sont des ratios face à Dynamo — pas des latences absolues, et pas de comparaison avec d'autres stacks.
Le benchmark couvre trois types d'agents (coding, math, computer-use) sur GLM-5.2 et Kimi K2.6, jusqu'à 256 GPU GB300. Voici la synthèse des chiffres rapportés :
| Métrique | Evolving Infra vs NVIDIA Dynamo | Détail |
|---|---|---|
| Latence E2E moyenne | 1,15x à 4,12x plus rapide | Jusqu'à 4,1x selon le workload |
| P95 TTFT | 3,25x à 13,92x plus rapide | Le gain le plus spectaculaire |
| Throughput | 1,10x à 2,73x | Sur chaque workload agentique |
| Réutilisation KV perdue | Réduite de 81 à 95 % | vs éviction classique |
| Coût d'un switch de phase | 6,2 s (36 GB300) | >100x plus court qu'un redémarrage |
Le run le plus parlant est le workload en mutation : une charge qui passe du math au computer-use en cours de run. Résultat : latence E2E moyenne de 38,7 s contre 83,1 s pour Dynamo et 51,5 s pour le meilleur split statique — soit 2,15x et 1,33x. Throughput : 2,1x celui de Dynamo, et 28 % de mieux que le meilleur split statique. Ce dernier chiffre est peut-être le plus important : même un opérateur omniscient qui connaîtrait à l'avance la charge et calibrerait le split parfait statiquement perdrait 28 % face à l'adaptation en ligne. Le problème n'est pas de trouver le bon split, c'est que le bon split n'existe pas sur la durée d'un run agentique.
Pourquoi le P95 TTFT est-il si amélioré ? Parce que dans un pipeline agentique, chaque tour attend le TTFT du tour suivant. Réduire le P95 TTFT de 14x ne rend pas un tour plus rapide : cela rend l'ensemble de la chaîne plus prévisible. En multi-agents, la latence de queue domine la latence moyenne.
Qui souffre vraiment du phase-switch overhead
Réponse directe : si vous servez des requêtes chat courtes et indépendantes, ce papier ne vous concerne presque pas. Si vous faites tourner des pipelines agents multi-étapes, il vous concerne directement.
Les équipes concernées partagent trois signatures :
Des charges hétérogènes et mutantes. Un mix coding + computer-use + math dont la proportion change selon les heures. Le split statique optimal à 9h est sous-optimal à 14h, et le coût de re-profiler + redéployer en permanence est prohibitif.
Des contextes longs et vivaces. Des agents qui gardent leur historique pendant des dizaines de tours, forkent des sous-agents, partagent des préfixes de système prompt. Plus vos préfixes sont chers à recalculer, plus l'éviction LRU vous coûte cher.
Des SLO de queue, pas de moyenne. Si vos utilisateurs jugent la latence du pipeline complet — un agent de coding qui doit rendre son diff, un agent computer-use qui doit finir sa tâche — alors chaque point de P95 TTFT se paie en fin de chaîne.
À l'inverse, un service de chatbot grand public avec des requêtes de 500 tokens et une charge stationnaire n'a presque rien à gagner : son split statique est déjà bon, et le coût d'opérer un système adaptatif n'est pas justifié. Soyez honnête sur votre profil de charge avant de réécrire votre stack serving.
Le tester : ce qui est réaliste, ce qui ne l'est pas
Réponse directe : le code est open source et clonable en cinq minutes, mais les benchmarks du papier tournent sur des GB300 — la reproductibilité fidèle demande un budget que peu d'équipes ont.
Le repo est disponible sur GitHub :
git clone https://github.com/mit-han-lab/EvolvingInfra.git
cd EvolvingInfra
pip install -e .
Les moteurs symétriques sont construits sur SGLang, donc si vous opérez déjà SGLang, la surface d'API vous sera familière. Les modèles de benchmark — GLM-5.2 et Kimi K2.6 — sont des LLM open weight, et Kimi K2.6 fait partie des modèles que nous recommandons pour le self-host dans notre guide des LLM pour agents.
Soyons lucides sur le matériel. Les chiffres du papier viennent de clusters GB300 avec jusqu'à 256 GPU. Vous ne reproduirez pas un P95 TTFT à -14x sur deux A100. En revanche, trois usages réalistes existent :
- Valider la thèse sur votre propre workload. Le repo permet de mesurer votre ratio prefill/decode réel et votre taux de réutilisation KV perdue. Si vous perdez 80 % de vos cache hits comme dans les benchmarks du papier, vous avez un problème d'architecture serving, quel que soit votre matériel.
- Pirater le KV manager. La logique d'éviction agent-aware est la partie la plus transférable : même sur un petit cluster, une éviction par valeur plutôt que par récence améliore les cache hits.
- Attendre la diffusion. Les idées d'un préprint du Han Lab finissent historiquement dans les moteurs open source grand public. SGLang et vLLM intègrent régulièrement ce type de travaux. Surveillez les release notes plutôt que de forker prématurément.
Si votre objectif est d'expérimenter les agents en local sans cluster GPU, notre guide des agents IA open source avec Ollama reste le point d'entrée réaliste — Evolving Infra résout un problème d'échelle, pas un problème de démarrage. Et si vous cherchez quels agents orchestrer une fois l'infrastructure réglée, notre comparatif des meilleurs agents IA autonomes couvre le paysage OpenClaw et AutoGPT.
Impact sur la facture d'inférence : la réutilisation KV est de l'argent
Réponse directe : réduire la latence E2E de 4x sur un workload agentique, c'est mécaniquement servir plus de requêtes par GPU — et chaque point de KV cache réutilisé est du prefill que vous ne payez pas.
Le mécanisme économique est simple. Le prefill est la partie la plus coûteuse du serving : traiter 100 000 tokens de contexte coûte bien plus de FLOPs que d'en générer 1 000. Dans un pipeline agentique où chaque sous-agent repartit d'un préfixe partagé, chaque cache hit manqué = un re-prefill complet = du compute gaspillé que vous facturez à personne. Le préprint rapporte une réutilisation KV perdue réduite de 81 à 95 % : traduit en unités vendues, c'est de la capacité GPU récupérée sans acheter un seul GPU de plus.
Ce contexte tombe au pire moment pour les budgets. Le Gartner prévoit 4 000 milliards de dollars de dépenses IA en 2027, dont une part croissante en infrastructure d'inférence. Dans ce régime, l'efficacité serving n'est pas un sujet d'ingénieur : c'est un sujet de DAF. Un framework qui divise la latence par 4 sur les charges agents, c'est potentiellement un facteur sur le nombre de GPU à provisionner pour tenir un SLO donné.
Deux nuances honnêtes. D'abord, le coût du switch : 6,2 secondes de bascule, c'est du compute en partie improductif — le planner ne bascule que si le gain prédit persiste, mais un planner mal calé coûte cher (voir plus bas). Ensuite, la complexité opérationnelle : un système adaptatif en ligne a des modes de défaillance qu'un split statique n'a pas. Vous économisez des GPU, vous payez en ingénierie de fiabilité.
Limites : ce que le préprint ne dit pas
Réponse directe : les résultats sont impressionnants mais présentés de façon favorable, et une anecdote du papier lui-même montre que le système adaptatif peut échouer là où un système statique tiendrait.
Trois réserves, dont deux viennent de l'analyse critique de AI Weekly :
Pas de latence absolue. L'abstract ne publie aucun chiffre de latence absolue, pas de breakdown par workload, et aucun chiffre contre des stacks non-NVIDIA. Les ratios 4,1x et 14x sont des ratios face à Dynamo. Si votre baseline est déjà meilleure que Dynamo, votre gain sera moindre ; si elle est pire, il sera supérieur. Les chiffres absolus du run en mutation (38,7 s de latence E2E moyenne) montrent d'ailleurs qu'on parle de pipelines agents longs, pas de requêtes interactives.
Une baseline unique et bien choisie. Comparer à Dynamo, le framework de production de NVIDIA, est le choix le plus crédible possible — mais un seul comparand, c'est un comparand. Les équipes qui opèrent du serving custom ou d'autres stacks devront refaire le test.
Le système adaptatif peut se tromper. Le papier le reconnaît lui-même : un run a raté ses SLO à 0,75 agents/min à cause d'un seul switch planner mal calé, avec une file de 120 à 275 secondes en P95 pendant 10 minutes. C'est le prix structurel de l'adaptation en ligne : le planner est un système de décision qui peut décider mal, et ses erreurs sont visibles précisément aux moments de charge critique. Un split statique ne se trompe jamais de split — il est juste toujours légèrement sous-optimal. Choisissez votre poison.
Enfin, la reproductibilité : les benchmarks reposent sur des GB300 et des moteurs quantifiés NVFP4, une configuration que peu de labos universitaires peuvent répliquer à l'identique. Les chiffres indépendants arriveront, mais pas tout de suite.
❌ Erreurs courantes
Erreur 1 : lire « 4,1x » comme un gain universel
Ce qui ne va pas : les chiffres du préprint s'appliquent aux workloads agents multi-étapes avec contextes vivaces et charges mutantes. Sur du chat mono-tour stationnaire, le gain attendu est marginal — et le coût opérationnel d'un système adaptatif ne se justifie pas. La solution : mesurez d'abord votre ratio prefill/decode réel et votre taux de cache hits perdus avant de toucher à votre serving.
Erreur 2 : confondre switch in-place et switch sans perte
Ce qui ne va pas : les mécanismes alternatifs de switch in-place (type Arrow) évitent le relaunch mais coupent l'accès au KV déjà caché — jusqu'à 55,5 % de cache hits potentiels perdus selon CASRAI. « Pas de redémarrage » ne signifie pas « pas de coût ». La solution : vérifiez que l'approche que vous évaluez préserve l'accès au KV pendant la bascule, comme le fait le pool de host memory partagé d'Evolving Infra.
Erreur 3 : garder un LRU pour l'éviction de contexte agent
Ce qui ne va pas : le LRU évince par récence, ce qui pénalise exactement les contextes agents — les branches en pause sur un outil, les sous-agents asynchrones — et conserve les tokens invalidés par compaction. La solution : si votre serving expose la politique d'éviction, remplacez-la par une éviction agent-aware qui raisonne en branches vivantes et en futurité de réutilisation, même sans adopter le framework complet.
❓ Questions fréquentes
Evolving Infra remplace-t-il Dynamo ou vLLM ?
Pas aujourd'hui. C'est un préprint de recherche avec un repo open source, dont les moteurs sont construits sur SGLang. Les idées — switch de phase à chaud, KV manager agent-aware, planner en ligne — ont de bonnes chances de migrer vers les moteurs grand public dans les mois qui suivent, comme c'est le pattern habituel pour les travaux du Han Lab.
Quels modèles sont supportés ?
Les benchmarks du préprint tournent sur GLM-5.2 et Kimi K2.6, deux modèles open weight adaptés au self-host. Le framework étant construit sur SGLang, la compatibilité suit celle de SGLang pour les modèles open weight. Aucun modèle propriétaire fermé n'est nécessaire pour reproduire l'approche.
Faut-il des GB300 pour en profiter ?
Pour reproduire les chiffres du papier, oui — les benchmarks vont jusqu'à 256 GB300. Mais la thèse (éviction agent-aware, adaptation du split en ligne) est testable sur du matériel plus modeste, et les composants logiciels comme le KV manager sont transposables indépendamment du hardware.
Quel gain attendre sur le P95 plutôt que sur la moyenne ?
C'est le gain le plus fort du papier : jusqu'à 13,92x de réduction du P95 TTFT, contre 1,15x à 4,12x sur la latence moyenne. Logique : l'adaptation en ligne écrase les queues d'attente causées par les switches et les re-prefill, qui frappent surtout les percentiles hauts — précisément ce qui détermine la latence ressentie d'un pipeline agent complet.
Le planner peut-il rendre le service moins fiable ?
Oui, et le papier le documente : un switch mal calé a fait rater les SLO d'un run à 0,75 agents/min, avec une file de 120-275 s en P95 pendant 10 minutes. C'est le compromis structurel de l'adaptation en ligne. Les garde-fous existent (le planner ne bascule que sur des gains persistants), mais la fiabilité d'un système adaptatif dépend de celle de son planner.
✅ Conclusion
Evolving Infra est le premier système serving qui traite les workloads agents comme ce qu'ils sont — des charges mutantes à contextes vivaces — plutôt que comme du chat qui déborde, et ses chiffres face à Dynamo, s'ils se confirment, vont redéfinir ce qu'on attend d'une stack d'inférence en 2027. Clonez le repo, mesurez votre taux de réutilisation KV perdue, et si vous perdez 80 % de vos cache hits comme dans le papier, vous savez ce qu'il vous reste à faire.