OpenAI Jalapeño : la puce custom inference avec Broadcom qui promet -50% sur les coûts — la fin de la dépendance Nvidia pour le serving

OpenAI Jalapeño : la puce custom inference avec Broadcom qui promet -50% sur les coûts — la fin de la dépendance Nvidia pour le serving

🔎 Pourquoi OpenAI construit sa propre puce maintenant

OpenAI dépense environ 14 milliards de dollars par an en serving sur des GPUs tiers, essentiellement Nvidia. C'est la facture opérationnelle la plus lourde de l'entreprise, bien au-delà des salaires ou de la R&D. Chaque requête ChatGPT, chaque appel API, chaque token généré passe par du silicium qui ne leur appartient pas.

Le 24 juin 2026, OpenAI et Broadcom ont dévoilé Jalapeño, premier chip custom d'OpenAI conçu exclusivement pour l'inférence LLM. L'objectif affiché : diviser par deux le coût par token. Ce n'est pas un projet de recherche lointain. Un prototype sera déployé fin 2026, la production démarre en 2027, et le déploiement à pleine échelle est prévu au premier semestre 2028.

Ce timing n'est pas un hasard. La guerre de l'inférence est devenue la vraie bataille économique de l'IA. Le coût marginal d'un token détermine si un modèle peut être rentable à grande échelle. Jalapeño est la réponse d'OpenAI à cette équation.

L'essentiel

• Jalapeño est un ASIC (circuit intégré spécifique à une application) conçu par OpenAI et Broadcom pour l'inférence LLM, promettant une réduction de 50% du coût par token par rapport aux GPU Nvidia équivalents.
• Le cycle de conception a été de 9 mois seulement, un record pour un chip de cette complexité, avec TSMC à la fabrication, Broadcom au design silicon, et Celestica à l'intégration rack.
• Broadcom confirme sa position de roi des ASIC IA, déjà derrière les TPU de Google, les MTIA de Meta, et bientôt les puces de ByteDance et Apple.
• La menace sur Nvidia est bornée mais réelle : le training reste sur GPU, mais l'inférence représente la facture quotidienne et croissante.
• OpenAI a signé un engagement de 10 GW de puissance de calcul avec Microsoft d'ici 2029, dont une partie significative passera sur Jalapeño.

Outils recommandés

Jalapeño : un ASIC pensé uniquement pour l'inférence

Un ASIC n'est pas un GPU. C'est un circuit taillé pour une tâche précise, sans la flexibilité d'un GPU programmable, mais avec une efficacité énergétique et un débit largement supérieurs pour cette tâche. Jalapeño est conçu pour faire une seule chose : faire du forward pass de transformeurs, le plus vite et le moins cher possible.

D'après l'annonce officielle d'OpenAI, la puce optimise spécifiquement les opérations matricielles denses et les transferts mémoire qui dominent le serving LLM. Pas de ray tracing, pas de simulation physique, pas de backward pass pour le training. Juste l'inférence.

Cette spécialisation explique les -50% annoncés. Un GPU Nvidia H100 ou B200 consomme une fraction significative de son silicium et de sa mémoire pour des capacités dont le serving n'a pas besoin. Jalapeño élimine ce gaspillage.

CNBC rapporte que la puce cible spécifiquement les modèles de la gamme GPT-5.x et au-delà, avec une attention particulière portée aux formats de quantization basés sur FP8 et INT4.

Pourquoi pas un LPU comme Groq ?

Groq a paved la voie avec son architecture LPU (Language Processing Unit), mais avec une approche différente : un SRAM massif onboard au détriment de la capacité par puce. Jalapeño opte pour un équilibre différent, probablement avec du HBM attaché, permettant de servir des modèles plus larges sans fragmenter le batching.

La différence fondamentale : Groq vend du compute à d'autres. Jalapeño est un outil interne, optimisé pour les modèles spécifiques d'OpenAI. Cette différence de cible change tout en architecture.

14 milliards $/an : la facture qui rend la customisation inévitable

Pour comprendre Jalapeño, il faut regarder les chiffres. OpenAI sert des centaines de millions de requêtes quotidiennes à travers ChatGPT et son API. Chaque requête consomme des FLOPs, de la mémoire, de la bande passante réseau, et surtout de l'électricité.

Bloomberg souligne que la facture de serving d'OpenAI a atteint 14 milliards de dollars annuels, un chiffre qui inclut l'amortissement matériel, l'énergie, le refroidissement et l'infrastructure réseau. C'est plus que le PIB de plusieurs pays.

Même une réduction de 30% (conservatrice par rapport aux 50% annoncés) représente 4 à 7 milliards d'économies annuelles à pleine échelle. Ça justifie largement l'investissement en R&D, estimé entre 1 et 2 milliards de dollars pour le programme complet.

Le modèle économique est simple : un ASIC coûte cher à concevoir mais presque rien à produire en volume. Plus vous servez de tokens, plus le seuil de rentabilité est vite atteint. Pour OpenAI, il est dépassé depuis des mois.

Le parallèle avec la mémoire HBM

Cette dynamique rappelle ce qui se passe du côté de la mémoire. La montée en puissance du HBM4 montre que chaque composant de la chaîne d'inférence fait l'objet d'une optimisation furieuse. Jalapeño s'inscrit dans cette tendance : OpenAI veut contrôler l'ensemble de la pile, du silicium à la mémoire.

Le cycle record de 9 mois : comment c'est possible

Concevoir un chip custom prend normalement 2 à 3 ans. Nvidia, Apple, Google planifient leurs architectures sur des cycles pluriannuels. Jalapeño a été dessiné en 9 mois. Comment ?

Trois facteurs expliquent cette accélération. D'abord, Broadcom apporte une plateforme ASIC pré-validée. Le fondeur ne part pas de zéro : il réutilise des blocs IP, des contrôleurs mémoire, des interfaces PCIe/CXL déjà testés sur d'autres projets (TPU, MTIA). Ensuite, OpenAI n'a pas besoin d'une puce généraliste. Le scope est étroit : inference de transformeurs. Moins de fonctionnalités, moins de vérification, moins de bugs possibles. Enfin, l'urgence financière concentre les équipes.

Selon TechTimes, les équipes OpenAI et Broadcom ont travaillé en mode co-localisé, avec des itérations de design hebdomadaires plutôt que trimestrielles. C'est un mode projet qui ressemble plus à du développement logiciel qu'à la microélectronique traditionnelle.

TSMC, Broadcom, Celestica : la division du travail

La chaîne de valeur est claire :

• TSMC : fabrication sur un nœud avancé (probablement N4 ou N3, les détails exacts non divulgués)
• Broadcom : design du silicon, blocs IP, verification
• Celestica : intégration rack, câblage, refroidissement, tests système

Celestica est un choix intéressant. Le canadien est déjà un partenaire clé de Google pour les TPU et de Meta pour les MTIA. Broadcom lui confie systématiquement l'intégration. C'est devenu le bottleneck caché de l'industrie : avoir un bon chip ne suffit pas, il faut le packager dans un rack qui tient la puissance, le thermique et la fiabilité en datacenter.

Broadcom : le roi caché des ASIC IA

L'histoire de Jalapeño est aussi l'histoire de la montée en puissance de Broadcom dans l'IA. Alors que tout le monde regarde Nvidia, Broadcom a silencieusement construit un monopole sur le design ASIC pour les géants de la tech.

La liste est impressionnante : TPU de Google, MTIA de Meta, puces IA de ByteDance (en développement), puces neurales d'Apple (en développement), et maintenant Jalapeño d'OpenAI. Broadcom ne fabrique pas, ne vend pas de cloud. Il conçoit le silicium que les autres utilisent pour se libérer de Nvidia.

Ce positionnement est lucratif. Chaque contrat ASIC génère des revenus de design (centaines de millions) plus des redevances par puce produite. C'est un modèle récurrent et défensif : une fois qu'un client a investi dans un design Broadcom, le coût de changement est prohibitif.

Pourquoi pas Marvell ou d'autres ?

Marvell est l'alternative la plus citée, avec des contrats AWS (Trainium/Inferentia) et Microsoft (Maia). Mais Broadcom a un avantage : une bibliothèque IP plus large, notamment en interconnexions réseau haut débit, qui sont le véritable goulot d'étranglement des systèmes d'inférence à grande échelle.

Impact sur Nvidia : menace bornée mais stratégie perturbée

Il faut être précis sur la menace. Jalapeño ne remplace pas les GPU Nvidia pour le training. Les modèles GPT-5.5, Claude Opus 4.7, Gemini 3 Pro Deep Think continuent de s'entraîner sur des clusters H100/B200. Le training nécessite une précision plus élevée (BF16, FP32), des capacités de checkpointing, et surtout un écosystème logiciel (CUDA) irremplaçable à court terme.

Mais l'inférence, c'est la facture quotidienne. Et c'est là que le volume se trouve. Un modèle s'entraîne une fois, il sert des milliards de fois. La répartition des dépenses entre training et inference a basculé : l'inférence représente désormais 70 à 80% du coût total de possession pour un déploiement LLM à grande échelle.

Nvidia le sait. C'est pourquoi l'entreprise pousse agressivement ses puces inference-dedicated (L40S, B200 optimisé inference, futures puces de la gamme "N"). Mais un ASIC custom sera toujours plus efficace qu'un GPU même "allégé", car il peut éliminer les derniers compromis de généralité.

Ce que cela change pour le marché GPU

À court terme, rien. OpenAI continuera d'acheter des GPU Nvidia massivement pour le training et comme backup inference. À moyen terme (2028+), une partie du serving migre sur Jalapeño. À long terme, si d'autres suivent (Meta avec MTIA, Google avec TPU, Amazon avec Inferentia), le marché inference GPU se contracte.

Nvidia reste dominant sur le training. Mais la croissance future de l'entreprise dépendait en grande partie de la capture de la valeur inference. Jalapeño et ses équivalents rognent cette perspective.

L'écosystème autour : mémoire, refroidissement, réseau

Une puce seule ne sert à rien. Jalapeño s'insère dans un écosystème qui évolue en parallèle.

La mémoire HBM est le premier composant critique. Chaque puce Jalapeño aura besoin de HBM3E ou HBM4 pour alimenter ses cœurs de calcul en données. C'est là que des acteurs comme Micron, SK Hynix et Samsung capturent une part croissante de la valeur. La transition vers le HBM4, plus dense et plus économe en énergie, est un enabler direct de l'efficacité de Jalapeño.

Le refroidissement est le deuxième enjeu. Les racks d'inference à haute densité dépassent régulièrement 100 kW par rack. Le liquid cooling n'est plus une option mais une obligation. Celestica intègre vraisemblablement des solutions cold plate ou immersion cooling dans les racks Jalapeño.

Le réseau est le troisième. L'interconnexion entre puces Jalapeño au sein d'un même nœud, et entre nœuds dans un datacenter, détermine le batching effectif. Si le réseau ne suit pas, la puce attend et l'efficacité s'effondre.

10 GW avec Microsoft : le contexte énergétique

L'engagement de 10 GW de puissance de calcul avec Microsoft d'ici 2029 donne l'échelle du déploiement. Pour contextualiser : un datacenter IA moderne consomme entre 500 MW et 1 GW. 10 GW, c'est 10 à 20 datacenters de taille massive.

Cette puissance ne viendra pas uniquement de Jalapeño. Une partie restera sur GPU Nvidia (training, inference critique). Mais la proportion ASIC va croître significativement. Microsoft a tout intérêt à ce que Jalapeño réussisse : en tant qu'investisseur et partenaire cloud d'OpenAI, chaque dollar économisé sur le serving améliore la rentabilité de l'ensemble.

Cet engagement énergétique pose aussi la question de l'approvisionnement en électricité. 10 GW, c'est la production de plusieurs réacteurs nucléaires ou de dizaines de parcs éoliens/solaires. Les accords PPAs (Power Purchase Agreements) que Microsoft et OpenAI signent avec des producteurs d'énergie sont un prérequis à ce déploiement.

La souveraineté énergétique comme avantage compétitif

Celui qui contrôle l'accès à l'énergie contrôle le déploiement IA. C'est pourquoi Microsoft a signé des accords nucléaires (Three Mile Island, Helion) et pourquoi OpenAI investit dans des projets énergétiques. Jalapeño ne sert à rien sans les watts pour l'alimenter.

Ce que Jalapeño change pour les développeurs et les utilisateurs

Pour le développeur qui appelle l'API OpenAI, Jalapeño devrait être transparent. Même endpoint, même format de réponse, même latence ou meilleure. C'est le but : l'abstraction matérielle. OpenAI gère le routing entre GPU et ASIC en backend.

Mais les effets indirects sont réels. Si le coût par token baisse de 50%, OpenAI a deux options : baisser ses prix pour presser la concurrence (Anthropic, Google, xAI), ou maintenir les prix et améliorer ses marges. La combinaison des deux est probable.

Pour les utilisateurs finaux de ChatGPT, l'impact sera une fiabilité accrue pendant les pics de charge et potentiellement des limites de requêtes plus généreuses. Pour les entreprises intégratrices, une réduction des coûts d'API qui peut transformer la rentabilité de produits built on top of GPT.

Les modèles qui en bénéficient le plus

Les modèles les plus lourds sont les premiers candidats à la migration sur Jalapeño. GPT-5.5, avec ses 98.2 points au benchmark agentic, est le modèle phare dont le serving est le plus coûteux. Migrer son inference sur ASIC est la priorité numéro un.

Les modèles plus légers comme Claude Sonnet 4.6 ou GPT-5.3 Codex ont des profils de coût différents et pourraient rester plus longtemps sur GPU, où la flexibilité de batching multi-modèle est un avantage.

Le contexte concurrentiel : Groq, Cerebras, et le marché des puces inference

OpenAI n'est pas le premier à vouloir casser la dépendance Nvidia sur l'inférence. Groq, qui a levé 650 millions de dollars et pivoté vers le neocloud, propose une approche similaire avec ses puces LPU. Cerebras pousse ses wafer-scale engines. SambaNova, d-Matrix, et d'autres visent le même créneau.

La différence avec Jalapeño : OpenAI ne vend pas de puces. OpenAI ne vend pas de cloud inference. OpenAI consomme ses propres puces en interne. C'est un avantage structurel majeur. Groq doit convaincre des clients externes d'adopter sa stack, de réécrire leurs pipelines, d'accepter un écosystème moins mature. OpenAI n'a aucun de ces problèmes : il contrôle le modèle, l'API, et maintenant le hardware.

Cerebras, Groq et les autres restent pertinents pour les entreprises qui veulent déployer des modèles open-source (DeepSeek V4 Pro, GLM-5) sur du hardware dédié. Mais pour le serving des modèles propriétaires d'OpenAI, Jalapeño est une solution intégrée verticalement que aucun tiers ne peut égaler.

Les néoclouds face à la verticalisation

Les néoclouds (CoreWeave, Lambda, Together) ont bâti leur modèle sur l'arbitrage GPU : acheter des H100/B200, les louer avec une marge. Si les grands fournisseurs de modèles (OpenAI, Google, Meta) migrent massivement vers l'ASIC interne, le marché des néoclouds se trouve réduit au serving de modèles open-source et au training pour les clients entreprise. C'est un marché plus petit et plus concurrentiel.

Les risques du projet Jalapeño

Un projet chip de cette envergure a des risques inhérents que l'annonce enthousiaste ne mentionne pas.

Le premier risque est le rendement de fabrication. Un nœud avancé TSMC a des taux de défaut qui doivent être gérés. Si le yield est faible, le coût effectif par puce explose et les économies promises s'évaporent. Broadcom a l'expérience pour gérer cela, mais chaque nouveau design est un pari.

Le deuxième risque est logiciel. CUDA de Nvidia n'est pas qu'un driver, c'est un écosystème complet (cuDNN, TensorRT, Triton). OpenAI doit construire l'équivalent pour Jalapeño : compilateur, runtime, scheduler, monitoring. C'est un travail considérable, même en partant de frameworks existants (PyTorch, Triton).

Le troisième risque est l'obsolescence. Les modèles LLM évoluent vite. o1-preview et les modèles reasoning ont des patterns d'inférence différents des modèles autoregressifs classiques (génération token par token avec chain-of-thought, utilisation variable du contexte). Si Jalapeño est trop optimisé pour l'architecture GPT-5.x et que GPT-6 change de paradigme, la puce perd de son avantage.

Le risque de dépendance Broadcom

En quittant Nvidia, OpenAI se place sous la dépendance de Broadcom. Si Broadcom augmente ses prix de design, si le fondeur priorise d'autres clients (Google, Apple), si un différend contractuel éclate, OpenAI n'a pas de plan B à court terme. C'est un risque que l'entreprise assume consciemment, mais qu'il faut noter.

❌ Erreurs courantes

Erreur 1 : Confondre inference et training

Penser que Jalapeño remplace les GPU Nvidia pour tout. La puce ne fait que l'inférence (forward pass). Le training (backward pass, optimisation, checkpointing) reste sur GPU. Ce sont deux marchés distincts avec des exigences techniques différentes.

Erreur 2 : Prendre les -50% pour acquis

Les chiffres annoncés par les entreprises sont toujours des scénarios optimaux. Le -50% est probablement mesuré sur un workload spécifique, avec un batching idéal, sur un modèle particulier. En conditions réelles, avec des workloads variés et une utilisation non optimale, la réduction sera plus modeste. 30-40% reste un résultat majeur, mais ne prenez pas 50% comme une garantie.

Erreur 3 : Ignorer le coût total de possession

Se concentrer sur le coût par token sans considérer le coût de développement (1-2 milliards $), le risque de rendement, le coût logiciel (compilateurs, runtime), et le lock-in Broadcom. Le TCO réel ne sera connu qu'après 2-3 ans de production.

Erreur 4 : Croire que Jalapeño est disponible maintenant

L'annonce est juin 2026. Le prototype arrive fin 2026. La production 2027. Le full scale H1 2028. Entre l'annonce et un impact significatif sur les coûts, il y a 18 à 24 mois. Les GPU Nvidia resteront la base du serving OpenAI jusqu'à au moins 2028.

❓ Questions fréquentes

Jalapeño remplacera-t-il tous les GPU chez OpenAI ?

Non. Le training reste sur GPU Nvidia. Seule l'inférence migre progressivement vers Jalapeño, et même là, une partie du serving gardera des GPU pour la flexibilité et le fallback. La transition sera graduelle sur 2027-2029.

Quel est le lien entre Jalapeño et le Codex on-premise avec Dell ?

Jalapeño et l'initiative Codex on-premise sont des projets parallèles. Codex on-premise répond à la demande enterprise de souveraineté des données. Jalapeño répond à l'optimisation des coûts de serving. À terme, un produit on-premise pourrait intégrer des puces Jalapeño, mais ce n'est pas le plan initial.

Broadcom devient-il un concurrent direct de Nvidia ?

Partiellement. Broadcom concurrence Nvidia sur le segment ASIC inference (avec les TPU Google, MTIA Meta, et Jalapeño). Mais Broadcom ne vend pas de GPU et ne cible pas le training. Les deux entreprises opèrent des modèles économiques fondamentalement différents : Nvidia vend des produits génériques à haute marge, Broadcom vend du design custom à la demande.

Les modèles reasoning comme o1-preview fonctionneront-ils sur Jalapeño ?

C'est une question ouverte. Les modèles reasoning ont des patterns d'inférence atypiques (longues chaînes de pensée, utilisation variable des tokens de contexte). L'étude sur o1-preview montre que ces modèles génèrent beaucoup plus de tokens internes qu'un modèle standard. Jalapeño devra supporter ces patterns pour rester pertinent à mesure que les modèles reasoning deviennent dominants.

Quel impact sur les prix de l'API OpenAI ?

Difficile à prédire. OpenAI pourrait maintenir ses prix et améliorer ses marges, ou baisser ses prix pour accélérer l'adoption. La combinaison la plus probable : baisse progressive des prix pour les modèles dont le serving a migré sur Jalapeño, maintien ou hausse pour les modèles encore sur GPU.

✅ Conclusion

Jalapeño ne tuera pas Nvidia, mais il marque le début de la fin du monopole de fait sur l'inférence LLM. Quand OpenAI, Google, Meta, Amazon et bientôt Apple et ByteDance ont tous leurs puces custom, le marché inference GPU se retrouve coincé entre un écosystème open-source fragmenté et des ASIC internes qui ne se vendent pas. La vraie question n'est plus de savoir si l'inférence va migrer vers l'ASIC, mais à quelle vitesse les -50% promis deviendront la nouvelle norme du marché.