NVIDIA Nemotron 3.5 Transcribe : le modèle open-weight de transcription 40 langues, et Granary v2 (463 000 h de speech)
🔎 Le speech redevient un champ de bataille — et NVIDIA vient d'ouvrir le feu
Pendant que tout le monde fixe les LLM, NVIDIA vient de livrer ce qui ressemble à la plus grosse offensive open-weight de l'année en audio. Le 28 octobre 2026, la firme a publié Nemotron 3.5 Transcribe, une famille de modèles de transcription couvrant 40 langues, accompagnée de Granary v2, un dataset de 463 062 heures de speech. TechCrunch relayait l'annonce sous l'angle « voice AI in vogue » — le timing n'est pas un hasard, la demande explose côté agents vocaux et compliance.
Depuis Whisper en 2022, aucun modèle ouvert n'avait sérieusement menacé les API propriétaires sur la reconnaissance vocale. NVIDIA revendique désormais la première place open-weight de l'Open ASR Leaderboard, en anglais comme en multilingue. Ce n'est pas un détail : c'est un changement de rapport de force.
La logique commerciale est limpide — donner les poids, donner les données, vendre le silicium qui fait tourner le tout. Et ça fonctionne, parce que les chiffres sont là.
L'essentiel
- Premier open-weight de l'Open ASR Leaderboard : 4,71 % de WER en anglais, 4,62 % en multilingue (annonces NVIDIA, octobre 2026).
- Architecture SALM 34B : environ 4,3 Md de paramètres actifs seulement, backbone hybride Mamba-2/Transformer de type MoE (famille Lightning 30B).
- 40 langues transcrites, dont 31 traduites vers et depuis l'anglais ; diarisation jusqu'à 8 locuteurs ; timestamps au niveau du mot ; fichiers jusqu'à 1 h.
- Licence OpenMDW-1.1 : usage commercial autorisé, poids téléchargeables librement.
- Du Jetson AGX Thor au Blackwell : tient sur une seule puce en embarqué, 2 238 secondes d'audio traitées par seconde sur RTX PRO 6000.
- Granary v2 : 463 062 heures de speech en 48 langues (contre 25 pour la v1), gratuites.
- Limite assumée : traitement offline uniquement, pas de streaming temps réel.
Outils recommandés
| Outil | Usage principal | Prix (octobre 2026) | Idéal pour |
|---|---|---|---|
| Nemotron 3.5 Transcribe | ASR + traduction + diarisation | Gratuit (open-weight, OpenMDW-1.1) | Production confidentielle, gros volumes locaux |
| Whisper | ASR batch | Gratuit (MIT) | Prototypage rapide, scripts simples |
| Qwen3-ASR-1.7B | ASR embarqué | Gratuit | Edge, mobile, appareils contraints |
| Gemini 3.5 Transcribe | ASR cloud, 85 langues, streaming | API à l'usage (tarifs sur ai.google.dev, octobre 2026) | Live, couverture linguistique maximale, zéro infra |
| Granary v2 | Dataset d'entraînement | Gratuit | Fine-tuning ASR, recherche |
Un SALM 34B qui n'active que 4,3 Md de paramètres
Nemotron 3.5 Transcribe repose sur une architecture SALM (Speech-Aware Language Model) de 34 milliards de paramètres, dont environ 4,3 milliards seulement sont activés à chaque token. C'est un modèle de mixture-of-experts : la capacité d'un gros modèle, le coût d'inférence d'un modèle moyen.
Le backbone est un hybride Mamba-2/Transformer issu de l'architecture MoE Lightning 30B de NVIDIA. Nous décortions cette recette dans notre article sur Nemotron 3.5 Super Lightning, les MoE hybrides Mamba-Transformer open-weight — le speech applique la même mécanique au signal audio.
Pourquoi l'hybride Mamba change tout pour l'audio
L'attention Transformer coûte quadratiquement cher avec la longueur de séquence. Or l'audio est gourmand : une heure de son représente des dizaines de milliers de frames. Les couches Mamba-2, qui traitent les séquences en coût linéaire, permettent d'ingérer des enregistrements jusqu'à 1 heure d'une traite, sans découpage manuel.
Deuxième pièce maîtresse : un adaptateur CTC qui produit des timestamps au niveau du mot. Vous savez précisément qui a dit quoi, et quand. Pour la sous-tittration ou le montage vidéo, c'est le genre de détail qui fait gagner des journées entières de post-production.
4,71 % de WER : premier open-weight de l'Open ASR Leaderboard
Sur l'Open ASR Leaderboard de Hugging Face, Nemotron 3.5 Transcribe devient le premier modèle open-weight à décrocher la tête des classements anglais et multilingues, avec un WER (word error rate) de 4,71 % en anglais et 4,62 % en moyenne multilingue (annonces NVIDIA, octobre 2026).
Pour contextualiser : Whisper large-v3, la référence open-source historique, se situe au-delà de 6 % de WER moyen anglais sur ce même type de benchmark. L'écart paraît mince ; sur un corpus de 10 000 mots, il représente plus d'une centaine d'erreurs en moins.
Un bémol d'honnêteté journalistique : les benchmarks de leaderboard utilisent des audios propres, souvent lus. Vos réunions Zoom bruitées, vos podcasts enregistrés au café et vos interviews téléphoniques appartiennent à un autre monde. Testez sur vos données avant de promettre quoi que ce soit à un client.
Diarisation, traduction, timestamps au mot : le paquet complet
Au-delà du WER brut, c'est la complétude du paquet qui force le respect : un seul modèle gère transcription, identification des locuteurs, horodatage fin et traduction.
Concrètement :
- 40 langues transcrites, dont 31 disponibles en traduction vers et depuis l'anglais — de quoi produire des sous-titres bilingues en une seule passe.
- Diarisation jusqu'à 8 locuteurs, avec attribution des segments. Les réunions à six participants ne sont plus un cauchemar.
- Timestamps au niveau du mot via l'adaptateur CTC, indispensables pour le montage et l'indexation.
- Fichiers jusqu'à 1 heure traités d'un bloc, grâce au backbone hybride.
C'est ce paquet qui distingue un modèle de production d'un jouet de benchmark. Whisper ne fait aucune de ces choses nativement : il faut lui adjoindre un outil de diarisation, un aligneur pour les timestamps, un LLM pour la traduction. Ici, tout est intégré — et la suite du pipeline se branche directement : résumé, extraction d'actions, agentification avec un LLM comme Claude Sonnet 4.6 ou GPT-5.4. Notre dossier sur les meilleurs LLM pour les agents IA détaille cette couche supérieure.
Granary v2 : 463 062 heures de speech en 48 langues, gratuites
Le dataset est peut-être la vraie bombe de l'annonce. Granary v2 met à disposition 463 062 heures de speech annoté couvrant 48 langues — contre 25 pour la première version du corpus.
Dans l'ASR, les données pèsent plus lourd que l'architecture. Les poids, tout le monde sait finement les reproduire ; ce qui sépare un bon modèle d'un excellent modèle, ce sont des centaines de milliers d'heures d'audio propre, segmenté, aligné, avec locuteurs identifiés. Produire ces données manuellement coûte une fortune — Granary v2 a été constitué en grande partie via des pipelines de pseudo-labeling et de filtrage automatique, la méthode standard des labs actuels.
NVIDIA donne tout cela gratuitement, et c'est un coup stratégique imparable. Les équipes qui entraînent ou fine-tunent un modèle de speech partent désormais d'une base de qualité industrielle : laboratoires académiques, startups verticales (médical, juridique, centres d'appels) et chercheurs travaillant sur des langues peu dotées sont les premiers gagnants.
Déployer Nemotron 3.5 Transcribe : du Jetson AGX Thor au Blackwell
Le modèle se télécharge librement et tourne sur une gamme matérielle étonnamment large. Le point remarquable : NVIDIA valide le fonctionnement sur une seule puce Jetson AGX Thor, son module embarqué — de quoi viser la robotique, l'automobile ou l'informatique de terrain.
À l'autre bout du spectre, sur une RTX PRO 6000 (Blackwell), NVIDIA annonce 2 238 secondes d'audio traitées par seconde de calcul — environ 37 minutes de son analysées à chaque seconde d'horloge. À ce rythme, transcrire une nuit d'enregistrements devient l'affaire de quelques minutes.
pip install "nemo_toolkit[asr]"
# poids et cartes modèles disponibles sur le Hub Hugging Face (organisation nvidia)
L'intégration passe par la stack NeMo. Si vous avez déjà monté un environnement LLM local, notre guide pour installer un LLM en local et notre sélection des meilleurs LLM à faire tourner en local vous donneront les bons réflexes : la logique est identique, seul le runtime change. Et pour l'application qui entoure le modèle — API, file d'attente, interface web — un simple VPS suffit largement ; Hostinger fait très bien l'affaire pour démarrer sans casser la banque.
Gardez quand même une réalité matérielle en tête : 34 Md de paramètres totaux, ça reste un gros animal. Les 4,3 Md actifs rendent l'inférence rapide, mais loger les poids complets demandera une carte pro ou une quantification agressive.
La vraie limite : pas de streaming, que de l'offline
Nemotron 3.5 Transcribe ne fait pas de temps réel. Il transcrit des fichiers, pas des flux : impossible en l'état de sous-titrer un direct, de captioner une visio en direct ou d'alimenter un agent vocal qui répond à la seconde.
C'est la limite la plus importante de l'annonce, et NVIDIA ne la cache pas. Pour la transcription live, les API propriétaires conservent l'avantage — c'est précisément le terrain de Gemini 3.5 Transcribe, dont Google met en avant la rapidité d'exécution.
Des contournements existent : découper le flux en segments de 30 à 60 secondes et les passer au modèle en parallèle. Mais chaque découpage ajoute de la latence, casse le contexte acoustique et fragilise la diarisation aux frontières. Pour du quasi-live à quelques secondes de décalage, ça passe. Pour du live vrai, non.
Face à Gemini 3.5 Transcribe, Qwen3-ASR et Whisper
Le choix se résume à trois arbitrages : confidentialité contre simplicité, 40 contre 85 langues, coût marginal nul contre facture API.
| Modèle | Langues | WER anglais | Licence | Streaming | Prix (octobre 2026) |
|---|---|---|---|---|---|
| Nemotron 3.5 Transcribe | 40 (+31 paires de traduction) | 4,71 % | OpenMDW-1.1 (commercial) | Non | Gratuit (auto-hébergé) |
| Gemini 3.5 Transcribe | 85 | ~2,6 % (annonce Google) | Propriétaire | Oui | API à l'usage (vérifiez ai.google.dev) |
| Whisper large-v3 | ~99 | > 6 % | MIT | Non | Gratuit |
| Qwen3-ASR-1.7B | Multilingue | n/d (modèle léger) | Open | Non | Gratuit |
Google joue sur trois tableaux que Nemotron ne touche pas : 85 langues, un WER annoncé autour de 2,6 % et une exécution 70 % plus rapide que la génération précédente. Nous détaillons cette offre dans notre article sur Gemini 3.5 Transcribe, le moteur STT 85 langues de Google.
Mon avis, sans détour : si vos données peuvent sortir de votre infrastructure et que vous voulez du live ou une couverture linguistique maximale, Gemini est objectivement plus fort. Si vous travaillez dans la santé, le juridique ou la défense — bref, tout ce qui ne sort pas — Nemotron 3.5 Transcribe est la meilleure option ouverte de l'histoire récente, et elle ne coûte rien en licence. Qwen3-ASR-1.7B joue une autre partition : le modèle minuscule pour l'embarqué, quand chaque mégaoctet compte. Et Whisper ? Il a ouvert la voie en 2022 et reste le plus simple à déployer, mais il est techniquement dépassé sur tous les tableaux qui comptent.
La stratégie NVIDIA : donner le logiciel, vendre le silicium
Rien de tout cela n'est philanthropique. NVIDIA construit méthodiquement un écosystème Nemotron qui couvre désormais le texte, la vision et le speech — et chaque modèle gratuit vend des GPU.
La famille s'étoffe à une vitesse impressionnante : Nemotron 3 Ultra 550B, le plus gros open-weight américain côté LLM, Nemotron 3.5 Super VL 120B pour les agents multimodaux côté vision, et désormais le speech. La vague open-weight déborde même du texte : côté images, FLUX 3 Image Klein fait tourner un modèle open-weight sur une simple carte de 8 Go.
Le bout du pipeline, c'est l'agent vocal : transcription par Nemotron, raisonnement par un LLM — Claude Sonnet 4.6 pour la réactivité, Kimi K2.6 en self-host pour la souveraineté — puis synthèse vocale. Une variante 100 % locale existe, que nous détaillons dans notre guide sur les agents IA open source avec Ollama. TechCrunch soulignait fin octobre 2026 l'appétit des investisseurs pour le voice AI ; NVIDIA vient de s'assurer que la majorité de ces agents tourneront sur ses puces.
❌ Erreurs courantes
Erreur 1 : confondre open-weight et open-source
Les poids sont téléchargeables et la licence OpenMDW-1.1 autorise l'usage commercial, mais tout le reste — code d'entraînement complet, données sources, garanties — suit des règles qu'il faut lire. Vérifiez les termes sur la fiche du modèle avant d'engager un produit dessus.
Erreur 2 : vouloir du temps réel
Pas de streaming natif, point. Si votre cas d'usage est le live, partez sur une API propriétaire ou acceptez la latence du découpage en segments. Mieux vaut prévenir le client maintenant que voir le POC échouer en démo.
Erreur 3 : extrapoler le WER anglais à votre langue
Le 4,71 % est un score anglais obtenu sur des benchmarks propres ; le 4,62 % multilingue est une moyenne qui masque de fortes disparités selon les langues. Testez sur vos propres enregistrements — accents, bruit, jargon métier — avant tout engagement contractuel.
Erreur 4 : négliger la préparation audio
Un modèle à 4,71 % de WER peut tomber à 15 % sur un audio mono écrasé en 8 kHz. Normalisez, débruitez si nécessaire, segmentez intelligemment — et rappelez-vous que la diarisation plafonne à 8 locuteurs : au-delà, les attributions se dégradent vite.
❓ Questions fréquentes
Nemotron 3.5 Transcribe est-il gratuit pour un usage commercial ?
Oui. La licence OpenMDW-1.1 autorise explicitement l'usage commercial des poids ; vous payez uniquement le matériel ou le cloud qui fait tourner le modèle. Lisez néanmoins les termes complets sur la fiche Hugging Face avant tout déploiement en production.
Quel matériel faut-il au minimum ?
NVIDIA valide le Jetson AGX Thor comme minimum, pour l'embarqué. Côté station, comptez une carte pro pour loger les 34 Md de paramètres, ou une quantification. Sur RTX PRO 6000, le modèle avale 2 238 secondes d'audio par seconde — de quoi traiter des archives entières en quelques minutes.
Quelle différence avec Whisper ?
Whisper (OpenAI, 2022) est un modèle dense avec une fenêtre de 30 secondes, sans diarisation ni timestamps natifs. Nemotron 3.5 Transcribe gère 1 heure d'un bloc, identifie jusqu'à 8 locuteurs, horodate au niveau du mot, traduit 31 langues et affiche un WER inférieur de plus d'un point.
Peut-il transcrire et traduire en même temps ?
Oui : 31 langues peuvent être traduites vers et depuis l'anglais en une seule passe. De quoi générer des sous-titres bilingues, préparer des comptes rendus internationaux ou alimenter un pipeline de localisation sans chaîner deux modèles distincts.
À quoi sert concrètement Granary v2 ?
À entraîner ou fine-tuner votre propre modèle de speech : 463 062 heures annotées, 48 langues, téléchargeables gratuitement. Utile pour spécialiser un ASR sur un domaine (médical, juridique), une langue peu dotée ou des conditions acoustiques spécifiques.
Existe-t-il une alternative cloud plus simple ?
Oui : Gemini 3.5 Transcribe couvre 85 langues avec du streaming et un WER annoncé autour de 2,6 %, contre une facture à l'usage. Notre article dédié détaille ses performances. Pour du confidentiel ou des gros volumes, restez sur Nemotron en auto-hébergement.
✅ Conclusion
En publiant un modèle de transcription premier de son classement, 40 langues et 463 000 heures de données d'entraînement, NVIDIA vient de rendre la transcription de qualité industrielle accessible à quiconque possède une carte graphique — le reste n'est plus qu'une question d'intégration. Pour choisir le LLM qui traitera ces transcriptions, consultez notre comparatif mensuel des meilleurs LLM.