🏷️ mixture-of-experts
11 articles sur mixture-of-experts — guides, tutoriels et comparatifs pour maîtriser ce sujet sur AI-master.dev.
Thinking Machines dévoile Inkling 2 Small : poids Apache 2.0 la semaine prochaine
Thinking Machines dévoile Inkling 2 Small, un modèle MoE de 594B paramètres. Ses poids Apache 2.0 seront publiés la semaine prochaine.
Kimi K3.1 Pro : Moonshot ouvre un MoE de 2 800 milliards de paramètres avec un contexte d'un million de tokens
Kimi K3.1 Pro : Moonshot AI libère les poids de son MoE de 2 800 milliards de paramètres avec un contexte d'un million de tokens sur Hugging Face.
Baidu sort ERNIE 5.5 Flash Base : la course aux modèles flash s'étend à la Chine
Baidu publie ERNIE 5.5 Flash Base sur Hugging Face : un modèle MoE de 280 milliards de paramètres, 14 milliards actifs, qui étend la course aux modèles flash en
Mistral sort Large 4 : 1 000 milliards de paramètres open-weight, le pari européen sur la frontière
Mistral Large 4 : 1 000 milliards de paramètres open-weight, architecture MoE multimodale. Le pari européen de Mistral AI sur la frontière de l'IA.
Aleph Alpha open-source Kolibri-1 : un MoE 78B (3,46B actifs) bilingue DE/EN sous Apache 2.0 pour l'IA souveraine on-premise
Aleph Alpha open-source Kolibri-1 : un MoE 78B bilingue DE/EN sous Apache 2.0 pour l'IA souveraine on-premise. Découvrez ce modèle allemand.
Naive-N0.5-Flash : le MoE open-weight de 309B sans aucune couche full-attention vise 2 000 tokens/s par utilisateur
Naive-N0.5-Flash : le MoE open-weight de 309B paramètres sans full-attention dévoilé par NaiveAI vise 2 000 tokens/s par utilisateur sur Hugging Face.
Cohere North Small Translate : un MoE open-weight de traduction qui bat DeepL et Google Translate sur WMT26 — la traduction souveraine devient gratuite
North Small Translate : le MoE open-weight de Cohere qui bat DeepL et Google Translate sur WMT26. La traduction souveraine gratuite décryptée.
GLM-5.2 : le modèle open weights le plus puissant du monde — 753B MoE, 1M contexte, licence MIT, le paysage LLM bascule
Découvrez GLM-5.2 de Z.ai : le modèle open weights le plus puissant au monde. 753B MoE, 1M de contexte et licence MIT qui bouleverse le paysage LLM.
DeepEP de DeepSeek : la lib open source qui optimise la communication GPU pour les modèles MoE à l'échelle
DeepSeek libère DeepEP, une bibliothèque open source qui optimise la communication GPU pour accélérer l'entraînement des modèles MoE à grande échelle.
UniPool : le nouveau venu dans les architectures MoE déconnecte la profondeur du réseau de la croissance des experts
Découvrez UniPool, l'innovation qui révolutionne les architectures MoE en déconnectant la profondeur du réseau de la croissance des experts.
DeepSeek V4 : deux nouveaux modèles — Pro et Flash — changent la donne
Découvrez l'architecture MoE et MLA V2 de DeepSeek V4 Pro et Flash. Analyse des benchmarks, specs et impact face à GPT-5 et Claude 3.5.