🏷️ mixture of experts
11 articles about mixture of experts — guides, tutorials and comparisons to master this topic on AI-master.dev.
Thinking Machines unveils Inkling 2 Small: Apache 2.0 weights next week
Thinking Machines dévoile Inkling 2 Small, un modèle MoE de 594B paramètres. Ses poids Apache 2.0 seront publiés la semaine prochaine.
Kimi K3.1 Pro: Moonshot opens up a 2.8 trillion-parameter MoE with a one million token context window
Kimi K3.1 Pro : Moonshot AI libère les poids de son MoE de 2 800 milliards de paramètres avec un contexte d'un million de tokens sur Hugging Face.
Baidu releases ERNIE 5.5 Flash Base: the flash model race extends to China
Baidu publie ERNIE 5.5 Flash Base sur Hugging Face : un modèle MoE de 280 milliards de paramètres, 14 milliards actifs, qui étend la course aux modèles flash en
Mistral releases Large 4: 1 trillion open-weight parameters, Europe's bet on the frontier
Mistral Large 4 : 1 000 milliards de paramètres open-weight, architecture MoE multimodale. Le pari européen de Mistral AI sur la frontière de l'IA.
Aleph Alpha open-sources Kolibri-1: a bilingual DE/EN 78B MoE (3.46B active) under Apache 2.0 for sovereign on-premise AI
Aleph Alpha open-source Kolibri-1 : un MoE 78B bilingue DE/EN sous Apache 2.0 pour l'IA souveraine on-premise. Découvrez ce modèle allemand.
Naive-N0.5-Flash: the open-weight 309B MoE with no full-attention layers at all aims for 2,000 tokens/s per user
Naive-N0.5-Flash : le MoE open-weight de 309B paramètres sans full-attention dévoilé par NaiveAI vise 2 000 tokens/s par utilisateur sur Hugging Face.
Cohere North Small Translate: an open-weight MoE for translation that beats DeepL and Google Translate on WMT26 — sovereign translation becomes free
North Small Translate : le MoE open-weight de Cohere qui bat DeepL et Google Translate sur WMT26. La traduction souveraine gratuite décryptée.
GLM-5.2: The most powerful open weights model in the world — 753B MoE, 1M context, MIT license, the LLM landscape shifts
Découvrez GLM-5.2 de Z.ai : le modèle open weights le plus puissant au monde. 753B MoE, 1M de contexte et licence MIT qui bouleverse le paysage LLM.
DeepSeek's DeepEP: the open source lib that optimizes GPU communication for large-scale MoE models
DeepSeek libère DeepEP, une bibliothèque open source qui optimise la communication GPU pour accélérer l'entraînement des modèles MoE à grande échelle.
Translate this title to English: UniPool : the newcomer in MoE architectures decouples network depth from expert growth
Découvrez UniPool, l'innovation qui révolutionne les architectures MoE en déconnectant la profondeur du réseau de la croissance des experts.
DeepSeek V4: Two new models — Pro and Flash — change the game
Découvrez l'architecture MoE et MLA V2 de DeepSeek V4 Pro et Flash. Analyse des benchmarks, specs et impact face à GPT-5 et Claude 3.5.