🏷️ mixture of experts

4 articles about mixture of experts — guides, tutorials and comparisons to master this topic on AI-master.dev.

GLM-5.2: The most powerful open weights model in the world — 753B MoE, 1M context, MIT license, the LLM landscape shifts

Découvrez GLM-5.2 de Z.ai : le modèle open weights le plus puissant au monde. 753B MoE, 1M de contexte et licence MIT qui bouleverse le paysage LLM.

LLM & Modèles débutant

DeepSeek's DeepEP: the open source lib that optimizes GPU communication for large-scale MoE models

DeepSeek libère DeepEP, une bibliothèque open source qui optimise la communication GPU pour accélérer l'entraînement des modèles MoE à grande échelle.

LLM & Modèles débutant

Translate this title to English: UniPool : the newcomer in MoE architectures decouples network depth from expert growth

Découvrez UniPool, l'innovation qui révolutionne les architectures MoE en déconnectant la profondeur du réseau de la croissance des experts.

LLM & Modèles débutant

DeepSeek V4: Two new models — Pro and Flash — change the game

Découvrez l'architecture MoE et MLA V2 de DeepSeek V4 Pro et Flash. Analyse des benchmarks, specs et impact face à GPT-5 et Claude 3.5.

LLM & Modèles débutant