DeepSeekMoE 是开源 MoE 大模型，据称其多尺度（2B->16B->145B）模型效果均领先同类项目：
- DeepSeekMoE-2B 可接近 MoE 模型的理论上限 2B Dense 模型性能（即相同 Attention/FFN 参数配比的 2B Dense 模型），仅用了 17.5% 计算量
- DeepSeekMoE-16B 性能比肩 LLaMA2 7B 的同时，仅用了 40% 计算量，也是本次主力开源模型，40G 显存可单卡部署
- DeepSeekMoE-145B 上的早期实验进一步证明该 MoE 架构明显领先于 Google 的 MoE 架构 GShard，仅用 28.5%（甚至 18.2%）计算量即可匹配 67B Dense 模型的性能
DeepSeekMoE 采用自研的全新 MoE 框架，主要包含两大创新：
- 细粒度专家划分：不同于传统MoE直接从与标准FFN大小相同的N个专家里选择激活K个专家（如Mistral 7B8 采取8个专家选2专家），DeepSeekMoE把N个专家粒度划分更细，在保证激活参数量不变的情况下，从mN个专家中选择激活mK个专家（如DeepSeekMoE 16B 采取64个专家选8个专家），如此可以更加灵活地组合多个专家
- 共享专家分离：DeepSeekMoE把激活专家区分为共享专家（Shared Expert）和独立路由专家（Routed Expert），此举有利于将共享和通用的知识压缩进公共参数，减少独立路由专家参数之间的知识冗余
评论