DeepSeekMoE - 开源 MoE 大模型 荐
国
DeepSeekMoE 是开源 MoE 大模型,据称其多尺度(2B->16B->145B)模型效果均领先同类项目: DeepSeekMoE-2B 可接近 MoE 模型的理论上限 2B Dense...