APUS 联合新旦智能开源国内首个千亿级 MoE 架构大模型

来源: 投稿
2024-04-02 11:31:00

4月2日,APUS发布官方公告,称其与战略合作伙伴新旦智能联合训练、研发的千亿MoE(Mixture of Experts)架构大模型——APUS-xDAN-4.0(MoE)在GitHub上正式开源。

开源地址:https://github.com/shootime2021/APUS-xDAN-4.0-moe

据介绍,APUS-xDAN-4.0(MoE)是国内首个千亿以上参数MoE架构的开源大模型,参数规模为1360亿,这也是目前国内参数规模最大的开源模型。此前国内开源的大模型中,参数规模最大的是阿里720亿参数的千问72B,参数规模为720亿。

此外,APUS-xDAN-4.0(MoE)还是国内首个支持在4090低端算力上训练的千亿参数开源大模型,通过MoE架构和算法优化实现了对低端算力芯片的适配。模型架构如下:

APUS-xDAN-4.0(MoE)与其他模型的性能对比:

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
1 收藏
分享
返回顶部
顶部