Kimi 联合清华大学等机构开源共建大模型推理架构 Mooncake

来源: 投稿
2024-11-28 14:23:00
AI总结

2024 年 6 月,月之暗面 Kimi 和清华大学 MADSys 实验室联合发布了 Kimi 底层的 Mooncake 推理系统设计方案。该系统基于以 KVCache 为中心的 PD 分离和以存换算架构,大幅度提升了推理吞吐。

近日,为了进一步加速该技术框架的应用与推广,月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等产学研力量共同发布开源项目 Mooncake,共建以 KVCache 为中心的大模型推理架构。目前,Mooncake技术框架已正式开源上线。

根据介绍,Mooncake 开源项目从论文延伸,以超大规模 KVCache 缓存池为中心,通过以存换算的创新理念大幅度减少算力开销,显著提升了推理吞吐量。本次开源将采用分阶段的方式,逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现,同时针对各类推理引擎和底层存储/传输资源进行兼容。

其中传输引擎 Transfer Engine 部分现在已经在 GitHub 全球开源。Mooncake 开源项目的最终目标是,为大模型时代打造一种新型高性能内存语义存储的标准接口,并提供参考实现方案。


更多独家技术见解与热门话题讨论,尽在【开源中国 APP】,与数百万开发者一起,随时随地探索技术无限可能。

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
3 收藏
分享
AI总结
返回顶部
顶部