月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等产学研力量共同发布开源项目 Mooncake，共建以 KVCache 为中心的大模型推理架构。
Mooncake 采用以 KVCache 为中心的分解式架构，将预填充和解码集群分开。它还利用 GPU 集群未充分利用的 CPU、DRAM 和 SSD 资源来实现 KVCache 的分解缓存。
Mooncake 正在参加 2021 年度 OSC 中国开源项目评选，请投票支持！
Mooncake 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票，请投票支持！
2021 年度 OSC 中国开源项目评选 正在火热进行中，快来投票支持你喜欢的开源项目！
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Mooncake 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
-
概览
-
资讯
-
博客
-
问答
-
安全信息
软件简介
代码
发表了资讯
11/28 14:23
2024 年 6 月，月之暗面 Kimi 和清华大学 MADSys 实验室联合发布了 Kimi 底层的 Mooncake 推理系统设计方案。该系统基于以 KVCache 为中心的 PD 分离和以存换算架构，大幅度提升了推理吞吐。 近日，为了进一步加速该技术框架的应用与推广，月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等产学研力量共同发布开源项目 Mooncake，共建以 KVCache 为中心的大模型推理架构。目前，M...
没有更多内容
加载失败，请刷新页面
{{o.pubDate | formatDate}}
没有更多内容
暂无内容
{{o.pubDate | formatDate}}
没有更多内容
暂无内容
暂无内容
Awesome 软件
公众号
视频号
问题反馈
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
评论