Kimi 开放平台将启动 Context Caching 内测,支持长文本大模型

来源: OSCHINA
编辑:
2024-06-20 10:44:45

据月之暗面官方消息,Kimi 开放平台 Context Caching 功能即将启动内测,届时将支持长文本大模型,可实现上下文缓存功能——声称“让每个开发者都用得起长文本大模型”。

Context Caching 是由 Kimi 开放平台提供的一项高级功能,可通过缓存重复的 Tokens 内容,降低用户在请求相同内容时的成本。

官方表示,Context Caching 可提升 API 的接口响应速度。在规模化、重复度高的 prompt 场景,Context Caching 功能带来的收益越大。

下面是官方列举的部分业务场景:

  • 提供大量预设内容的 QA Bot,例如 Kimi API 小助手。

  • 针对固定的文档集合的频繁查询,例如上市公司信息披露问答工具。

  • 对静态代码库或知识库的周期性分析,例如各类 Copilot Agent。

  • 瞬时流量巨大的爆款 AI 应用,例如哄哄模拟器,LLM Riddles。

  • 交互规则复杂的 Agent 类应用,例如什么值得买 Kimi+ 等。

公告原文:https://mp.weixin.qq.com/s/anZhObqWPLWZrNQCFv64Ag

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
分享
返回顶部
顶部