零一万物发布 Yi 大模型 API 并启动公测,支持上下文 200K

来源: 投稿
2024-02-28 18:33:00

零一万物通过其微信公众号宣布,经过一段时间的开发和内测正式发布Yi大模型API,同时启动邀测。目前,Yi 大模型 API 邀测名额限量开放中,申请成功即送1000万 tokens。

此次邀测提供了两种模型:

  • Yi-34B-Chat(0205):支持聊天、问答、对话、写作、翻译等功能。
  • Yi-34B-Chat-200K:200K 上下文,多文档阅读理解、超长知识库构建小能手。

模型优势

  • 超长上下文

本次重磅出台 Yi-34B-Chat-200K API,加速大模型应用进入“长文本时代”。200K 支持处理约 20~30 万个中英文字符(例如,可以轻松处理整本《哈利•波特与魔法石》小说),适合用于多篇文档内容理解、海量数据分析挖掘和跨领域知识融合等,为各行各业提供了极大的便利。例如,金融分析师可以用它快速阅读报告并预测市场趋势、律师可以用它精准解读法律条文、科研人员可以用它高效提取论文要点、文学爱好者可以用它快速掌握作品精髓等,应用场景非常广泛。

例如,以下是 Yi-34B-Chat-200K 对经典文学作品《呼啸山庄》进行复杂角色和角色关系的归纳总结,该小说篇幅庞大(中文字数约 30 万字),且人物关系错综复杂,但它仍能精准地梳理和总结出人物之间的关系,展示了它在处理超长上下文时出色的复杂内容理解和分析能力。

  • 出色的指令遵循和创意内容生成能力

此前,零一万物发布并开源了 Yi-34B-Chat(1123),它的回复风格符合人类偏好,但在指令遵循上结果不够稳定。而此次新发布的 Yi-34B-Chat(0205)经过深度优化,性能得到大幅提升,不仅继承了符合人类偏好的回复风格,很擅长创意性内容创作,而且能够更好地理解复杂的用户需求,遵循多约束指令(指令遵循能力提升了近 30%),稳定生成指定格式的内容。

例如,以下是两个版本在指令遵循方面的测评对比。

Prompt 1: 帮我输出一个俄国作家的书单,以 JSON 格式输出一个的 list,其中每一个 item 都要有两个 key,分别是书名和作家名字,请列出 3 本不同的书

Yi-34B-Chat(1123)输出的 JSON 文件格式略有不足(例如,第 8 行和第 12 行的引号),而 Yi-34B-Chat(0205)输出的 JSON 文件格式全部正确。

Prompt 2: 判断下面这段话的情绪倾向,如果是正面的,回复数字 1;如果是负面的,回复数字 0:

这款手机真是物超所值,性能强大,电池续航长,外观设计也很有档次。我用了几个月,到现在还像新的一样。

Yi-34B-Chat(1123)虽然理解了问题,但是没有完全遵循指令,输出了较多冗余的分析。而 Yi-34B-Chat(0205)理解了问题,且正确遵循了用户指令。

API 优势

  • 推理速度快

为了提升 API 性能,团队在 API 侧进行了推理优化,因此 Yi-34B-Chat 系列 API 具备较快的推理速度,这不仅缩短了处理时间,同时也保持了出色的模型效果。此外,优化的 API 接口显著降低了模型回复的延迟,进一步提高了用户体验的流畅性和响应速度。

  • 兼容 OpenAI

Yi 大模型 API 与 OpenAI API 完全兼容,你只需修改少量代码,可以平滑迁移,即刻享受 Yi 大模型的超凡魅力。


import openai
from openai import OpenAI

API_BASE = "https://api.lingyiwanwu.com/v1"
API_KEY = "{{your key}}"

client = OpenAI(
    # defaults to os.environ.get("OPENAI_API_KEY")
    api_key=API_KEY,
    base_url=API_BASE
)
completion = client.chat.completions.create(
    model="yi-34b-chat-200k",
    messages=[{"role": "user", "content": "Hi, who are you"}]
)
print(completion)
展开阅读全文
点击加入讨论🔥(3) 发布并加入讨论🔥
3 评论
4 收藏
分享
返回顶部
顶部