斯坦福团队开源端侧大模型 Octopusv2

来源: 投稿
2024-04-10 10:17:00

斯坦福大学研究团队近日推出了一款全新的开源端侧大模型 Octopusv2。

Octopusv2是一款拥有20亿参数的开源语言模型,专为在Android设备上运行而设计,同时也适用于汽车、个人电脑等其他端侧设备,并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。

该模型在准确性和延迟方面的表现超越了GPT-4,并且在上下文长度上减少了95%,显示出了显著的性能优势。此外,Octopus v2 比 Llama7B + RAG 方案快 36 倍。

Octopus-V2-2B模型的开发过程中,研究团队采用了创新的函数token策略,这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
2 收藏
分享
返回顶部
顶部