Snowflake 开源 Arctic LLM 挑战 Llama 3、Grok 等

来源: 投稿
2024-04-25 15:39:31

数据库公司 Snowflake 宣布开源了新的大语言模型 Arctic,号称“高效智能且真正开放”。专为复杂企业工作负载而设计,以成本效益为主要亮点。

与训练预算远高于所需的模型相比,它可以高效地完成 SQL 生成、编码和指令跟踪等企业智能任务,满足或超过这些领域的基准。 Snowflake 表示,这些指标对企业很重要,因为这些是构建生成式人工智能副驾驶所需的能力。

Snowflake 声称,其 Arctic 模型的性能优于大多数开源模型和一些参数较少的闭源模型,并且使用较少的计算能力进行训练。较低的训练成本将使公司能够训练定制模型,而无需花费过多的资金。

Arctic 在企业指标上与 LLAMA 3 8B 和 LLAMA 2 70B 相当或更好,而使用的训练计算预算不到 1/2。同样,尽管训练预算减少了 17 倍,Arctic 在编码(HumanEval+ 和 MBPP+)、SQL(Spider)和指令跟踪(IFEval)等方面仍然与 Llama3 70B 相当。且尽管使用的计算量比 DBRX 少 7 倍,但它在语言理解和推理(11 个指标的集合)方面仍然具有竞争力,同时在数学 (GSM8K) 方面表现更好。

Snowflake AI 研究团队在一篇博客文章中写道: “传统上,使用 LLM 构建顶级企业级智能的成本高昂,而且资源匮乏,通常需要花费数千万至数亿美元。”

Snowflake 首席执行官 Sridhar Ramaswamy 表示:“通过以真正开放的方式向 AI 社区提供行业领先的智能和效率,我们正在进一步拓展开源 AI 的前沿。我们与 Arctic 的研究将显着增强我们为客户提供可靠、高效的人工智能的能力。”

Snowflake 在 Apache 2.0 许可证下提供 Arctic 及其其他文本嵌入模型以及代码模板和模型权重,允许商业使用而无需任何许可成本。Arctic LLM 现已通过 Hugging Face 提供。

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
5 收藏
分享
返回顶部
顶部