Ai2 发布 OLMo 2:迄今为止最好的完全开放语言模型

来源: OSCHINA
2024-11-27 14:41:56
AI总结

由已故的微软联合创始人 Paul Allen 创立的非营利性 AI 研究机构 Ai2 (Allen Institute for AI) 最新发布了 OLMo 2 系列模型,这是该机构推出的“Open Language Model (OLMo)”系列的第二代模型。

第一个 OLMo 于今年 2 月份发布。与 Meta 的 Llama 系列不同的是,OLMo 2 符合 OSI 对开源 AI 的定义,这意味着用于其开发的工具和数据都是公开的,任何人都可以访问和使用。

“OLMo 2 是一系列完全开放的语言模型,从头到尾都采用开放且可访问的训练数据、开源训练代码、可重复的训练方案、透明的评估、中间检查点等进行开发。通过公开分享我们的数据、方案和发现,我们希望为开源社区提供发现新方法和创新方法所需的资源。”

OLMo 2 系列包含了一套全新的 7B 和 13B 模型系列,使用多达 5T 个 token 进行训练。Ai2 声称,一系列基准测试表明 OLMo 2 7B 和 13B 是迄今为止最好的全开放模型,通常比同等大小的开放权重模型表现更好。

且与之前的 OLMo 0424 模型相比所有任务的性能都有显著提高。尽管总训练 FLOP 较低,OLMo 2 7B 的表现优于 LLama-3.1 8B,OLMo 2 13B 的表现优于 Qwen 2.5 7B。

OLMo 2 模型及其所有组件均可从 Ai2 网站下载,遵循 Apache 2.0 许可。

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
分享
AI总结
返回顶部
顶部