AI2 开源新 LLM,重新定义 open AI

来源: OSCHINA
2024-02-02 10:43:00

艾伦人工智能研究所(Allen Institute for AI,简称 AI2)宣布推出一个名为 OLMo 7B 的新大语言模型,并开源发布了预训练数据和训练代码。OLMo 7B 被描述为“一个真正开放的、最先进的大型语言模型”。

AI2 是由已故的微软公司联合创始人保罗-艾伦(Paul Allen)于 2014 年在西雅图创办的一家非营利组织。该组织表示,他们开源 OLMo 模型旨在让 AI 研究社区充分了解最先进的大语言模型(LLM),从而推动自然语言处理的发展,并以科学的方式正视现有 LLM 存在的问题。

“通过向公众完全开放 OLMo 及其训练数据,AI2 在协作构建世界上最好的开放语言模型方面迈出了一大步。”

OLMo 框架具有一套完全开放的 AI 开发工具,包括:

  • 完整的预训练数据:该模型建立在 AI2 的 Dolma 语料库上,该语料库具有三万亿个用于语言模型预训练的 token 开放语料,包括生成训练数据的代码。
  • 训练代码和模型权重: OLMo 框架包括 7B 规模的四个模型变体的完整模型权重,每个模型至少训练有 2T token。提供了推理代码、训练指标和训练日志。
  • 评估:开发中使用的评估套件已发布,每个模型包含 500 多个 checkpoints,来自训练过程中的每 1000 个步骤,以及 Catwalk 项目下的评估代码。

在接下来的几个月中,AI2 计划继续迭代 OLMo,并将不同的模型大小、模式、数据集和功能引入 OLMo 系列。

OLMo 项目负责人、AI2 NLP 研究高级主管、华盛顿大学艾伦学院教授 Noah Smith 表示:

“有了 OLMo,open 就是真正意味上的'open',AI 研究界的每个人都可以访问模型创建的各个方面,包括训练代码、评估方法、数据等。AI 曾经是一个以活跃的研究社区为中心的开放领域,但随着模型的发展、成本的增加以及开始转化为商业产品,AI 工作开始闭门造车。我们希望通过 OLMo 扭转这一趋势,让研究界能够团结起来,以科学的方式更好地理解和使用语言模型,从而开发出更负责任的 AI 技术,造福于每个人。”

更多详情可查看官方博客。 

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
5 收藏
分享
返回顶部
顶部