基于 PyTorch 的深度学习优化库 DeepSpeed

MIT
Python 查看源码»
跨平台
微软
2020-02-11
编辑部的故事

DeepSpeed 是一个深度学习优化库,它可以使分布式训练变得容易、高效和有效。

  • 10x 更大的模型
  • 5x 更快地训练
  • 最小的代码更改

DeepSpeed 可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,而与最新技术相比,其系统性能可以提高 5 倍以上。DeepSpeed 的早期采用者已经生产出一种语言模型(LM, Language Model),它具有超过 170 亿个参数,称为 Turing-NLG(Turing Natural Language Generation,图灵自然语言生成),成为 LM 类别中的新 SOTA。 

DeepSpeed API 是在 PyTorch 上进行的轻量级封装,这意味着开发者可以使用 PyTorch 中的一切,而无需学习新平台。此外,DeepSpeed 管理着所有样板化的 SOTA 训练技术,例如分布式训练、混合精度、梯度累积和检查点,开发者可以专注于模型开发。同时,开发者仅需对 PyTorch 模型进行几行代码的更改,就可以利用 DeepSpeed 独特的效率和效益优势来提高速度和规模。

的码云指数为
超过 的项目

微软开源深度学习优化库 DeepSpeed,可训练 1000 亿参数的模型

人工智能的最新趋势是,更大的自然语言模型可以提供更好的准确性,但是由于成本、时间和代码集成的障碍,较大的模型难以训练。微软日前开源了一个深度学习优化库 DeepSpeed,通过提高规模、速...

02/12 08:48

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

本周AI热点回顾:北大给出新冠疫情数据可视化分析、姚班“斩获”AAAI 2020最佳学生论文...

01 北大前沿计算研究中心给出新冠疫情数据可视化分析 此份报告首先从已有数据的可视化来展示疫情传播特点,然后通过建立传染病动力学模型,评估疫情防控措施,提出建议并预警,同时预测疫情疾...

02/19 15:51
58
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部