DeepSpeed 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
DeepSpeed 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: MIT
开发语言: Python 查看源码 »
操作系统: 跨平台
开发厂商: 微软
收录时间: 2020-02-11
提 交 者: 编辑部的故事

DeepSpeed 是一个深度学习优化库,它可以使分布式训练变得容易、高效和有效。

  • 10x 更大的模型
  • 5x 更快地训练
  • 最小的代码更改

DeepSpeed 可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,而与最新技术相比,其系统性能可以提高 5 倍以上。DeepSpeed 的早期采用者已经生产出一种语言模型(LM, Language Model),它具有超过 170 亿个参数,称为 Turing-NLG(Turing Natural Language Generation,图灵自然语言生成),成为 LM 类别中的新 SOTA。 

DeepSpeed API 是在 PyTorch 上进行的轻量级封装,这意味着开发者可以使用 PyTorch 中的一切,而无需学习新平台。此外,DeepSpeed 管理着所有样板化的 SOTA 训练技术,例如分布式训练、混合精度、梯度累积和检查点,开发者可以专注于模型开发。同时,开发者仅需对 PyTorch 模型进行几行代码的更改,就可以利用 DeepSpeed 独特的效率和效益优势来提高速度和规模。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

DeepSpeed 的相关博客

微软开源深度学习优化库 DeepSpeed 连登 GitHub 趋势榜!

【编者按】近期,深度学习社区发生了一件大事:微软研究院发布了图灵自然语言生成模型T-NLG,据称这是史上最大的自然语言处理...

ZeRO & DeepSpeed:可以让训练模型拥有超过1000亿个参数的优化(微软)

喜欢我们,点击上方AINLPer,关注一下,极品干货即刻送达! 自我隔离的第二天,今天外面下起小雨~ 引言 近日,微软发布了一个...

微软发布史上最大NLG模型:基于Transformer架构,170亿参数加持

https://www.leiphone.com/news/202002/dcmj76mr7pp1JtXE.html 近年来,BERT、GPT-2等深度学习语言模型,极大地提高了问答、摘...

微软分享史上最大基于Transformer架构的语言生成模型

https://www.leiphone.com/news/202002/pBZdAnxR1NuD0aWj.html 微软AI&Research今天分享了有史以来最大的基于Transformer架构...

微软发布史上最大NLG模型:基于Transformer架构,170亿参数加持

https://www.leiphone.com/news/202002/dcmj76mr7pp1JtXE.html 近年来,BERT、GPT-2等深度学习语言模型,极大地提高了问答、摘...

微软分享史上最大基于Transformer架构的语言生成模型

https://www.leiphone.com/news/202002/pBZdAnxR1NuD0aWj.html 微软AI&Research今天分享了有史以来最大的基于Transformer架构...

微软让训练万亿参数AI模型的GPU需求从4000个减少到800个

     作者 | 包永刚、陈大鑫   微软于近日发布了DeepSpeed库的更新版本,该库引入了一种新方法来 训练包含 数万亿个参数...

上周 GitHub 热点速览 vol.07:GitHub 官方 CLI beta 版已发布

作者:HelloGitHub-小鱼干 摘要:GitHub Trending 上周看点,GitHub 官宣 CLI 已发布 beta 版,前端新晋高性能打包神器 esbu...

上周 GitHub 热点速览 vol.07:GitHub 官方 CLI beta 版已发布

https://juejin.im/post/5e4a4e4d51882549112b330f 作者:HelloGitHub-小鱼干 摘要:GitHub Trending 上周看点,GitHub 官宣 ...

上周 GitHub 热点速览 vol.07:GitHub 官方 CLI beta 版已发布

https://juejin.im/post/5e4a4e4d51882549112b330f 作者:HelloGitHub-小鱼干 摘要:GitHub Trending 上周看点,GitHub 官宣 ...

DeepSpeed 的相关问答

还没有任何问答,马上提问

评论 (0)

加载中
更多评论
0 评论
46 收藏
分享
返回顶部
顶部