DeepSpeed 是一个深度学习优化库，它可以使分布式训练变得容易、高效和有效。
DeepSpeed 可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型，而与最新技术相比，其系统性能可以提高 5 倍以上。DeepSpeed 的早期采用者已经生产出一种语言模型（LM， Language Model），它具有超过 170 亿个参数，称为 Turing-NLG（Turing Natural Language Generation，图灵自然语言生成），成为 LM 类别中的新 SOTA。
DeepSpeed API 是在 PyTorch 上进行的轻量级封装，这意味着开发者可以使用 PyTorch 中的一切，而无需学习新平台。此外，DeepSpeed 管理着所有样板化的 SOTA 训练技术，例如分布式训练、混合精度、梯度累积和检查点，开发者可以专注于模型开发。同时，开发者仅需对 PyTorch 模型进行几行代码的更改，就可以利用 DeepSpeed 独特的效率和效益优势来提高速度和规模。
在利用 OpenAI 的 GPT-4 为 Bing Chat、 Bing Image Creator、Microsoft 365 Copilot、Azure OpenAI Service 和 GitHub Copilot X 引入了类似 ChatGPT 的功能后。微软现又宣布推出 DeepSpeed-Chat，一种用于 RLHF 训练的低成本开源解决方案，基于微软开源的深度学习优化库 DeepSpeed；声称即使是使用单个 GPU，任何人也都可以创建高质量的 ChatGPT 式模型。 该公司表示，尽管开源社区付出了巨大的努力，但目前仍缺乏一个支持端到...
DeepSpeed v0.3.0 发布了。DeepSpeed 是微软开源的深度学习优化库，它可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型，使分布式训练变得容易、高效和有效。 新特性 DeepSpeed：面向所有人的极限模型训练 通过 DeepSpeed 稀疏注意力提高 10 倍的序列长度和 6 倍的执行速度 使用管道并行性训练数万亿个参数 通过 1 位 Adam 最多可减少 5 倍的交流和 3.4 倍的训练 通过 ZeRO-Offload 在单个 GPU 上进行 10 倍于大型...
人工智能的最新趋势是，更大的自然语言模型可以提供更好的准确性，但是由于成本、时间和代码集成的障碍，较大的模型难以训练。微软日前开源了一个深度学习优化库 DeepSpeed，通过提高规模、速度、可用性并降低成本，可以在当前一代的 GPU 集群上训练具有超过 1000 亿个参数的深度学习模型，极大促进大型模型的训练。同时，与最新技术相比，其系统性能可以提高 5 倍以上。 根据微软的介绍，DeepSpeed 库中有一个名为 ZeRO（零冗余...
评论