speedkoala

DeepSpeed 是一个深度学习优化库,它可以使分布式训练变得容易、高效和有效。 10x 更大的模型 5x 更快地训练 最小的代码更改 DeepSpeed 可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,而与最新技术相比,其系统性能可以提高 5 倍以上。DeepSpeed 的早期采用者已经生产出一种语言模型(LM, Language Model),它具有超过 170 亿个参数,称为 Turing-NLG(Turing Natural Language Generation,图灵自然语言生成...

相关文章

加载中

暂无相关内容

返回顶部
顶部