高性能分布式深度学习训练框架 BytePS

Apache-2.0
C/C++ Python 查看源码»
跨平台
2019-06-27
局长

BytePS 是字节跳动开源的高性能分布式深度学习训练框架,官方宣称 BytePS 在性能上颠覆了过去几年 allreduce 流派一直占据上风的局面,超出目前其他所有分布式训练框架一倍以上的性能,且同时能够支持 Tensorflow、PyTorch、MXNet 等开源库。

BytePS 通过实现一个通用的抽象层,抽象层可以被各种通用框架引用,实现了同时支持多个框架的可能性,因此能够支持 Tensorflow、PyTorch、MXNet 等行业主流训练框架。

BytePS 提供了 TensorFlow、PyTorch、 MXNet 以及 Keras 的插件,用户只要在代码中引用 BytePS 的插件,就可以获得高性能的分布式训练。

BytePS 的核心逻辑则实现在 BytePS core 里。具体的通信细节完全由 BytePS 完成,用户完全不需要操心。

的码云指数为
超过 的项目
加载中
此软件有 2 条评论,请先登录后再查看。

字节跳动开源高性能分布式训练框架 BytePS:兼容 TensorFlow 等主流框架

近日,字节跳动人工智能实验室宣布开源一款高性能分布式深度学习训练框架 BytePS,在性能上颠覆了过去几年 allreduce 流派一直占据上风的局面,超出目前其他所有分布式训练框架一倍以上的性能...

2019/06/28 07:59

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

BytePS源码解析

# 导入BytePS模块 import byteps.torch as bps # 初始化BytePS bps.init() # 设置训练进程使用的GPU torch.cuda.set_device(bps.local_rank()) local_rank: """A function that returns ...

2019/09/04 15:07
32
0
Nccl allreduce && BytePS原理

一、Nccl AllReduce基本原理: allreduce是collective communication中的一种,其他种类的还有:Broadcast、Scatter、Gather、Reduce等 具体含义可以参考文档:https://images.nvidia.com/e...

2019/08/13 22:25
61
0
大佬评清华Jittor,这是怎样一个深度学习框架?

点击上方“机器学习与生成对抗网络”,关注"星标" 获取有趣、好玩的前沿干货! 如何评价清华大学发布的自研深度学习框架-计图(Jittor)? 2020年3月20日,清华自研的深度学习框架,正式对外开...

03/21 22:37
65
0
如何欣赏一个深度学习框架?

点击“机器学习算法与Python实战”,“置顶”公众号 重磅干货,第一时间送达 来自 | 知乎 作者 | 袁进辉 链接 | https://zhuanlan.zhihu.com/p/117269565 编辑 | 深度学习这件小事公众号 本文...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部