TonY 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
TonY 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
TonY 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
TonY 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
TonY 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 BSD
开发语言 Java Python 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开发厂商 LinkedIn
地区 不详
提 交 者 局长
适用人群 未知
收录时间 2018-09-24

软件简介

TensorFlow on YARN (TonY) 是一个构建在 Hadoop YARN 上的 TensorFlow 框架。

TonY 可以将单节点或分布式 TensorFlow 训练作为 Hadoop 应用程序运行。此原生连接器与其他 TonY 功能一起,旨在可靠,灵活地运行 TensorFlow 训练。


在 YARN 的 TonY 上运行 TensorFlow


TonY 的架构

TonY 主要包含三个要素:Client、ApplicationMaster 和 TaskExecutor。运行 TonY 作业的端到端处理过程如下:

  1. 用户向 Client 提交 TensorFlow 模型训练代码、参数及其 Python 虚拟环境(包含 TensorFlow 依赖)。

  2. Client 设置 ApplicationMaster(AM)并将其提交给 YARN 集群。

  3. AM 与 YARN 基于用户资源请求的资源管理(Resource Manager)进行资源协商(参数服务器及线程、内存和 GPU 的数量)。

  4. 一旦 AM 收到分配,它就会在分配的节点上生成 TaskExecutor。

  5. TaskExecutor 启动用户的训练代码并等待其完成。

  6. 用户的训练代码启动,TonY 定期在 TaskExecutor 和 AM 之间跳动,以检查其活性。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
2018/09/16 08:10

LinkedIn 开源 TonY,让 Hadoop 原生支持 TensorFlow

LinkedIn 开源 TonY 项目,允许用户在单个节点或大型 Hadoop 集群上构建基于 YARN 的 TensorFlow 应用程序解决方案。 TonY 的工作方式就像在 Hadoop 中的 MapReduce,执行 Pig 和 Hive 脚本的方法类似,为 TensorFlow 任务提供第一级支持。 TonY 由三个主要组件组成,客户端,ApplicationMaster 和 TaskExecutor。 它提供...

0
14
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2020/04/17 10:30

Linkedin TonY

背景说明:TensorFlowOnYARN开源时间较早,目前作者已经停止维护,业内推荐TonY系统; 安装环境:Centos 7.0或以上,物理机,Python-2.7.5虚拟环境(默认),tensorflow-1.13.1; 下载地址:https://github.com/li...

0
0
2020/07/12 10:30

Tony的智能家电们

(清晨。) 洗碗机说:“主人,清洁剂用完了,我自己重新订购了一些。” 哔—— (上午。) 电冰箱:洗碗机,你自己又买清洁剂干什么?你身体里的还没用完,已经好几个月了,都快变结石了吧? 洗碗机:我就是想看...

0
0
2020/12/21 18:18

aaboyles-Tony Boyles, the person-Tony Boyles install license

aaboyles-Tony Boyles, the person-Tony Boyles 发布:2020-12-21 18:18:54.350468 作者:Tony Boyles 作者邮箱:aaboyles@gmail.com 首页:https://github.com/aaboyles/aaboyles.git 文档:None 下载链接 Tony Boyle......

0
0
2015/05/18 11:22

embattled Tony Abbott

embattled Tony Abbott

0
0
发表了博客
2020/11/04 12:49

产品思考 - 不剪发的Tony老师

最近遇到比较烦恼的事情,自动关注了Tony老师后,不停的收到他的私发消息,点开一看,全是广告,刚开始还点开看看,发现是收费文章系列和视频系列,后来多了就比较烦恼,我不是他的意向客户呀。 我知道tony老师不是那种不停发消息打扰别人的人,所以就在他博文下面留言咨询了,Tony老师回复说,发送会自动把所有关注他的...

0
0
2020/02/26 11:50

Tony老师失踪,全民上演cosplay

关注 Vue中文社区 ,回复“ 加群 ” 加入我们一起学习,天天进步 来源 | 北京生活情报局 前天是“二月二龙抬头” 人们都想趁机理发图个鸿运当头 可如今疫情当头不能放松警惕 出门理发还是存在一定的风险 可家里的...

0
0
2020/03/25 19:50

Tony们的理发店:复工容易,复兴难

“我们这一行,线上的发挥余地,没有别人想象那么大。” 3月8日妇女节那天,“王老师”的理发店正式回复营业,等不及的顾客们,其实早已经在纷纷微信里留言问王老师哪天开业。 王老师的那家“My Studio”店开在北...

0
0
2020/12/22 11:59

agatha-Stock price prediction with keras-Tony Riemer

agatha-Stock price prediction with keras-Tony Riemer 发布:2020-12-22 11:59:11.903513 作者:Tony Riemer ### 作者邮箱:tonyrriemer@gmail.com ### 首页: ### 文档:None ### 下载链接 Copy from pypi......

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
10 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部