TonY 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
TonY 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
TonY 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 BSD
开发语言 Java Python 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 LinkedIn
地区 不详
投 递 者 局长
适用人群 未知
收录时间 2018-09-24

软件简介

TensorFlow on YARN (TonY) 是一个构建在 Hadoop YARN 上的 TensorFlow 框架。

TonY 可以将单节点或分布式 TensorFlow 训练作为 Hadoop 应用程序运行。此原生连接器与其他 TonY 功能一起,旨在可靠,灵活地运行 TensorFlow 训练。


在 YARN 的 TonY 上运行 TensorFlow


TonY 的架构

TonY 主要包含三个要素:Client、ApplicationMaster 和 TaskExecutor。运行 TonY 作业的端到端处理过程如下:

  1. 用户向 Client 提交 TensorFlow 模型训练代码、参数及其 Python 虚拟环境(包含 TensorFlow 依赖)。

  2. Client 设置 ApplicationMaster(AM)并将其提交给 YARN 集群。

  3. AM 与 YARN 基于用户资源请求的资源管理(Resource Manager)进行资源协商(参数服务器及线程、内存和 GPU 的数量)。

  4. 一旦 AM 收到分配,它就会在分配的节点上生成 TaskExecutor。

  5. TaskExecutor 启动用户的训练代码并等待其完成。

  6. 用户的训练代码启动,TonY 定期在 TaskExecutor 和 AM 之间跳动,以检查其活性。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表了资讯
2021/08/27 14:24

TonY 加入 LF AI & Data 作为新的孵化项目

LF AI & Data 基金会——该组织正在构建一个生态系统,以支持人工智能(AI)和数据开源项目的开源创新,今天宣布TonY[1]为其最新孵化项目。 TonY 是一个在 Apache Hadoop 上原生运行深度学习任务的框架。它目前支持 TensorFlow、PyTorch、MXNet 和 Horovod。TonY 支持将单个节点或分布式培训作为 Hadoop 应用程序运行。这个原生连接器,连同其他 TonY 特性,旨在可靠而灵活地运行机器学习工作。有关 TonY 的概述以及与其他框架的...

0
1
2018/09/16 08:10

LinkedIn 开源 TonY,让 Hadoop 原生支持 TensorFlow

LinkedIn 开源 TonY 项目,允许用户在单个节点或大型 Hadoop 集群上构建基于 YARN 的 TensorFlow 应用程序解决方案。 TonY 的工作方式就像在 Hadoop 中的 MapReduce,执行 Pig 和 Hive 脚本的方法类似,为 TensorFlow 任务提供第一级支持。 TonY 由三个主要组件组成,客户端,ApplicationMaster 和 TaskExecutor。 它提供了 GPU 调度,精确资源请求,TensorBoard 支持和容错的四个主要功能。 LinkedIn 平台上有近 6 亿会员,随着...

0
14
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2020/04/17 10:30

Linkedin TonY

背景说明:TensorFlowOnYARN开源时间较早,目前作者已经停止维护,业内推荐TonY系统; 安装环境:Centos 7.0或以上,物理机,Python-2.7.5虚拟环境(默认),tensorflow-1.13.1; 下载地址:https://github.com/linkedin/TonY,git clone https://github.com/linkedin/TonY.git; 组件安装:apt-get update,apt-get install wget,apt-get install vim,apt-get install git,上传jdk,编辑.bashrc配置java环境; 代码编译:./g...

0
0
发表于服务端专区
2015/05/18 11:22

embattled Tony Abbott

Channel swim team warms up in cold water It's not just about the swimming on that day, it's about the journey of getting there,'' he said.Those taking part are heading into the unknown. There's 700 ships a day go through that channel. It's murky dirty water full Authentic Ryan Clady Jersey of jellyfish.''In preparation for the crossings the swimmers had been training at the Panmure waterhole in...

0
0
发表了博客
2020/11/04 12:49

产品思考 - 不剪发的Tony老师

最近遇到比较烦恼的事情,自动关注了Tony老师后,不停的收到他的私发消息,点开一看,全是广告,刚开始还点开看看,发现是收费文章系列和视频系列,后来多了就比较烦恼,我不是他的意向客户呀。 我知道tony老师不是那种不停发消息打扰别人的人,所以就在他博文下面留言咨询了,Tony老师回复说,发送会自动把所有关注他的人都发,他没法设置哪些人不发,建议我选择忽视他的消息。我仔细看了tony老师的博文留言评论,发现我并不是...

0
0
2020/02/26 11:50

Tony老师失踪,全民上演cosplay

关注 Vue中文社区 ,回复“ 加群 ” 加入我们一起学习,天天进步 来源 | 北京生活情报局 前天是“二月二龙抬头” 人们都想趁机理发图个鸿运当头 可如今疫情当头不能放松警惕 出门理发还是存在一定的风险 可家里的男同胞们是不是已经..... 都是下面的同款造型了 头发已经长到了新高度 又是见不到Tony老师的一天 但是广大人民群众怎会被理发难倒? 机智的大家早就摩拳擦掌誓要“自己解决” 潮妞在此也不得不赞叹大家的动手能力 简...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
13 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部