TensorFlow 结合 Apache Spark TensorFlowOnSpark

Apache
Python
跨平台
Yahoo
2017-02-14
王练

TensorFlowOnSpark 将 TensorFlow 带到 Apache Spark 集群上,由 Yahoo 开源。

TensorFlowOnSpark 为 Apache Hadoop 和 Apache Spark 集群带来可扩展的深度学习。 通过结合深入学习框架 TensorFlow 和大数据框架 Apache Spark 、Apache Hadoop 的显着特征,TensorFlowOnSpark 能够在 GPU 和 CPU 服务器集群上实现分布式深度学习。

TensorFlowOnSpark 支持对 Apache Spark 集群进行分布式 TensorFlow 训练和推断。它试图最小化在共享网格上运行现有 TensorFlow 程序所需的代码更改量。 它的 Spark 兼容 API 通过以下步骤来管理 TensorFlow 集群:

  1. 预留 - 为每个执行程序保留 TensorFlow 进程的端口,并启动数据/控制消息的侦听器。

  2. 启动 - 在执行器上启动 Tensorflow 主函数。

  3. 数据摄取

    1. Readers & QueueRunners - 利用 TensorFlow 的 Reader 机制直接从 HDFS 读取数据文件。

    2. Feeding - 使用 feed_dict 机制将 Spark RDD 数据发送到 TensorFlow 节点。 请注意,需利用 Hadoop 输入/输出格式访问 HDFS 上的 TFRecords。

  4. 关闭 - 关闭执行器上的 Tensorflow 工作线程和 PS 节点。

加载中

评论(0)

暂无评论

雅虎开源 TensorFlowOnSpark,TensorFlow 结合 Spark

近日,Yahoo 开源了 TensorFlowOnSpark,这是一个大数据集群的分布式深度学习,将 TensorFlow 带到 Apache Spark 集群上。 Yahoo 在博客上表示,深度学习(DL)近年来发展迅速,为了从大量的...

2017/02/14 11:13

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

开始使用Hadoop集群上的TensorFlowOnSpark

https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN 开始使用Hadoop集群上的TensorFlowOnSpark GetStarted_YARN leewyang编辑本页 20 days ago · 7修订 第6页 家 转换 Crea...

2017/03/21 15:45
349
0
TensorFlow分布式实践

大数据时代,基于单机的建模很难满足企业不断增长的数据量级的需求,开发者需要使用分布式的开发方式,在集群上进行建模。而单机和分布式的开发代码有一定的区别,本文就将为开发者们介绍,基...

01/15 21:46
32
0
当Spark遇上TensorFlow分布式深度学习框架原理和实践

近年来,机器学习和深度学习不断被炒热,tensorflow 作为谷歌发布的数值计算和神经网络的新框架也获得了诸多关注,spark和tensorflow深度学习框架的结合,使得tensorflow在现有的spark集群上...

2018/04/16 22:42
195
0
面向机器学习数据平台的设计与搭建

机器学习作为近几年的一项热门技术,不仅凭借众多“人工智能”产品而为人所熟知,更是从根本上增能了传统的互联网产品。在近期举办的2018 ArchSummit全球架构师峰会上,个推首席数据架构师袁...

2018/07/17 16:33
75
0
Image Data Support in Apache Spark

Image Data Support in Apache Spark March 5, 2018 by ML Blog Team This post is co-authored by the Microsoft Azure Machine Learning team, in collaboration with Databricks Machine ...

2018/04/27 14:49
27
0
【大数据拓展】Spark和Flink的一些细节对比

Spark 是最活跃的 Apache 项目之一。从 2014 年左右开始得到广泛关注。Spark 的开源社区一度达到上千的活跃贡献者。最主要推动者是 Databricks,由最初的 Spark 创造者们成立的公司。今年 6 ...

2018/10/22 17:21
2
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部