开源大数据工具 Luigi

Apache
Python
跨平台
2014-10-15
红薯

Luigi 是一个 Python 模块,可以帮你构建复杂的批量作业管道。处理依赖决议、工作流管理、可视化展示等等,内建 Hadoop 支持。

Dependency graph

加载中

评论(0)

暂无评论

超越 Hadoop,Luigi 打通云端大数据管道

Liugi数据管线的可视化管理图 新的大数据开源技术和工具往往来自互联网公司,除了Facebook、Google和Twitter这样的巨头外,一些甚至是你想不到的互联网公司,例如Netflix和Spotify(音乐流媒...

2014/10/15 07:04

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

New generation Job schedulers

https://github.com/spotify/luigi https://github.com/apache/incubator-airflow https://github.com/pinterest/pinball https://github.com/twitter/ambrose (for MapReduce data workflow...

2016/10/21 16:52
10
0
OSChina 技术周刊第五期 —— 2014 非常好用的开源 Android 测试工具

每周技术抢先看,总有你想要的! 移动开发 【软件】Android 测试框架 RoboSpock 前端开发 【翻译】7 个 Bootstrap 在线编辑器用于快速开发响应式网站 【翻译】Browserify vs. Webpack 【软件...

2014/10/19 21:32
81
1
Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines

Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines by Dave Wang, Eric Liang and Maddie Schults Posted in Company Blog August 30, 2016 原文地址: https://da...

2016/09/04 19:11
56
0
基于spring 的开源框架

Spring框架是一个相对较难学习的一个框架,尤其是当你想要使用行业标准开发一个真实的项目案例的时候。虽然刚开始的时候阅读大量的教程是很有 帮助的,但是最终,还是要通过真实的项目案例来...

2016/03/15 22:42
87
1
Linux零拷贝的几种方式

数据拷贝 传统的 Linux 系统的标准 I/O 接口(read、write)是基于数据拷贝的。 也就是数据都是 copy_to_user 或者 copy_from_user,这样做的好处是,通过中间缓存的机制,减少磁盘 I/O 的操...

08/04 15:30
5
0
如何创建一个数据科学项目?

摘要: 在一个新的数据科学项目,你应该如何组织你的项目流程?数据和代码要放在那里?应该使用什么工具?在对数据处理之前,需要考虑哪些方面?读完本文,会让你拥有一个更加科学的工作流程...

2018/12/14 10:10
8
0
史上最全的“大数据”学习资源(下)[转]

从网上转的 当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展...

2016/05/04 17:27
554
2

没有更多内容

加载失败,请刷新页面

返回顶部
顶部