分布式流处理框架 Tigon

分布式流处理框架 Tigon

Apache
Java 查看源码»
跨平台
2014-12-16
红薯

Tigon 是一个开源的、实时的、低延迟、高吞吐量的流处理框架。基于 Apache HadoopApache HBase 构建。Tigon 严重依赖开源项目 TephraApache Twill 提供紧密的集成到已有的 Hadoop/HBase 集群中。

Tigon 应用 这就是“流”,在逻辑上表示为有向无环图(Directed Acyclic Graph),每个节点代表一个处理单元,这些处理单元就是 Flowlet,使用队列来处理单元之间的数据流。

Flows 对于 Tigon 而言相当于 Twill 对于 YARN 容器。提供了运行时弹性的可伸缩性。

Flowlets 可以存储在 HBase ,如果需要可使用 Tephra 的 ACID 属性。

TigonSQL 是 Tigon 附带的一个内存中的流处理库。可利用它来攫取大量的数据流到 Hadoop/HBase 集群中,并执行类 CEP 的查询语句,使用类似 SQL 的语言进行查询。

Tigon 支持不同运行时和环境,你可以运行在单一计算机或者是分布式 Hadoop 集群中,提供直观的命令行接口帮助用户管理 Tigon 流。

要使用 Tigon 必须有:

  1. JDK 6 or JDK 7 (用来运行 Tigon)

  2. GCC

  3. G++

  4. Apache Maven 3.0+ (用来构建示例程序)

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

OSChina 技术周刊第十四期 —— 每周技术精粹

每周技术抢先看,总有你想要的! 移动开发 【软件】医疗和生物医学移动应用框架 mHealhDroid 【博客】Android Studio 使用NDK开发 【博客】Android 4.4(KK)中利用APP打开关闭数据流量 前端...

2014/12/21 10:59
154
0
收藏 | 史上最全的“大数据”学习资源

当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新...

2016/08/08 15:49
100
0
史上最全的“大数据”学习资源(上)[转]

从网上转的 当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展...

2016/05/04 17:25
332
1
虚幻3引擎

虚幻3引擎(Unreal Engine 3)又称虚幻引擎3,是一套为DirectX 9/10 PC、Xbox 360、PlayStation 3平台准备的完整的游戏开发构架,提供大量的核心技术阵列,内容编辑工具,支持高端开发团队的...

2014/06/01 21:15
83
0
史上最全的“大数据”学习资源

当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难,代表着大数...

2016/11/10 17:10
120
0
【转】史上最全的“大数据”学习资源整理

当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新...

2016/12/01 10:21
45
0
【转】史上最全的“大数据”学习资源整理

当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新...

2016/12/01 10:29
187
0
最全大数据学习资源整理

关系数据库管理系统(RDBMS) MySQL:世界最流行的开源数据库; PostgreSQL:世界最先进的开源数据库; Oracle 数据库:对象-关系型数据库管理系统。 框架 Apache Hadoop:分布式处理架构,结合了...

03/08 17:19
0
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部