实时数据传输平台 TimeTunnel

Apache
Java
跨平台
阿里巴巴
2014-02-24
小网客

什么是TimeTunnel
!TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。
高性能
2k大小的消息,峰值每秒4w TPS的访问。淘宝3台服务器,每天处理2.3T(压缩后)数据,峰值每秒50MByte流入流量、130MByte流出流量
实时性
90%的消息5ms以内送达
顺序性
如果你开启了顺序传输功能,timetunnel保证消息的发布顺序和订阅顺序是一致的
高可靠性
存储方面,我们设计了内存->磁盘->hadoop dfs三级缓存机制,确保数据可靠。 系统方面,我们将服务器节点组织成环,在环里面每一个节点的后续节点是当前节点的备份节点,当某节点故障时,后续节点自动接管故障节点数据,以保证数据可靠性
高可用性
单个节点故障,不影响系统正常运行
可扩展性
可以对系统进行横向和纵向扩展,横向扩展可以向现有的服务环里面增加节点,纵向扩展可以增加服务环
谁使用TimeTunnel
目前TimeTunnel在淘宝广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。

加载中

评论(1)

Ryan-瑞恩
Ryan-瑞恩
又一款 阿里的东西。 #TimeTunnel#

暂无资讯

暂无问答

消息分发的同步均衡策略

TimeTunnel在做消息分发时有这样一个场景: A类消息需要做实时分析, 且量很大, 故它的消费者不会只是一台机器, 而是一组机器, 并要求这组中每台机器收到的消息量应该平均的, 即A消息在某个时刻...

2011/03/05 11:26
231
0
“阿里巴巴大数据系统体系”学习笔记-纲领篇

“你是做什么的?” “数据产品经理”看到对方一脸懵逼之后,再补充一句“大数据相关的工作” “哦~,高大上,不懂” 过去5年,“大数据”是最火的一个概念,被纷繁解读。在我看来,数据跟石...

08/29 16:21
18
0
一些开源项目记录

#Core ##Apache Commons Lang 介绍:Apache’s library that provides a host of helper utilities for the java.lang API, such as String manipulation, object creation, etc. ##Google G...

2013/11/20 12:15
211
0
【转载】跨语言通信方案比较

很好的比较。

2014/08/12 15:46
162
1
Kafka是个奇葩!——Linkin论文学习笔记

实时数据流是现在互联网公司、甚至拥有大规模数据的传统企业的主要模式, 实时数据(Real-time Activity Data)就是那些非交易,不需要秒级响应的数据, 但在后续的分析中产生极大作用,例如广...

2014/08/26 15:04
3.1K
3
转自淘宝的storm简介

场景 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条...

2015/03/25 10:17
19
0
storm简介

场景 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条...

2013/01/16 16:28
174
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部