授权协议: Apache-2.0
操作系统: 跨平台
开发厂商: Apache
收录时间: 2019-09-15
提 交 者: threeC

TubeMQ 是腾讯在 2013 年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,较之于众多明星的开源 MQ组件,TubeMQ 在海量实践(稳定性+性能)和低成本方面有着比较好的核心优势。

2019 年 9 月 12 日,Apache 软件基金会成立 20 周年之际,腾讯在 ApacheCon 宣布 TubeMQ 捐赠给 ASF。TubeMQ 成为腾讯开源第一个捐赠 Apache 基金会的项目。

特性:

  • 纯 Java 实现语言
  • 引入 Master 协调节点:相比 Kafka 依赖于 Zookeeper 完成元数据的管理和实现 HA 保障不同,TubeMQ 系统采用的是自管理的元数据仲裁机制方式进行,Master 节点通过采用内嵌数据库 BDB 完成集群内元数据的存储、更新以及 HA 热切功能,负责 TubeMQ 集群的运行管控和配置管理操作,对外提供接口等;通过 Master 节点,TubeMQ 集群里的 Broker 配置设置、变更及查询实现了完整的自动化闭环管理,减轻了系统维护的复杂度
  • 服务器侧消费负载均衡:TubeMQ 采用的是服务侧负载均衡的方案,而不是客户端侧操作,提升系统的管控能力同时简化客户端实现,更便于均衡算法升级
  • 系统行级锁操作:对于 Broker 消息读写中存在中间状态的并发操作采用行级锁,避免重复问题
  • Offset 管理调整:Offset 由各个 Broker 独自管理,ZK 只作数据持久化存储用(最初考虑完全去掉ZK依赖,考虑到后续的功能扩展就暂时保留)
  • 消息读取机制的改进:TubeMQ 采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带 SSD 设备的机器,增加消息滞后转 SSD 消费的处理,解决消费严重滞后时吞吐量下降以及 SSD 磁盘容量小、刷盘次数有限的问题,使其满足业务快速生产消费的需求
  • 消费者行为管控:支持通过策略实时动态地控制系统接入的消费者行为,包括系统负载高时对特定业务的限流、暂停消费,动态调整数据拉取的频率等;
  • 服务分级管控:针对系统运维、业务特点、机器负载状态的不同需求,系统支持运维通过策略来动态控制不同消费者的消费行为,比如是否有权限消费、消费时延分级保证、消费限流控制,以及数据拉取频率控制等
  • 系统安全管控:根据业务不同的数据服务需要,以及系统运维安全的考虑,TubeMQ 系统增加了 TLS 传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理,满足业务和系统运维在系统安全方面的需求
  • 资源利用率提升改进:相比于 Kafka,TubeMQ 采用连接复用模式,减少连接资源消耗;通过逻辑分区构造,减少系统对文件句柄数的占用,通过服务器端过滤模式,减少网络带宽资源使用率;通过剥离对 Zookeeper 的使用,减少 Zookeeper 的强依赖及瓶颈限制
  • 客户端改进:基于业务使用上的便利性以,我们简化了客户端逻辑,使其做到最小的功能集合,我们采用基于响应消息的接收质量统计算法来自动剔出坏的 Broker 节点,基于首次使用时作连接尝试来避免大数据量发送时发送受阻

 

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Apache TubeMQ 的相关资讯

Apache TubeMQ 的相关博客

TubeMQ安装使用

https://github.com/Tencent/TubeMQ/blob/master/docs/tubemq_user_guide.md...

腾讯万亿级大数据组件 TubeMQ 正式开源

点击上方“民工哥技术之路”选择“星标” 每天10点为你分享不一样的干货 读者福利!多达 2048G 各种资源免费赠送 来源:腾讯开...

腾讯自研万亿级消息中间件TubeMQ为什么要捐赠给Apache?

导语 | 近日,云+社区技术沙龙“腾讯开源技术”圆满落幕。本次沙龙邀请了多位腾讯技术专家围绕腾讯开源与各位开发者进行探讨,...

腾讯自研万亿级消息中间件TubeMQ为什么要捐赠给Apache?

导语 | 近日,云+社区技术沙龙“腾讯开源技术”圆满落幕。本次沙龙邀请了多位腾讯技术专家围绕腾讯开源与各位开发者进行探讨,...

腾讯万亿级分布式消息中间件TubeMQ正式开源

<div class="htmledit_views" id="content_views"> <div class="rich_media_content" id="js_content"> ...

年度开源盛会 ApacheCon 首发中文盛宴来临,欢迎报名!

简介 ApacheCon 是久负盛名的开源盛宴,为开源界备受关注的会议之一,也是开源运动早期的知名活动之一,其最早的一期要追溯 ...

年度开源盛会 ApacheCon 首发中文盛宴来临,欢迎报名!

ApacheCon 是久负盛名的开源盛宴,为开源界备受关注的会议之一,也是开源运动早期的知名活动之一,其最早的一期要追溯 1998 年...

年度开源盛会 ApacheCon 首发中文盛宴来临,欢迎报名!

点击上方“开源社”关注我们 | 作者:ALC Beijing | 转载自:ALC Beijing | 编辑:沈于蓝 | 设计:朱亿钦 | 责编:王皓月 开源...

腾讯Techo开发者大会PPT分享

分享点好东西给你们! 腾讯云年度的开发者大会已经落幕,大会包括1场前沿技术主峰会,18个技术专场,150位海内外技术专家,2...

华人新成员为 ASF 添柴火

点击上方“开源社”关注我们 | 作者:ASF blog | 编辑:陈梅梅 | 设计:叶修缘丶 开源社引言 ASF 今年的新成员选举,使得 AS...

评论 (10)

加载中
腾讯的产品,屌文档搞的你蛋疼。。。滚,有rocketmq就可以了
2019/12/17 11:05
回复
举报
支持阿里系!!!
2019/12/16 14:19
回复
举报
不管好不好用,这框架一看就是人家不想要了,开源出来的,连基本的开发文档,流程都不全,你开源出来做啥,就接截几个图,你的诚意在哪,这么大企业,企业责任在哪,还不如一个个人开发者或小团队?一如既往的鄙视鹅厂,鹅厂出品必属烂品
2019/11/27 17:21
回复
举报
不敢用啊
2019/11/26 16:16
回复
举报
疼讯开源,必属辣鸡
2019/11/26 16:05
回复
举报
rz
土逼mq??
2019/11/20 08:57
回复
举报
不管好不好用,这框架一看就是人家不想要了,开源出来的,连基本的开发文档,流程都不全,你开源出来做啥,就接截几个图,你的诚意在哪,这么大企业,企业责任在哪,还不如一个个人开发者或小团队?一如既往的鄙视鹅厂,鹅厂出品必属烂品
2019/11/20 08:52
回复
举报
这样开源出来反而是在坑人
2019/11/26 16:15
回复
举报
mark
2019/10/12 16:49
回复
举报
持续关注
2019/09/16 13:30
回复
举报
更多评论
10 评论
132 收藏
分享
返回顶部
顶部