Apache InLong 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache InLong 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache InLong 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 国产
投 递 者 Like女书法家
适用人群 未知
收录时间 2019-09-15

软件简介

Apache InLong(原 Apache TubeMQ 项目更名)是腾讯在 2013 年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,较之于众多明星的开源 MQ组件,TubeMQ 在海量实践(稳定性+性能)和低成本方面有着比较好的核心优势。

2019 年 9 月 12 日,Apache 软件基金会成立 20 周年之际,腾讯在 ApacheCon 宣布 TubeMQ 捐赠给 ASF。TubeMQ 成为腾讯开源第一个捐赠 Apache 基金会的项目。

特性:

  • 纯 Java 实现语言
  • 引入 Master 协调节点:相比 Kafka 依赖于 Zookeeper 完成元数据的管理和实现 HA 保障不同,TubeMQ 系统采用的是自管理的元数据仲裁机制方式进行,Master 节点通过采用内嵌数据库 BDB 完成集群内元数据的存储、更新以及 HA 热切功能,负责 TubeMQ 集群的运行管控和配置管理操作,对外提供接口等;通过 Master 节点,TubeMQ 集群里的 Broker 配置设置、变更及查询实现了完整的自动化闭环管理,减轻了系统维护的复杂度
  • 服务器侧消费负载均衡:TubeMQ 采用的是服务侧负载均衡的方案,而不是客户端侧操作,提升系统的管控能力同时简化客户端实现,更便于均衡算法升级
  • 系统行级锁操作:对于 Broker 消息读写中存在中间状态的并发操作采用行级锁,避免重复问题
  • Offset 管理调整:Offset 由各个 Broker 独自管理,ZK 只作数据持久化存储用(最初考虑完全去掉ZK依赖,考虑到后续的功能扩展就暂时保留)
  • 消息读取机制的改进:TubeMQ 采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带 SSD 设备的机器,增加消息滞后转 SSD 消费的处理,解决消费严重滞后时吞吐量下降以及 SSD 磁盘容量小、刷盘次数有限的问题,使其满足业务快速生产消费的需求
  • 消费者行为管控:支持通过策略实时动态地控制系统接入的消费者行为,包括系统负载高时对特定业务的限流、暂停消费,动态调整数据拉取的频率等;
  • 服务分级管控:针对系统运维、业务特点、机器负载状态的不同需求,系统支持运维通过策略来动态控制不同消费者的消费行为,比如是否有权限消费、消费时延分级保证、消费限流控制,以及数据拉取频率控制等
  • 系统安全管控:根据业务不同的数据服务需要,以及系统运维安全的考虑,TubeMQ 系统增加了 TLS 传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理,满足业务和系统运维在系统安全方面的需求
  • 资源利用率提升改进:相比于 Kafka,TubeMQ 采用连接复用模式,减少连接资源消耗;通过逻辑分区构造,减少系统对文件句柄数的占用,通过服务器端过滤模式,减少网络带宽资源使用率;通过剥离对 Zookeeper 的使用,减少 Zookeeper 的强依赖及瓶颈限制
  • 客户端改进:基于业务使用上的便利性以,我们简化了客户端逻辑,使其做到最小的功能集合,我们采用基于响应消息的接收质量统计算法来自动剔出坏的 Broker 节点,基于首次使用时作连接尝试来避免大数据量发送时发送受阻

 

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(12) 发布并加入讨论🔥
2022/09/21 14:22

Apache InLong 反序列化漏洞

漏洞描述 Apache InLong 是一款针对海量数据的一站式集成框架。 受影响版本 Apache InLong 中 MySQL 中数据在反序列化时缺少过滤,导致能指定 MySQL JDBC 连接 URL 参数的攻击者可能会在 Apache InLong 服务器上执行远程代码。 攻击者可利用该漏洞进行远程代码执行,甚至接管服务器。 漏洞名称 Apache InLong 反序列化漏洞 漏洞类型 使用欺骗进行的认证绕过 发现时间 2022/9/21 漏洞影响广度 一般 MPS编号 MPS-2022-57298 CVE编...

0
0
发表了资讯
2022/06/23 10:42

Apache InLong 毕业成为 Apache 顶级项目

刚刚获悉,全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong成为成功从Apache孵化器毕业成为社区顶级项目,这也是Apache社区首个一站式大数据集成顶级项目。这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。 这是继腾讯开源项目 Angel 从 LF AI 基金会毕业成为世界顶级的 AI 开源项目之后,腾讯大数据团队在开源领...

3
9
发表了资讯
2022/02/28 07:19

Apache InLong (incubating) 进入1.0 时代!

Apache InLong(应龙)是一个一站式的海量数据集成平台,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 1 Apache InLong(incubating) 简介 Apache InLong(应龙)是腾讯捐献给 Apache 社区的一站式海量数据集成框架,提供自...

10
13
发表了资讯
2021/11/18 19:47

Apache InLong(incubating) 发布 0.11.0 版本

InLong(应龙) : 中国神话故事里的神兽,引流入海,借喻 InLong 系统提供数据接入能力。 Apache InLong(incubating) 由原 Apache TubeMQ(incubating)改名而来,伴随着名称的改变,InLong 也由单一的消息队列升级为一站式的数据集成解决方案,支持了大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 刚刚发布的 0.11.0-incubating 版本是改名之后的第...

1
9
2021/11/18 18:53

Apache InLong(incubating) 发布 0.11.0 版本

InLong(应龙) : 中国神话故事里的神兽,引流入海,借喻 InLong 系统提供数据接入能力。 Apache InLong(incubating) 由原 Apache TubeMQ(incubating)改名而来,伴随着名称的改变,InLong 也由单一的消息队列升级为一站式的数据集成解决方案,支持了大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 刚刚发布的 0.11.0-incubating 版本是改名之后的第...

1
8
发表了资讯
2021/09/17 14:10

Apache InLong 重磅发布 0.10.0 版本,着力降低用户使用门槛

导语:Apache InLong 以腾讯内部使用的TDBank为原型,依托万亿级别的数据接入和处理能力,整合了数据采集、汇聚、存储、分拣数据处理全流程,拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong(孵化中) 刚刚发布了 0.10.0 版本,该版本是升级为 InLong(中文名:应龙) 后的第二个版本,着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与,关闭超过 120 个issue, 开发超过 8 个重要Feature。 Apache...

6
17
发表于开发技能专区
2020/12/23 09:19

Apache TubeMQ 项目全面升级为 TubeHub

近日,Apache TubeMQ 项目负责人宣布该项目将进行全面升级拓展,并更名为 TubeHub 。 TubeMQ 项目始于 2013 年,是腾讯自研的高吞吐消息队列组件。项目团队于 2019 年将 TubeMQ 捐赠给 Apache 基金会,成为腾讯首个被 Apache 基金会接受的项目。 来自腾讯的 Apache TubeMQ 项目负责人薛赵明介绍,在 Apache 基金会一年的项目孵化过程中,项目团队新增了 40+ 的 contributores,社区提交了 400+ issuses,合并了 300+ PRs,共发布...

5
5
发表于软件架构专区
2019/09/18 07:26

腾讯万亿级大数据组件 TubeMQ 正式开源

近日,在 ApacheCon 2019 上,腾讯开源管理委员会委员、腾讯开源联盟主席、Apache 软件基金会 Member 堵俊平介绍了腾讯开源路线图,宣布腾讯万亿级分布式消息中间件 TubeMQ 正式对外开源,并计划捐赠给 Apache 基金会。 ▲ 腾讯开源路线图 TubeMQ 的原型是腾讯数据平台部在2013年自研的分布式消息中间件系统(MQ),专注于大数据场景下海量数据的高性能存储和传输,长期服务微信支付、腾讯视频、广点通等产品。 ▲ TubeMQ 项目介...

28
62
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
12 评论
253 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部