Kafka 资源分配自动调整系统 Cruise Control

BSD
Java
跨平台
2017-08-31
王练

Cruise Control 是首个将 Kafka 群集的动态工作负载重新平衡和自动分配的全自动化系统。通过简化 Kafka 集群的运作,为用户提供了极大的便利。

Cruise Control 是用于持续监视 Kafka 集群并根据配置自动调整分配资源的系统,由  LinkedIn 开源。开发团队表示,随着 Apache Kafka 的普及,许多公司拥有越来越大的 Kafka 集群。在 LinkedIn ,有 1800+ Kafka brokers,如何平衡其工作量也成了一大难题。Cruise Control 的出现,旨在解决这一操作的可扩展性问题。

Cruise Control 旨在解决以下关键的运维目标:

  1. Kafka 集群必须在磁盘,网络和 CPU 利用率方面持续均衡节点。

  2. 当 broker 失败时,需自动将该 broker 上的副本重新分配给群集中的其他 broker ,并恢复原始的复制因子。

  3. 能够识别消耗群集最多资源的分区。

  4. 支持低接触集群扩展和 broker 停用。

  5. 支持使用异构硬件运行群集,在缺少相同的硬件时快速修复硬件故障。 然而,异构硬件增加运维开销,因为在均衡集群时,SRE 需要精确地识别硬件差异。Cruise Control 应能够支持异构机器的 Kafka 群集和单机运行多个 broker 。


加载中

评论(0)

暂无评论

暂无资讯

暂无问答

项目管理的相关工具

源码管理:CVS Bug管理:JIRA 构建管理:ANT 自动构件工具:cruise control 项目管理:MS Project

2010/05/14 14:00
411
0
《编写可维护的 JavaScript》读书笔记第20章:组装到一起

即把前面讲解的各个部分整合到一起,组成一个完整的自动构建任务。

2014/01/06 21:55
37
0
burnt plastic and got up a

burnt plastic and got up a

2015/06/24 13:35
4
0
hadoop2.7.3完全分布式集群搭建

VM-Fusion安装 mac vmFusion: 参考其他资料 VM-Fusion安装centos虚拟机 参考:https://my.oschina.net/u/563848/blog/414818 安装Hadoop NFS-HA模式配置及设置环境参考: https://blog.csdn....

05/29 22:59
13
0
DVD 分区

大多光盘镜像文件都有RE, RF, RF 是 region.free., RE 同样是region.xxx 到底是什么呢, 如下: Region 1 - The U.S., U.S. territories and Canada Region 2 - Europe, Japan, the Middl...

2012/01/06 13:45
47
0
games in a row

games in a row

2015/06/23 13:44
10
0
使用AdWords API设置再营销方法添加移动聚合平台教程

KeyMob移动聚合平台是基于专业的移动应用广告管理工具,是目前比较优秀的移动聚合平台,旨在为广大开发者提供安卓应用推广与IOS应用交叉推广及对移动营销广告进行高效的优化管理,为开发者带来...

2015/12/09 11:49
11
0
2015 ACM/ICPC 北京赛区网络赛 B.Mission Impossible 6 解题报告

Mission Impossible 6 时间限制:1000ms 单点时限:1000ms 内存限制:256MB 描述 You must have seen the very famous movie series,"Mission Impossible", from 1 to 4. And "Mission Impossib...

2015/09/20 22:44
42
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部