kafka 系统测试框架 kafka-monitor

Apache
跨平台
Linkedin
2016-06-16
花仲马

在2016年4月份举行的Kafka峰会上,LinkedIn在Apache 2.0许可协议开源Kafka Monitor,并于近日详细介绍了该监控工具的架构以及他们最初的构建动机。在年初的时候,LinkedIn曾在一篇有关Kafka整体应用的文章中简单地提及过Kafka Monitor,但并没有详细介绍该项目的语义组成或者背后的动机。

Kafka Monitor项目的动机有三个:

  1. 需要监控和测试Kafka部署并跟踪主干稳定性,以便他们能够尽早捕获正在开发的变更集中的问题;

  2. 需要不间断地在生产集群上监控SLA,并不断地在测试集群上运行回归测试;

  3. 现有的监控框架无法满足其用例的扩展性、模块化需求,他们需要一个自定义的客户端库。

网站可靠性工程部门过去已经监控了输入速率、离线分区数和正在复制的分区数等指标,以确定Kafka集群的可用性和系统整体的健康状况。然而,问题在于,这类原始的值本身无法表明集群在终端用户体验方面是否真的可用。

在LinkedIn的公开出版物Keystone Pipeline里,他们提到了两个潜在的Kafka候选监控方案,微软的一个项目和Netflix Kafka监控,但最终确定它们不适合自己的应用场景。

Kafka Monitor允许开发人员组合模拟各种故障场景的模块,如GC中断、broker硬杀及“滚动弹出(rolling bounces)”、磁盘故障,并随着场景进行收集有关服务运行时行为的指标。每次当生产者创建消息时抛出的异常被捕获,衡量生产者服务错误率的指标就会增加。消费者服务会跟踪一个由Kafka分区分割的增量索引计数器以及消息净荷的时间戳,以便度量消息丢失率、重复率以及端到端延迟。

Kafka Monitor实例运行在一个单独的Java进程中,运行多个测试,介于用户或消费者服务与Kafka集群之间。Kafka Monitor收集的运行时指标包括生产者服务的生产效率、消费者服务的消费效率、消息丢失、消息重复和端到端延迟。多个Kafka Monitor跨多个Kafka集群运行大量的测试场景,这可以由一个复制服务通过镜像方式捕获跨集群的总体延迟指标。

Kafka Monitor原生支持Java,但也为非JVM语言提供了一个REST接口。这对开源社区有着特殊的意义,LinkedIn的Dong Lin表示:

我们一般会脱离Apache Kafka主干,并每季度生成一个新的内部版本,或者吸收Apache Kafka的新特性。脱离主干的一个显著的好处是,部署在LinkedIn生产集群中的Kafka经常有已经在Apache Kafka主干中检测到的问题,他们可以在Apache Kafka正式版本发布之前进行修复。

Kafka项目本身包含一些系统测试,每次代码捡入时都会运行,鉴于和Kafka主干的紧密关系,LinkedIn计划实现类似的系统测试。他们希望将Kafka Monitor和类似Simoorg这样的错误注入框架以及Graphite或类似的框架集成,以便能够通过一个单独的Web服务查看Kafka Monitor集群生成的所有指标。

LinkedIn还简单地提到了如何设置基本的监控,生成并可视化核心指标。他们的GitHub页面提供了详细的信息。

 via InfoQ

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

LinkedIn 详细介绍了他们开源的 Kafka Monitor

在2016年4月份举行的Kafka峰会上,LinkedIn在Apache 2.0许可协议下开源了Kafka Monitor,并于近日详细介绍了该监控工具的架构以及他们最初的构建动机。在年初的时候,LinkedIn曾在一篇有关K...

2016/06/16 07:49

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

LinkedIn开源Kafka Monitor

LinkedIn开源Kafka Monitor

2016/08/15 21:37
371
0
kafka监控kafkaoffsetmonitor安装*

kafka监控kafkaoffsetmonitor安装

2015/10/09 18:07
4.5K
0
LinkedIn kafka-monitor

介绍 最近一直在寻找合适的kafka监控软件,希望该软件既有kafka管理功能,又有kafka监控功能,目前流行的kafka manager在管理方面还凑活,但是监控方面做得不是很好,比如单个topic的消息出入...

2017/03/29 17:30
182
0
LinkedIn开源Kafka Monitor

一个关于Kafka的监控测试框架 Apache Kafka 已经成为了一个面向大规模流数据的,标准的消息系统。在Linkedin这样的公司, 它被用作各类数据管道的主力,支持一系列关键服务。它已经成为确保企...

2018/11/21 22:21
18
0
Logstash 与Elasticsearch整合使用示例

本文简单介绍了Logstash如何从kafka、log4j、logback及file等数据源获取数据并输出到Elasticearch的完整示例。

2015/11/24 13:47
1K
0
大数据技能图谱

大数据处理框架 Spark(Spark学习脑图) - RDD - Spark SQL - Spark Streaming - MLLib Hadoop - HDFS (分布式文件系统) - Mapreduce(计算框架) - Yarn(资源管理平台) - Pig(piglatin ...

2016/03/17 14:03
518
1
【KafkaOffsetMonitor安装部署】

KafkaOffsetMonitor功能: 1.从标题都可以看出来,Kafka Offset Monitor,是对consumer消费情况进行监控,并能列出每 个consumer offset,滞后数据。 2.消费者组列表 3.每个topic的所有paritio...

2016/07/01 00:51
27
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部