kafka无法消费消息的问题

HelloFire 发布于 2015/10/09 12:51
阅读 1K+
收藏 0
如题,kafka出现严重的消息堆积,求大伙帮忙分析一下原因,下面对问题做一些描述:
1. 我是用java写的代码,部署在tomcat
2. 另一个应用也是用同样的代码,没有出现消息堆积
3. 消息量不大,一分钟不到10条
4. 在这台服务器上基本无法消费,看日志昨晚12点多的时候消费了几条又停了  
5. kafka没有出现宕机的情况
6. 本地用同样的consumer组、同样的代码、连接同样的zookeeper,是可以正常消费的,部署到生产环境就不行
加载中
0
moyiguke
moyiguke

在部署环境上面安装kafka,加入到集群。然后跑消费者测试 ,(bin/kafka-consumer-perf-test.sh --zookeeper esv4-hcl197.grid.linkedin.com:2181 --messages 50000000 --topic test --threads 1)。跑通的话,说明通道OK的。

如果通道是OK的,推断是代码问题。远程调试代码,https://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/。

0
johnchou
johnchou
建议查看kafka的日志并查看zookeeper node数据
0
wolf_6
wolf_6
producer数据写的不均衡。
0
呼啦_小呆
呼啦_小呆

你的不同应用是不是同一个group,单独group下有几个consumer,单独consumer查看下log,是不是网络问题

0
生命的奋进

是不是那个topic只有一个partion,有两个消费者,所以其中一个消费不到?

H
HelloFire
partion是两个
返回顶部
顶部