kafka消费者消费速度慢

binglanga 发布于 2018/09/21 10:24
阅读 8K+
收藏 0

kafka1.1.0,用spring-kafka进行消费时出现消费者速度跟不上生产者,导致消息大量积压的问题

使用spring kafka进行消息的生产与消费,消息发送时未指定key(key为null)

消费时即使设置了最大拉取字节,也没有显著的性能提升

一条消息的大小大约为300个字节,就是很普通的一个java bean的json格式

请各位大佬帮忙分析一下问题的原因

加载中
0
六点小巷
六点小巷

kafka本来就是临时存储消息的,消费者速度跟不上生产者,集群模式下可以添加多个消费者,不知道你的消费者是什么如果是storm的话 可以设置nimbus 的并发度 (默认等于 主题 的个数 )

0
shxt_xiaozhi
shxt_xiaozhi

1、批量发送消息的大小是否过大,发送的间隙是否过小。如果设置手动提交的话,会不会是接收消费反馈状态代码的问题

2、可以配置多个线程消费,spring可以设置。

3、当延迟较大时,可以观察一下服务器的硬件使用参数,如果没有没有到达瓶颈,应该还是kafka参数设置的问题。

0
明明如月water

打印代码耗时,排除业务中存在耗时操作,导致消息消费速度慢。

OSCHINA
登录后可查看更多优质内容
返回顶部
顶部