Apache Kafka

软件主页
关注
kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能...
加载中
2
回答
Flink实时消费Kafka中的binlog日志乱码(反序列化失败)

业务场景: Canal将mysql的binlog日志上报到Kafka,通过Flink实时程序消费该binlog信息进行实时展示。 异常信息: 数据消费正常...

02/22 16:17
3
回答
kafka源码搭建创建主题报错找不到主类kafka.admin.TopicCommand

kafka源码搭建启动成功。 但是创建主题时报错,找不到主类。 kafka-topics.bat --create --zookeeper localho...

2018/05/27 14:07
5
回答
需要给kafka,xxl-job,rabbitmq单独出一个服务吗?

最近再纠结要不要给kafka单独出一个服务A,其它服务调用服务A然后服务A和kafka连接。xxl-job,rabbitmq同理。 如果需要单独出一个服务...

2021/09/17 15:57
1
回答
spring-boot整合kafka一直报错 Unknown error fetching data for topic-partition TPC_NOTICE_FINISH-2

spring.kafka.consumer.bootstrap-servers=10.20.53.90:8092 spring.kafka.consu...

2019/11/13 17:17
1
回答
kafka可视化工具为啥要连接zookeeper

最近工程需要做一个kafka的可视化工具,(类似于mysql的navicat一样)。查阅了相关资料,包括kafka Tool、kafka monitor等...

2021/07/13 16:07
2
回答
oracle goldengate+kafka分区问题

ogg到kafka数据同步的时候涉及分区问题,我不想使用ogg+kafka默认的分区规则,想自己实现这分区规则,要自己实现就必须完成黄色框部分的自定义,本...

2017/07/14 15:44
1
回答
先不提最新的Pulsar服务中间件,先说一下Kafka优势和特性有哪些?

Kafka的优点 高吞吐量:单机每秒处理几十上百万的消息量。即使存储了许多TB的消息,它也保持稳定的性能。 高性能:单节点支持上千个客户端,并保证零停机和...

2021/05/16 14:40
10
回答
MQ处理高并发能支撑多大的量?

最近碰到一个并发问题,打算用mq做异步处理,然后有一个疑问,当你的系统有10W并发的时候,使用activveMQ能支持这么大的并发吗?我找了一些资料,发现...

2021/02/16 13:54
2
回答
Mq流量削峰怎么落地

比如秒杀环节,怎么做到让用户点击抢购被异步削峰,但是又要实时把抢购的结果反馈给用户.

2021/04/06 17:25
1
回答
bin/kafka-server-start.sh config/server.properties 启动报错了,,

bin/kafka-server-start.sh config/server.properties bin/kafka-server-start.sh ...

2021/03/24 13:55
1
回答
Missing required configuration "offset.storage.file.filename" ??这整个啥子好勒?

.kafka.common.config.ConfigException: Missing required configuration "offset....

2021/03/24 14:56
1
回答
kafka 在配置sasl 认证的时候

我英语不好, 翻译读着怪怪的, 有个疑问 配置jaas文件的时候 KafkaServer { org.apache.kafka.common.securi...

2021/02/01 17:33
2
回答
kafka手动确认后,还是要等业务处理完才能进行下一次消费?

@KafkaListener(topics = {KafkaConstants.ORDER_CREATE_THIRD}) public void crea...

2020/10/25 17:22
4
回答
专访 PMC,开源项目 Apache Pulsar 如何挑战 Kafka?

开源流数据公司 StreamNative 近期宣布完成数百万美元 Pre-A 轮融资,日前正式加入 CNCF。其创始团队成员是 Apache Pulsar...

2020/09/17 17:58
4
回答
写了一个flink kafka到mysql流程,启动一直报错

写了一个flink kafka到mysql流程,启动一直报错 "C:\Program Files\Java\jdk1.8.0_181\bin\java.e...

2020/09/01 19:10
3
回答
我公司和移动合作搞了一个项目叫IDC的,现在需要在kafka系统上获取消息
RealMatrix 的回答 2015/12/01 19:23
最佳答案
下面是我的DEMO 给你借鉴下吧 package cn.outofmemory.kafka; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; ...
3
回答
kafka数据积压,应该怎么快速消费全部kafka数据??
123yxp123 的回答 2020/07/15 12:08
最佳答案
增加partition,增加消费线程 ,优化代码,消费端实现简单业务,再进行拆分处理业务逻辑 采取临时方案:1 根据积压数据量和消费速率计算每秒消费多少消息,能够容忍的故障处理时间来计算分配多少partition合适,如1000w消息积压,每小时一个消费者消费360w,3个消费者可以在一小时内...
4
回答
Kafka消息数据积压,Kafka消费能力不足怎么处理?
诸葛小猿 的回答 2020/07/15 09:36
最佳答案
1.增加Kafka集群的节点,进行集群扩容 2.增加有数据积压的topic的partition分区数 3.增加消费的线程数量
4
回答
apache kafka 遇到 Attempt to heart beat failed since the group is rebalancing, try to re-join group. 该如何解决?

spirng-kafka的多consumer问题困扰了我好久,今天项目再次出现 Attempt to heart beat failed since th...

2017/08/16 15:21
3
回答
kafka客户端连接失败

1、远程服务器安装的zookeeper和kafka,在服务器上启动生产者和消费者之间是正常的可以通信 2、使用java写kafka的客户端,一直连接不上远...

2018/08/15 14:13

没有更多内容

加载失败,请刷新页面

返回顶部
顶部