Apache Kafka

软件主页
关注
kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能...
加载中
4
回答
专访 PMC,开源项目 Apache Pulsar 如何挑战 Kafka?

开源流数据公司 StreamNative 近期宣布完成数百万美元 Pre-A 轮融资,日前正式加入 CNCF。其创始团队成员是 Apache Pulsar...

09/17 17:58
4
回答
写了一个flink kafka到mysql流程,启动一直报错

写了一个flink kafka到mysql流程,启动一直报错 "C:\Program Files\Java\jdk1.8.0_181\bin\java.e...

09/01 19:10
3
回答
我公司和移动合作搞了一个项目叫IDC的,现在需要在kafka系统上获取消息
RealMatrix 的回答 2015/12/01 19:23
最佳答案
下面是我的DEMO 给你借鉴下吧 package cn.outofmemory.kafka; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; ...
3
回答
kafka数据积压,应该怎么快速消费全部kafka数据??
123yxp123 的回答 07/15 12:08
最佳答案
增加partition,增加消费线程 ,优化代码,消费端实现简单业务,再进行拆分处理业务逻辑 采取临时方案:1 根据积压数据量和消费速率计算每秒消费多少消息,能够容忍的故障处理时间来计算分配多少partition合适,如1000w消息积压,每小时一个消费者消费360w,3个消费者可以在一小时内...
4
回答
Kafka消息数据积压,Kafka消费能力不足怎么处理?
诸葛小猿 的回答 07/15 09:36
最佳答案
1.增加Kafka集群的节点,进行集群扩容 2.增加有数据积压的topic的partition分区数 3.增加消费的线程数量
4
回答
apache kafka 遇到 Attempt to heart beat failed since the group is rebalancing, try to re-join group. 该如何解决?

spirng-kafka的多consumer问题困扰了我好久,今天项目再次出现 Attempt to heart beat failed since th...

2017/08/16 15:21
3
回答
kafka客户端连接失败

1、远程服务器安装的zookeeper和kafka,在服务器上启动生产者和消费者之间是正常的可以通信 2、使用java写kafka的客户端,一直连接不上远...

2018/08/15 14:13
4
回答
请问rabbitmq为什么比kafka可靠啊

kafka我记得也有ack确认机制啊

04/09 10:09
1
回答
kafka集群突然挂掉,求救大神看看什么问题出在哪??

kafka集群,版本是0.8.2.0:hetserver1,hetserver,hetserver3三台主机 hetserver1在17号 21:39开始...

03/18 10:54
3
回答
kafka消费不到数据,应该怎么让kafka从头开始消费数据,??

kafka-console-consumer --topic kafar.test --bootstrap-server master:9092 /etc...

03/09 09:37
1
回答
Loading class `com.mysql.jdbc.Driver'. This is deprecated.

overriding auto.offset.reset to none for executor 2020-02-24 11:10:20,670 WAR...

02/24 11:06
1
回答
KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.config' is not set
源码节点 的回答 02/24 10:48
最佳答案
[root@master ~]# export KAFKA_OPTS="-Djava.security.auth.login.config=/etc/kafka/kafka_client_jaas.conf"
2
回答
spring集成kafka消费者监听没有触发是怎么回事?

能运行程序,也能连到服务器上,但是消费者监听没有触发,不知道什么原因 我的kafka消费者文件配置,基础连接的配置属性那部分应该没问题,因为是可以连上的 ...

2018/11/30 17:52
3
回答
win10下如何使用docker安装ZooKeeper、Flink、Kafka?

win10下如何使用docker安装ZooKeeper、Flink、Kafka? 各位前辈能给出一些win10安装ZooKeeper、Flink、Kafk...

2019/12/17 09:15
5
回答
kafka(版本 0.10)已消费过的数据重复消费,而且是3天前的,zk的log未发现异常

kafka(版本 0.10)已消费过的数据重复消费,而且是3天前的,zk的log未发现异常 三台机器分布式消费,下面是消费端配置 props.put("a...

2017/02/13 17:23
1
回答
在原kafka集群动态增加分区后,发现刚增加的分区和原分区数据量差距太大?

现在遇到了一个kafka集群分区扩容问题,详细情况为: 我现在kafka 集群为5台机器,现在的主题中分区数为8个,但是没有添加新的机器,只是想将现在的分...

2019/06/22 15:12
1
回答
Kafka 即时推送

项目需要向多个租户下推送消息,但是总不能每个租户都创建一个topic吧?如果都同时丢在同一个topic里面,那么消息量少的租户可能被消息量大的租户阻塞,比...

2019/12/12 18:53
1
回答
spring boot整合kafka中自定义分区怎么加入到配置中?

我发现KafkaTemplate 和 KafkaProperties 都没有关于设置Partitioner的地方? 也搜不到; 难道只能用Properti...

2019/12/08 12:10
3
回答
kafka重复消费的问题

关于kafka重复消费的问题你们是怎么解决的?我看网上说引入第三方中间键redis, 每次消费前先判断该消息是否存在Redis, 没有则进行消费, 消费完...

2019/11/27 11:04
1
回答
sparkstreaming的kafka接口,使用高级接口好还是使用低级接口?管理kf偏移量

sparkstreaming的kafka接口,使用高级接口好还是使用低级接口?管理kf偏移量

2019/12/02 13:31

没有更多内容

加载失败,请刷新页面

返回顶部
顶部