Kafka - 开源中国社区

kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万...

0投票
0回答
32浏览

kafka sink connector 偏移量控制

public void put(Collection<SinkRecord> records) {} kafka sink connector 的put方...

0投票
1已采纳
96浏览

kafka如何不持久化到磁盘

kafka默认持久化到topic的分区里，但是我想不让他持久化，能做到吗？我找了好久没找到相关的配置，求大神们帮助。

东君

3周前被采纳为最佳答案： kafka就是基于持久化的……你可以把内存虚拟成硬盘用……

0投票
0回答
40浏览

kafka怎么接收 top socket数据源的数据

新手入门学习kafka，希望大神指点一下。如何实现kafka接收tcp socket 发送的数据。

0投票
3回答
297浏览

Oracle数据库数据变更同步到kafka？

现有Oracle数据库保存订单信息等数据，需要Kafka方式同步到其他系统，有没有好的方法，在尽量不改老系统的前提下，将数据库的变更实时同步到Kafka

0投票
2回答
110浏览

Kafka添加了ACL权限后，Storm该如何消费？

Kafka采用了SASL+ACL的权限验证后，Storm中的KafkaSpout该如何修改呢？我查看了storm-kafka-1.0.1和storm-k...

0投票
1回答
3K+浏览

Kafka0.9之后，如何获取到consuemr，topic，以及partition的offset信息

kafka0.9版本之后，consumer的消费信息不再存放在zookeeper端了，我想写java代码调到offset信息，zkClient已经不能用了...

0投票
1回答
49浏览

ogg同步数据到kafka，报错ClassNotFoundException: kafkahandler

最近使用ogg同步数据到kafka，配置文件已经配好，启动目标端的extract时报错：我的配置文件为： kafka.props文件 custom_ka...

0投票
0回答
72浏览

flink 并发读取kafka数据问题

各位，小弟请教个问题：你好，想跟你请教个问题：各位好：刚开始学习flink,有个问题请教：我搭建了有5个节点的flink集群（standalone...

0投票
0回答
115浏览

kafka0.8.1开发程序，启动后发现kafka.consumer.ConsumerIterator占用内存特别大

1、kafka版本0.8.1.1，jdk1.8 2、kafka topic有三个分区，程序中消费者启动3个线程 3、程序启动后占用内存达到2G 4、使用m...

0投票
1回答
1K+浏览

spark streaming中报kafka的offset错误，如何解决

java.lang.AssertionError: assertion failed: Beginning offset 19309438 is afte...

0投票
3回答
495浏览

apache kafka 遇到 Attempt to heart beat failed since the group is rebalancing, try to re-join group. 该如何解决？

spirng-kafka的多consumer问题困扰了我好久，今天项目再次出现 Attempt to heart beat failed since th...

0投票
0回答
36浏览

spring-integration-kafka集成问题

遇到的问题很奇怪，在windows下跑的好好的，但是在linux下启动报了个这样的错，不知道大家有没遇到过，网上找了说是kafka-clients版本不对...

0投票
0回答
37浏览

kafka-manager编译问题

执行./sbt clean dist 日志如下: [info] Loading project definition from /root/kafka-m...

0投票
2回答
427浏览

java的api 消费kafka报错，，java.lang.NoClassDefFoundError: org/apache/kafka/common/security/JaasUtils

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/kafka/c...

0投票
1回答
78浏览

kafka在docker外如何连接

kafka被配置在docker内，在docker外面要如何使用，有人知道吗，还是说只能建一个dockerswam才行

0投票
1回答
181浏览

spring-kafka中argumentResolvers.add(new MessageMethodArgumentResolver())缺失MessageConverter参数

今天给项目升级Kafka版本，从1.0.0升级到1.0.5，修改了相关的配置后，启动项目，抛出异常如下： java.lang.NoSuchMethodE...

0投票
7回答
312浏览

获取kafka的数据，处理完之后的一些重复数据问题，使用外部介质redis

需求：kafka消费去重环境：dubbo分布式部署，redis集群，kafka队列模拟数据：10条相同数据思路：多线程从kafka获取数据处理，从r...

0投票
1回答
1K+浏览

kafka-connect-hdfs如何使用

@卢禹你好，想跟你请教个问题：这个hdfs的connector下载后如何使用，没有介绍怎么用。地址：https://github.com/conflu...

0投票
0回答
73浏览

kafka关于connect-api的FileOffsetBackingStore类的安全漏洞，现在有修补该漏洞的方法吗？

kafka最近发现了安全漏洞，关于connect-api的FileOffsetBackingStore类的反序列化漏洞，现在有修补该漏洞的方法吗？

0投票
0回答
88浏览

storm 实时解析 kafka数据

小弟写了一个storm实时处理kafka的程序，部署的时候各种报错，求救，直接上图

0投票
2回答
522浏览

kafka producer端网络中断丢失消息问题

最新想把队列工具切到kafka上面,由于希望消息都能被收到,所以生产者这端的部分配置如下: props.put("acks", "all"...

0投票
7回答
8K+浏览

使用spring-integration-kafka集成spring和kafka，遇到问题

最近在做springboot与kafka的集成：环境：kafka_2.11-0.8.2.2，spring-integration-kafka：1.3.1...

0投票
1回答
314浏览

kafka数据到mysql，大家一般是怎么处理的策略，请赐教

0投票
6回答
269浏览

每两秒处理一条kafka数据和mysql插入和update，压力大不大

0投票
0回答
69浏览

oracle goldengate+kafka分区问题

ogg到kafka数据同步的时候涉及分区问题，我不想使用ogg+kafka默认的分区规则，想自己实现这分区规则，要自己实现就必须完成黄色框部分的自定义，本...

0投票
0回答
95浏览

Kafka0.10.0.1消费者未启动的情况，生产者启动一段时间，消费者再再启动不会去消费启动之前生产的消息

如题，修改过消费端的参数 auto.offset.reset=earliest 没有效果，然后又去修改了消费者的group.id，这时候可以正常消费之前...

0投票
0回答
36浏览

kafka报java.lang.IllegalArgumentException

kafka运行过程中报错 [2017-07-12 15:31:51,969] ERROR [Replica Manager on Broker 0]: E...

0投票
0回答
35浏览

kafka在发送数据send_data时对数据进行解析

描述：写一个java解析json数据流的方法：oggjson2kafkamessage 在kafka producer send_data发送数据时调用...

0投票
0回答
75浏览

oracle goldengate+kafka

oracle goldengate到kafka数据参数配置中有一项参数： gg.handler.kafkahandler.ProducerReco...

0投票
2回答
1K+浏览

kafka不支持消息过滤，但项目中需要这个功能，该如何解决？

0投票
0回答
66浏览

maven的spark和kafka项目报错了

0投票
4回答
9K+浏览

kafka同一个gruopid下多个consumer订阅同一个topic，只有一个consumer能消费到数据

kafka 版本 kafka_2.10-0.8.2.2 启动两个consumer同时订阅topic “test” ；groupid都为test1；prod...

0投票
2回答
101浏览

kafka启动异常问题

java.lang.NullPointerException at kafka.log.OffsetIndex.kafka$log$Off...

0投票
3回答
2K+浏览

kafka消息丢失现象

先是部署了5台机器，每个机器都是10个分区，一台笔记本作为客户端，使用一个group，采用50线程接收，但是经常出现消息不能全部接收，即有时候能接到有时候...

0投票
4已采纳
461浏览

kafka消费数据，一段时间后无法消费，需要重换groupId

将图片数据base64以后，写入kafka，然后用java 写了一个消费代码，开始跑，没有问题，可以消费到数据，并处理，但是最近发现，跑一段时间无法消费到...

bigtian

9个月前被采纳为最佳答案：这种我遇到过，消费端是单线程消费，一旦有阻塞，就会导致无法消费新的数据。久而久之，你的消息通道就挂掉了。。

0投票
4回答
9K+浏览

kafka集群出现奇怪的现象

各位好：最近在研究kafka的时候遇到一个奇怪的现象，还请不灵赐教！ 1：当集群环境运行一段时间后会出现奇怪错误，zookeeper无法连接到其中一个...

0投票
0回答
126浏览

kafka集群会有脑裂的情况出现吗？如果没有kafka是如何保证的。

最近在看kafka文档时被人问及这个问题辗转反侧无法想通。

0投票
1回答
158浏览

intellij启动kafka出错

D:\ProgramFiles\Java\jdk1.7.0_71\bin\java -Didea.launcher.port=7535 "-Didea.l...

0投票
0回答
243浏览

kafka消费者如何动态订阅或者退订（Java）？

kafka.0.10消费者想在程序运行中，动态订阅或者退订topic，要怎么实现？直接操作subscribe方法的话，报错 KafkaConsumer ...

0投票
5回答
10K+浏览

为什么搭建Kafka需要zookeeper?

请问 Kafka 为什么要用到ZooKeeper? 因为我们看很多教程介绍Kafka安装时，都说要安装ZooKeeper，但是又不说为什么。