Apache Kafka 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Kafka 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Kafka 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !

软件简介

kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:

  • 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

  • 高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。

  • 支持通过kafka服务器和消费机集群来分区消息。

  • 支持Hadoop并行数据加载。

卡夫卡的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费。

Git 地址:

http://git-wip-us.apache.org/repos/asf/kafka.git
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (6)

加载中
该评论暂时无法显示,详情咨询 QQ 群:912889742
请问下如何使用#Kafka#实现定时任务?
2018/07/02 09:30
回复
举报
打分: 推荐
哪位推荐一款好用的kafka监控工具
2017/12/12 15:54
回复
举报
https://docs.confluent.io/current/quickstart.html 快速入门里面没有说明Linux下用什么用户执行命令,难道都是用root?
2017/11/10 11:22
回复
举报
打分: 力荐
真的不错~
2017/11/03 08:27
回复
举报
Apollo Kafka
2015/03/12 08:52
回复
举报
2016/03/26 14:05
回复
举报
更多评论
2021/11/23 06:53

Apache Kafka 2.7.2 发布

Apache Kafka 2.7.2 现已发布。Apache Kafka 是一个分布式流平台,具有四个核心 API。借助这些 API,Kafka 可以用于以下两大类应用:建立实时流数据管道,可靠地进行数据传输,在系统或应用程序之间获取数据;构建实时流媒体应用程序,以改变系统或应用程序之间的数据或对数据流做出反应。 主要更新内容 改进 ConnectSchema.validateValue() 提供的错误信息应包括模式名称 升级 jetty-server 以修复 CVE-2021-34429 Bug 修复 尽...

3
0
2021/09/23 07:33

Apache Kafka 3.0.0 正式发布

Apache Kafka 是一个分布式流平台,具有四个核心 API。借助这些 API,Kafka 可以用于以下两大类应用:建立实时流数据管道,可靠地进行数据传输,在系统或应用程序之间获取数据;构建实时流媒体应用程序,以改变系统或应用程序之间的数据或对数据流做出反应。 Apache Kafka 3.0.0 正式发布,这是一个重要的版本更新,其中包括许多新的功能: 已弃用对 Java 8 和 Scala 2.12 的支持,对它们的支持将在 4.0 版本中彻底移除,以让开...

24
9
发表了资讯
2021/06/26 08:17

Confluent IPO 融资 8.28 亿美元,上市首日股价上涨 25%

Apache Kafka 商业化公司 Confluent 现已在纳斯达克证券交易所上市;其股价在上市首日的交易中上涨了 25%,表现强劲。 该公司在首次公开募股中以每股 36 美元(高于 29 至 33 美元的预计范围)的价格出售了 2300 万股,共筹集了 8.28 亿美元。该股的交易代码为"CFLT",当日收于 45.02 美元。由此,Confluent 的市值已达到 114 亿美元。 Confluent 联合创始人兼首席执行官 Jay Kreps 在接受 CNBC 采访时表示,他们将会把大型云供...

0
2
2021/06/20 08:17

Confluent 拟在 IPO 时获得 83 亿美元估值

基于 Apache Kafka 的商业公司 Confluent 于近日确定了其首次公开募股的条款,目标是在美国首次公开募股中获得约 83 亿美元的估值。路透社消息称,该公司日前提交的一份监管文件表明,其计划发行 2300 万股股票,定价范围为每股 29 至 33 美元,希望筹集至多 7.59 亿美元。 Confluent 曾于今年 4 月秘密申请 IPO。该公司表示,其 2020 年和今年前三个月的收入分别增长了约 58% 和 51%,达到 7700 万美元。截至 2020 年 4 月的最...

0
0
发表了资讯
2021/06/03 12:51

Kafka 商业化公司 Confluent 启动 IPO

基于 Apache Kafka 进行商业支持的创业公司 Confluent 已向美国证券交易委员会 (SEC) 提交 S-1 文件,正式启动 IPO。摩根士丹利、摩根大通和高盛是此次 IPO 的主承销商,Confluent 的股票将在纳斯达克交易,代码为“CFLT”。 Confluent 是一家云软件开发商,它建立在 Apache Kafka 之上,通过围绕开源技术提供服务、支持和管理工具。按照 Techcrunch 的说法,Confluent 在开源项目 Apache Kafka 之上构建了一个流数据平台。除了...

0
1
发表了资讯
2021/05/21 08:08

Apache Kafka 2.7.1 发布

Apache Kafka 2.7.1 已发布,这是一个 bugfix 版本,其中包括来自 45 个 JIRA 的修复和改进,还修复了部分严重的错误。 改进 [KAFKA-10852] - 优化 AlterIsr 使用方式,不再被限制 [KAFKA-12310] - 将 zookeeper 升级至 3.5.9 [KAFKA-12400] - 升级 jetty 版本以修复 CVE-2020-27223 [KAFKA-12409] - ReplicaManager 中的 Leaking gauge Bugfix [KAFKA-10021] - 当读取到配置日志的末端时,现在会检查 fetch.max.wait.ms 是否大...

1
1
2021/04/25 08:08

Confluent 秘密提交 IPO 申请

建立在开源 Apache Kafka 项目之上的商业公司 Confluent 近日宣布,其已向美国证券交易委员会(SEC)提交了一份保密的 S-1 表格注册声明草案,内容涉及其普通股的首次公开发行建议。 目前,其拟发行的股票数量和价格范围尚未确定,这也意味着 Confluent 的目标 IPO 估值还没有确定;据悉,该公司在最近一次私人融资后的估值为 45 亿美元。预计发行将在美国证券交易委员会完成其审查程序后进行,但要视市场和其他条件而定。 Conf...

2
1
2021/04/22 07:00

Apache Kafka 2.8.0 发布

Apache Kafka 是一个分布式流平台,具有四个核心 API。借助这些 API,Kafka 可以用于以下两大类应用:建立实时流数据管道,可靠地进行数据传输,在系统或应用程序之间获取数据;构建实时流媒体应用程序,以改变系统或应用程序之间的数据或对数据流做出反应。 近日 Apache Kafka 2.8.0 正式发布,本次更新的显著变化如下: 增加描述群组 API; 支持 SASL_SSL 监听器上的相互 TLS 认证; JSON 请求/响应调试日志。 限制 broker 连...

3
3
2021/04/15 06:32

Spring for Apache Kafka 2.7.0 发布

Spring for Apache Kafka 2.7.0 已经发布,Spring for Apache Kafka 将 Spring 核心概念应用于基于 Kafka 的消息传递解决方案的开发,它提供了一个“模板”作为发送消息的高级抽象。它还通过 @KafkaListener 注解和“侦听器容器(listener container)”为消息驱动的 POJO 提供支持。 主要更新内容 使用 topic 时非阻塞延迟重试。当严格的排序并不重要时,可以将失败的交付发送到另一个 topic 中,以便以后消费。可以配置一系列这...

1
7
2021/01/13 07:35

Apache Kafka 2.6.1 发布,分布式消息发布订阅系统

Apache Kafka 2.6.1 已经发布,这是一个 bug 修复版本,它包括 41 个 JIRA 的修复和改进。 主要更新内容包括: Improvement [ KAFKA-10122 ]- Consumer 在 rebalance 时也应允许 heartbeat [ KAFKA-10309 ]- KafkaProducer 的 sendOffsetsToTransaction 不应无限期地阻塞 [ KAFKA-10802 ]- 启动 consumers 时出现虚假日志消息 Bug [ KAFKA-8033 ]- Flaky Test PlaintextConsumerTest#testFetchInvalidOffset [ KAFKA-8630 ]- ...

7
5
发表于开发技能专区
2020/12/23 08:23

Apache Kafka 2.7.0 发布

Apache Kafka 2.7.0 发布,包括一些新的功能,53 项改进和 91 个 bug 修复。 主要更新内容包括: [ KAFKA-9893 ]- 支持可配置的 TCP 连接超时,并改善了初始元数据获取 [ KAFKA-9915 ]- 引入新的配额限制创建主题,创建分区和删除主题的繁重操作 [ KAFKA-10054 ]- 向 Streams 中添加 TRACE 级的端到端延迟指标 [ KAFKA-10259 ] - KIP- 554:添加代理端 SCRAM Config API [ KAFKA-10338 ]-支持 PEM 格式的 SSL 证书和私钥 [KAFKA...

4
3
发表于DevOps专区
2020/08/13 07:55

Apache Kafka 2.5.1 发布,分布式消息发布订阅系统

Apache Kafka 2.5.1 发布了,此版本更新内容包括: 改进 连接 - 改善结构验证期间的内存分配 GlobalKTables 的不必要的组协调开销 在启动时强制连接内部主题配置 使用 CircularIterator 可能发生整数溢出 config.storage.topic 分区计数问题很难调试 将日志添加到 KafkaBasedLog 改进粘性分区分配器算法 本次更新还带来了大量 bug 修复,详情可查看更新说明: https://downloads.apache.org/kafka/2.5.1/RELEASE_NOTES.html...

4
3
发表于运维专区
2020/08/08 07:04

Apache Kafka 2.6.0 发布,性能显著提高

Apache Kafka 2.6.0 已经发布,此版本包括 74 项改进、175 项 bugfix,以及其它变更。 主要更新内容包括: Java 版本大于 11 的环境下,TLS 1.3 已经默认启用 性能显著提高,尤其是当 broker 具有大量分区时 Kafka Streams 应用顺滑扩展 Kafka Streams 支持更改时 emit 新指标可提供更好的运营洞察力 Kafka Connect 可以自动为源连接器创建 topic 改进了 Kafka Connect 中失效连接器的错误报告选项 Kafka Connect 中新增过滤器和...

2
4
发表于DevOps专区
2020/04/18 08:47

Apache Kafka 2.5.0 发布

Apache Kafka 2.5.0 已发布,此版本添加了许多新变化,其中包括: 支持 TLS 1.3(目前默认使用 1.2 版本) 引入用于 Kafka Streams 的 Co-groups 支持通过同步备用服务器(in-sync Standbys)提供交互式查询 用于 Kafka Consumer 的增量 rebalance 机制(incremental rebalance ) 引入新的指标以便更好地了解业务情况 升级 Zookeeper 至 3.5.7 取消支持 Scala 2.11 改进 当输入 topic 事务时,Kafka Streams lag 不为 0 Kafka-...

7
5
发表于软件架构专区
2019/12/18 08:08

Apache Kafka 2.4.0 发布

Apache Kafka 2.4.0 已发布,此版本新增了不少新功能,其中包括: 允许消费者从最近的副本进行获取 为 Consumer Rebalance Protocol 增加对增量协同重新均衡(incremental cooperative rebalancing)的支持 新增 MirrorMaker 2.0 (MM2),新的多集群跨数据中心复制引擎 引入新的 Java 授权程序接口 支持 KTable 中的非密钥连接 用于重新分配副本的 Administrative API 保护内部连接的 REST 端点 新增删除消费者偏移并通过 AdminC...

1
4
发表于开发技能专区
2019/12/03 07:02

Apache Kafka 2.2.2 发布

Apache Kafka 2.2.2 已发布,这是一个 bug 修复版本,主要更新内容如下: 新特性 [KAFKA-8952] - 由于在 jackson-databind-2.9.9 中发现漏洞,已将 Jackson 更新至 2.10.0 改进 [KAFKA-8347] - 选择下一条记录按时间戳处理 Bug 修复 [KAFKA-4893] - async topic 的删除操作与最大的 topic 长度冲突 [KAFKA-5998] - /.checkpoint.tmp 找不到异常 [KAFKA-6290] - Kafka Connect cast 转换应支持逻辑类型 [KAFKA-6605] - Flatten S...

4
3
发表于软件架构专区
2019/10/29 07:06

Apache Kafka 2.3.1 发布,分布式消息发布订阅系统

Apache Kafka 2.3.1 发布了,此版本主要更新内容如下: 新特性 [KAFKA-8952] - jackson-databind-2.9.9 的漏洞发现 改进 [KAFKA-8676] - 避免停止不必要的连接器和任务 Bug [KAFKA-5998] - /.checkpoint.tmp 找不到异常 [KAFKA-6290] - Kafka Connect 类型转换应支持逻辑类型 [KAFKA-6605] - Flatten SMT 无法正确处理为空的字段 [KAFKA-7157] - Connect TimestampConverter SMT 不处理空值 [KAFKA-7941] - 由于代理不可用,当获...

2
9
发表于AI & 大数据专区
2019/10/04 08:04

Spring for Apache Kafka 2.3 发布

Spring for Apache Kafka 2.3 发布了。Spring for Apache Kafka(spring-kafka)项目将核心 Spring 概念应用于基于 Kafka 的消息传递解决方案。它提供了一个“模板”作为发送消息的高级抽象,还为带有 @KafkaListener 注解和“侦听器容器(listener container)”的消息驱动的 POJO 提供支持。这些库促进了依赖注入和声明的使用。 此版本更新主要内容包括: Producing 在每个线程中可选使用生产者,以避免在刷新时阻塞其它线程。...

0
12
发表于AI & 大数据专区
2019/06/27 07:26

Apache Kafka 2.3 发布

Apache Kafka 2.3 发布了,此版本带来了一些新特性,包括: 改进了 Kafka Connect REST API Kafka Connect 现在支持增量协同重新均衡 Kafka Streams 现在支持内存会话存储和窗口存储 AdminClient 现在允许用户确定他们有权对 topic 执行哪些操作 有一个新的 broker 开始时间指标 JMXTool 现在可以连接到安全的 RMI 端口 添加了增量 AlterConfigs API,旧的 AlterConfigs API 已被弃用 现在跟踪最小 ISR 计数下的分区 消费者现在...

0
9
发表于AI & 大数据专区
2019/02/21 07:27

Apache Kafka 2.1.1 发布,bug 修复版本

Apache Kafka 2.1.1 发布了,这是一个 bugfix 版本。 更新内容如下: Improvement [KAFKA-6928] - StreamsPartitionAssignor is double retrying within InternalTopicManager [KAFKA-7389] - Upgrade spotBugs for Java 11 support [KAFKA-7584] - StreamsConfig throws ClassCastException if max.in.flight.request.per.connect is specified as String [KAFKA-7610] - Detect consumer failures in initial JoinGroup [KAFK...

0
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2020/03/25 21:57

Kafka-为什么选择kafka(kafka的优点)

Kafka-为什么选择kafka(kafka的优点) 多个生产者 kafka可以无缝的支持多个生产者,不管客户端在使用单个主题还是多个主题。所以它很适合用来从多个前端系统手机数据,并以同一的格式对外提供数据。 例如:一个包含了多个微服务的网站,可以为页面视图创建一个单独的主题,所有服务都以相同的消息格式向该主题写入数据。消费者应用程序会获得统一的页面视图,而无需协调来自不同生产者的数据流。 多个消费者 kafka支持多个消费者从...

0
2
发表了博客
2019/10/02 11:41

【kafka】安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)

3.2.1 下载kafka并安装 kafka_2.12-2.3.0.tgz tar -zxvf kafka_2.12-2.3.0.tgz 3.2.2 配置kafka集群 在config/server.properties中修改参数: [hadoop@hadoop01 kafka_2.12-2.3.0]$ cd config [hadoop@hadoop01 config]$ gedit server.properties 参数1:添加host.name=hadoop01 ############################# Server Basics ############################# # The id of the broker. This must be set to a unique...

0
1
2018/05/03 18:32

Kafka监控:Kafka-Manager

Kafka Manager是雅虎开发的kafka监控及管理工具,项目地址:https://github.com/yahoo/kafka-manager 安装 下载源码: git clone https://github.com/yahoo/kafka-manager.git Kafka Manager是用Scala开发的,通过sbt(Simple Build Tool)构建(类似于Maven和Gradle)。 编译 cd kafka-manager ./sbt clean dist 如果提示“Download failed. Obtain the jar manually and place it at /Users/tongyufu/.sbt/launchers/0.13.9/sb...

1
0
发表了博客
2018/08/08 15:27

Kafka安装kafka-manager

1 .下载kafka-manager 想要查看和管理Kafka,完全使用命令并不方便,我们可以使用雅虎开源的Kafka-manager,GitHub地址如下: https://github.com/yahoo/kafka-manager 我们可以使用Git或者直接从Releases中下载,此处从下面的地址下载 1.3.3.7 版本: https://github.com/yahoo/kafka-manager/releases 下载完成后解压。 注意:上面下载的是源码,下载后需要按照后面步骤进行编译。如果觉得麻烦,可以直接从下面地址下载编译好...

0
0
发表了博客
2019/04/08 17:59

Kafka集群安装部署、Kafka生产者、Kafka消费者

Storm上游数据源之Kakfa 目标: 理解Storm消费的数据来源、理解JMS规范、理解Kafka核心组件、掌握Kakfa生产者API、掌握Kafka消费者API。对流式计算的生态环境有深入的了解,具备流式计算项目架构的能力。 大纲: 1、 kafka是什么? 2、 JMS规范是什么? 3、 为什么需要消息队列? 4、 Kafka核心组件 5、 Kafka安装部署 6、 Kafka生产者Java API 7、 Kafka消费者Java API 内容 1、Kafka是什么 在流式计算中,Kafka一般用来缓存数...

0
2
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于DevOps专区
2018/05/27 14:07

kafka源码搭建创建主题报错找不到主类kafka.admin.TopicCommand

kafka源码搭建启动成功。 但是创建主题时报错,找不到主类。 kafka-topics.bat --create --zookeeper localhost:2181 --topic test --replication-factor 1 --partitions 1 麻烦社区前辈帮忙解决一下这个问题,谢谢。

3
0
2021/09/17 15:57

需要给kafka,xxl-job,rabbitmq单独出一个服务吗?

最近再纠结要不要给kafka单独出一个服务A,其它服务调用服务A然后服务A和kafka连接。xxl-job,rabbitmq同理。 如果需要单独出一个服务,这样做的好处和弊端是什么呢? 如果不需要单独出一个服务,这样的好处和弊端又是什么呢?

9
0
发表于运维专区
2019/11/13 17:17

spring-boot整合kafka一直报错 Unknown error fetching data for topic-partition TPC_NOTICE_FINISH-2

spring.kafka.consumer.bootstrap-servers=10.20.53.90:8092 spring.kafka.consumer.group-id=GRP_TO_SH spring.kafka.consumer.enable-auto-commit=true spring.kafka.consumer.auto-commit-interval=10 spring.kafka.consumer.auto-offset-reset=latest spring.kafka.listener.concurrency=2 spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer spring.kafka.c...

1
0
2021/07/13 16:07

kafka可视化工具为啥要连接zookeeper

最近工程需要做一个kafka的可视化工具,(类似于mysql的navicat一样)。查阅了相关资料,包括kafka Tool、kafka monitor等,发现这些工具都是先连接zookeeper,在配置kafka的相关所需要的。 据我的理解:可视化工具只需要配置kafka的参数就行,不需要zookeeper的啊,zookeeper的参数默认配置到kakfa的配置文件中了。就好比springboot连接kafka只需要配置 bootstrap.servers 、 group.id 、 topic 等,没说要配置zookeeper啊! 请教...

1
0
发表了问答
2017/07/14 15:44

oracle goldengate+kafka分区问题

ogg到kafka数据同步的时候涉及分区问题,我不想使用ogg+kafka默认的分区规则,想自己实现这分区规则,要自己实现就必须完成黄色框部分的自定义,本人对kafka不熟悉,想知道有人做过这两个参数吗,如果有,求指教,一旦被采纳,有偿回报! 急急急急!!!!求大神指教 参考链接:https://community.oracle.com/message/13743294#13743294 参考链接:http://www.cnblogs.com/kekukekro/p/7088154.html 有偿回报! 有偿回报! 有偿...

2
0
2021/05/16 14:40

先不提最新的Pulsar服务中间件,先说一下Kafka优势和特性有哪些?

Kafka的优点 高吞吐量:单机每秒处理几十上百万的消息量。即使存储了许多TB的消息,它也保持稳定的性能。 高性能:单节点支持上千个客户端,并保证零停机和零数据丢失,异步化处理机制 持久化:将消息持久化到磁盘。通过将数据持久化到硬盘以及replica(follower节点)防止数据丢失。 零拷贝:减少了很多的拷贝技术,以及可以总体减少阻塞事件,提高吞吐量。 可靠性 :Kafka是分布式,分区,复制和容错的。 Kafka的特点 顺序读,顺...

1
0
发表于开发技能专区
2021/02/16 13:54

MQ处理高并发能支撑多大的量?

最近碰到一个并发问题,打算用mq做异步处理,然后有一个疑问,当你的系统有10W并发的时候,使用activveMQ能支持这么大的并发吗?我找了一些资料,发现都是直接将请求发送到MQ中,然后MQ慢慢消费,再通知前端处理结果。我的疑问是,这是意味着MQ能支撑这么大的并发量?直接将请求写到了MQ中,不会直接导致MQ崩溃吗?大家的并发处理方案是怎么样的?请求进来,直接程序将数据写到MQ中,然后多个消费者慢慢消费?为什么MQ可以支持这...

18
0
发表于数据库专区
2021/03/24 13:55

bin/kafka-server-start.sh config/server.properties 启动报错了,,

bin/kafka-server-start.sh config/server.properties bin/kafka-server-start.sh config/server.properties [2021-03-24 13:54:06,793] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$) [2021-03-24 13:54:07,171] ERROR Exiting Kafka due to fatal exception (kafka.Kafka$) org.apache.kafka.common.config.ConfigException: Invalid value 0# �许...

1
0
发表于数据库专区
2021/03/24 14:56

Missing required configuration "offset.storage.file.filename" ??这整个啥子好勒?

.kafka.common.config.ConfigException: Missing required configuration "offset.storage.file.filename" which has no default value. at org.apache.kafka.common.config.ConfigDef.parseValue(ConfigDef.java:478) at org.apache.kafka.common.config.ConfigDef.parse(ConfigDef.java:468) at org.apache.kafka.common.config.AbstractConfig.<init>(AbstractConfig.java:108) at org.apache.kafka.common.config.AbstractC...

1
0
发表于开发技能专区
2021/02/01 17:33

kafka 在配置sasl 认证的时候

我英语不好, 翻译读着怪怪的, 有个疑问 配置jaas文件的时候 KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin" user_admin="admin"; }; 这里的 username="admin" 与 user_admin="admin" 在作用上有什么不同, username="admin" 讲是用于broker之间通信, 如果不配置 user_admin 有影响吗? This configuration defines two users (admin and alice). The prope...

1
0
2020/10/25 17:22

kafka手动确认后,还是要等业务处理完才能进行下一次消费?

@KafkaListener(topics = {KafkaConstants.ORDER_CREATE_THIRD}) public void createListen(ConsumerRecord<?, ?> record, Acknowledgment ack) { ack.acknowledge(); log.info("手动提交后==== 接受参数+++++++++++++++++++++++++++++++++++++++++++++++++++++"); try { Thread.sleep(10000); } catch (InterruptedException e) { e.printStackTrace(); } } springboot项目,如上代码,接收到数据后直接提交确认了,按照我的理...

2
0
发表于软件架构专区
2020/09/01 19:10

写了一个flink kafka到mysql流程,启动一直报错

写了一个flink kafka到mysql流程,启动一直报错 "C:\Program Files\Java\jdk1.8.0_181\bin\java.exe" "-javaagent:C:\Program Files\JetBrains\IntelliJ IDEA 2018.2.3\lib\idea_rt.jar=54595:C:\Program Files\JetBrains\IntelliJ IDEA 2018.2.3\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_181\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\deploy.jar;C:\Program Files\Ja...

4
0
发表了问答
2015/12/01 18:29

我公司和移动合作搞了一个项目叫IDC的,现在需要在kafka系统上获取消息

@Gaischen 你好,想跟你请教个问题:我公司和移动合作搞了一个项目叫IDC的,现在需要在kafka系统上获取消息,也就是说是一个消费者客户端,他们也有zookeeper,我想问,我现在要连接他们的系统获取数据,只需要像您的博客里面写到写一个消费者的demo即可拿到broker里面的数据了吧?不需要配置和安装kafka吧?我的是windows环境的myeclipse8.5写的demo来的。图片的代码为他们那边提供的示例代码,貌似和kafka上面的例子有些不同的...

7
0
发表于软件架构专区
2020/04/15 11:20

kafka数据积压,应该怎么快速消费全部kafka数据??

kafka数据积压,应该怎么快速消费全部kafka数据??

3
1
发表于服务端专区
2020/07/14 19:17

Kafka消息数据积压,Kafka消费能力不足怎么处理?

Kafka消息数据积压,Kafka消费能力不足怎么处理?

4
0
发表了问答
2017/08/16 15:21

apache kafka 遇到 Attempt to heart beat failed since the group is rebalancing, try to re-join group. 该如何解决?

spirng-kafka的多consumer问题困扰了我好久,今天项目再次出现 Attempt to heart beat failed since the group is rebalancing, try to re-join group. 这个问题,导致消息接收不了了,查询了很多资料,也看了很多相关文章, 但是并没有找到什么解决方法,也许是我搜索方式错了? 只好上这来提问题,希望有人能帮助我解决。 先说下情况: kafka版本为 9.0.1 由于项目属于分布式的微服务架构,有时候需要消息能到达每个同服务实例...

21
0
发表于DevOps专区
2018/08/15 14:13

kafka客户端连接失败

1、远程服务器安装的zookeeper和kafka,在服务器上启动生产者和消费者之间是正常的可以通信 2、使用java写kafka的客户端,一直连接不上远程kafka服务器 2018-08-15 13:14:57,471 (kafka-producer-network-thread | producer-1) [DEBUG - org.apache.kafka.common.network.Selector.poll(Selector.java:307)] Connection with /ip地址 disconnected java.net.ConnectException: Connection refused: no further information ...

3
0
发表于开发技能专区
2020/04/09 10:09

请问rabbitmq为什么比kafka可靠啊

kafka我记得也有ack确认机制啊

5
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
6 评论
787 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部