kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。
卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
Git 地址：
http://git-wip-us.apache.org/repos/asf/kafka.git
系列简介：漏洞真实影响分析是墨菲安全实验室针对热点漏洞的分析系列文章，帮助企业开发者和安全从业者理清漏洞影响面、梳理真实影响场景，提升安全应急响应和漏洞治理工作效率。 漏洞概述 Apache Kafka Connect服务在2.3.0 至 3.3.2 版本中，由于连接时支持使用基于JNDI认证的SASL JAAS配置，导致配置在被攻击者可控的情况下，可能通过JNDI注入执行任意代码。 此漏洞不影响 Kafka server(broker)，Kafka Connect服务通常用于在...
漏洞描述 Apache Kafka是一个高度可扩展的分布式消息队列。 在Apache Kafka受影响版本中，允许未经身份验证的恶意客户端在Broker上分配大量内存，这可能导致Broker内存不足进而导致拒绝服务。 攻击场景： 1）没有身份验证的Kafka集群：任何能够与Broker建立网络连接的客户端都可能引发该问题。2）具有SASL身份验证的Kafka集群：任何能够与Broker建立网络连接而无需有效SASL凭据的客户端都可以触发问题。3）具有TLS身份验证的Kaf...
InfoWorld 整理了一份“15 star founders of high-flying open source projects”名单，旨在了解当今一些最重要和最具创新性的开源项目背后的驱动力。 A new generation InfoWorld 指出，Linus Torvalds 是开源方面的的巨人。他如何以学生身份创建Linux（正如他的书名所言，只是为了好玩），然后统治（有点暴躁地）开发 Linux 内核的社区的故事，是早期开源运动的黑客精神的缩影。 但不可否认的是，开源已经发生了变化：它已经被...
Apache Kafka 2.7.2 现已发布。Apache Kafka 是一个分布式流平台，具有四个核心 API。借助这些 API，Kafka 可以用于以下两大类应用：建立实时流数据管道，可靠地进行数据传输，在系统或应用程序之间获取数据；构建实时流媒体应用程序，以改变系统或应用程序之间的数据或对数据流做出反应。 主要更新内容 改进 ConnectSchema.validateValue() 提供的错误信息应包括模式名称 升级 jetty-server 以修复 CVE-2021-34429 Bug 修复 尽...
Apache Kafka 是一个分布式流平台，具有四个核心 API。借助这些 API，Kafka 可以用于以下两大类应用：建立实时流数据管道，可靠地进行数据传输，在系统或应用程序之间获取数据；构建实时流媒体应用程序，以改变系统或应用程序之间的数据或对数据流做出反应。 Apache Kafka 3.0.0 正式发布，这是一个重要的版本更新，其中包括许多新的功能： 已弃用对 Java 8 和 Scala 2.12 的支持，对它们的支持将在 4.0 版本中彻底移除，以让开...
Apache Kafka 商业化公司 Confluent 现已在纳斯达克证券交易所上市；其股价在上市首日的交易中上涨了 25%，表现强劲。 该公司在首次公开募股中以每股 36 美元（高于 29 至 33 美元的预计范围）的价格出售了 2300 万股，共筹集了 8.28 亿美元。该股的交易代码为"CFLT"，当日收于 45.02 美元。由此，Confluent 的市值已达到 114 亿美元。 Confluent 联合创始人兼首席执行官 Jay Kreps 在接受 CNBC 采访时表示，他们将会把大型云供...
基于 Apache Kafka 的商业公司 Confluent 于近日确定了其首次公开募股的条款，目标是在美国首次公开募股中获得约 83 亿美元的估值。路透社消息称，该公司日前提交的一份监管文件表明，其计划发行 2300 万股股票，定价范围为每股 29 至 33 美元，希望筹集至多 7.59 亿美元。 Confluent 曾于今年 4 月秘密申请 IPO。该公司表示，其 2020 年和今年前三个月的收入分别增长了约 58% 和 51%，达到 7700 万美元。截至 2020 年 4 月的最...
基于 Apache Kafka 进行商业支持的创业公司 Confluent 已向美国证券交易委员会 (SEC) 提交 S-1 文件，正式启动 IPO。摩根士丹利、摩根大通和高盛是此次 IPO 的主承销商，Confluent 的股票将在纳斯达克交易，代码为“CFLT”。 Confluent 是一家云软件开发商，它建立在 Apache Kafka 之上，通过围绕开源技术提供服务、支持和管理工具。按照 Techcrunch 的说法，Confluent 在开源项目 Apache Kafka 之上构建了一个流数据平台。除了...
Apache Kafka 2.7.1 已发布，这是一个 bugfix 版本，其中包括来自 45 个 JIRA 的修复和改进，还修复了部分严重的错误。 改进 [KAFKA-10852] - 优化 AlterIsr 使用方式，不再被限制 [KAFKA-12310] - 将 zookeeper 升级至 3.5.9 [KAFKA-12400] - 升级 jetty 版本以修复 CVE-2020-27223 [KAFKA-12409] - ReplicaManager 中的 Leaking gauge Bugfix [KAFKA-10021] - 当读取到配置日志的末端时，现在会检查 fetch.max.wait.ms 是否大...
建立在开源 Apache Kafka 项目之上的商业公司 Confluent 近日宣布，其已向美国证券交易委员会（SEC）提交了一份保密的 S-1 表格注册声明草案，内容涉及其普通股的首次公开发行建议。 目前，其拟发行的股票数量和价格范围尚未确定，这也意味着 Confluent 的目标 IPO 估值还没有确定；据悉，该公司在最近一次私人融资后的估值为 45 亿美元。预计发行将在美国证券交易委员会完成其审查程序后进行，但要视市场和其他条件而定。 Conf...
Apache Kafka 是一个分布式流平台，具有四个核心 API。借助这些 API，Kafka 可以用于以下两大类应用：建立实时流数据管道，可靠地进行数据传输，在系统或应用程序之间获取数据；构建实时流媒体应用程序，以改变系统或应用程序之间的数据或对数据流做出反应。 近日 Apache Kafka 2.8.0 正式发布，本次更新的显著变化如下： 增加描述群组 API； 支持 SASL_SSL 监听器上的相互 TLS 认证； JSON 请求/响应调试日志。 限制 broker 连...
Spring for Apache Kafka 2.7.0 已经发布，Spring for Apache Kafka 将 Spring 核心概念应用于基于 Kafka 的消息传递解决方案的开发，它提供了一个“模板”作为发送消息的高级抽象。它还通过 @KafkaListener 注解和“侦听器容器(listener container)”为消息驱动的 POJO 提供支持。 主要更新内容 使用 topic 时非阻塞延迟重试。当严格的排序并不重要时，可以将失败的交付发送到另一个 topic 中，以便以后消费。可以配置一系列这...
Apache Kafka 2.6.1 已经发布，这是一个 bug 修复版本，它包括 41 个 JIRA 的修复和改进。 主要更新内容包括： Improvement [ KAFKA-10122 ]- Consumer 在 rebalance 时也应允许 heartbeat [ KAFKA-10309 ]- KafkaProducer 的 sendOffsetsToTransaction 不应无限期地阻塞 [ KAFKA-10802 ]- 启动 consumers 时出现虚假日志消息 Bug [ KAFKA-8033 ]- Flaky Test PlaintextConsumerTest＃testFetchInvalidOffset [ KAFKA-8630 ]- ...
Apache Kafka 2.7.0 发布，包括一些新的功能，53 项改进和 91 个 bug 修复。 主要更新内容包括： [ KAFKA-9893 ]- 支持可配置的 TCP 连接超时，并改善了初始元数据获取 [ KAFKA-9915 ]- 引入新的配额限制创建主题，创建分区和删除主题的繁重操作 [ KAFKA-10054 ]- 向 Streams 中添加 TRACE 级的端到端延迟指标 [ KAFKA-10259 ] - KIP- 554：添加代理端 SCRAM Config API [ KAFKA-10338 ]-支持 PEM 格式的 SSL 证书和私钥 [KAFKA...
Apache Kafka 2.5.1 发布了，此版本更新内容包括： 改进 连接 - 改善结构验证期间的内存分配 GlobalKTables 的不必要的组协调开销 在启动时强制连接内部主题配置 使用 CircularIterator 可能发生整数溢出 config.storage.topic 分区计数问题很难调试 将日志添加到 KafkaBasedLog 改进粘性分区分配器算法 本次更新还带来了大量 bug 修复，详情可查看更新说明： https://downloads.apache.org/kafka/2.5.1/RELEASE_NOTES.html...
Apache Kafka 2.6.0 已经发布，此版本包括 74 项改进、175 项 bugfix，以及其它变更。 主要更新内容包括： Java 版本大于 11 的环境下，TLS 1.3 已经默认启用 性能显著提高，尤其是当 broker 具有大量分区时 Kafka Streams 应用顺滑扩展 Kafka Streams 支持更改时 emit 新指标可提供更好的运营洞察力 Kafka Connect 可以自动为源连接器创建 topic 改进了 Kafka Connect 中失效连接器的错误报告选项 Kafka Connect 中新增过滤器和...
Apache Kafka 2.5.0 已发布，此版本添加了许多新变化，其中包括： 支持 TLS 1.3（目前默认使用 1.2 版本） 引入用于 Kafka Streams 的 Co-groups 支持通过同步备用服务器（in-sync Standbys）提供交互式查询 用于 Kafka Consumer 的增量 rebalance 机制（incremental rebalance ） 引入新的指标以便更好地了解业务情况 升级 Zookeeper 至 3.5.7 取消支持 Scala 2.11 改进 当输入 topic 事务时，Kafka Streams lag 不为 0 Kafka-...
Apache Kafka 2.4.0 已发布，此版本新增了不少新功能，其中包括： 允许消费者从最近的副本进行获取 为 Consumer Rebalance Protocol 增加对增量协同重新均衡（incremental cooperative rebalancing）的支持 新增 MirrorMaker 2.0 (MM2)，新的多集群跨数据中心复制引擎 引入新的 Java 授权程序接口 支持 KTable 中的非密钥连接 用于重新分配副本的 Administrative API 保护内部连接的 REST 端点 新增删除消费者偏移并通过 AdminC...
Apache Kafka 2.2.2 已发布，这是一个 bug 修复版本，主要更新内容如下： 新特性 [KAFKA-8952] - 由于在 jackson-databind-2.9.9 中发现漏洞，已将 Jackson 更新至 2.10.0 改进 [KAFKA-8347] - 选择下一条记录按时间戳处理 Bug 修复 [KAFKA-4893] - async topic 的删除操作与最大的 topic 长度冲突 [KAFKA-5998] - /.checkpoint.tmp 找不到异常 [KAFKA-6290] - Kafka Connect cast 转换应支持逻辑类型 [KAFKA-6605] - Flatten S...
Apache Kafka 2.3.1 发布了，此版本主要更新内容如下： 新特性 [KAFKA-8952] - jackson-databind-2.9.9 的漏洞发现 改进 [KAFKA-8676] - 避免停止不必要的连接器和任务 Bug [KAFKA-5998] - /.checkpoint.tmp 找不到异常 [KAFKA-6290] - Kafka Connect 类型转换应支持逻辑类型 [KAFKA-6605] - Flatten SMT 无法正确处理为空的字段 [KAFKA-7157] - Connect TimestampConverter SMT 不处理空值 [KAFKA-7941] - 由于代理不可用，当获...
评论