分布式发布订阅消息系统 Kafka

分布式发布订阅消息系统 Kafka

Apache
Scala
跨平台
Apache
2011-05-07
老盖

kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:

  • 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

  • 高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。

  • 支持通过kafka服务器和消费机集群来分区消息。

  • 支持Hadoop并行数据加载。

卡夫卡的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费。

Git 地址:

http://git-wip-us.apache.org/repos/asf/kafka.git
加载中

评论(6)

zhenruyan
zhenruyan
#Kafka# #RabbitMQ# 都试了试 明天试试#NSQ#
M
MelonWang
有没有用c++开发kafka的,加个好友以后好交流
龙影
龙影
请问下如何使用#Kafka#实现定时任务?
w
wliang777
哪位推荐一款好用的kafka监控工具
wffger
wffger
https://docs.confluent.io/current/quickstart.html 快速入门里面没有说明Linux下用什么用户执行命令,难道都是用root?
二的基本算合格
二的基本算合格
真的不错~
fir01
fir01
Apollo Kafka

Apache Kafka 2.1.1 发布,bug 修复版本

Apache Kafka 2.1.1 发布了,这是一个 bugfix 版本。 更新内容如下: Improvement [KAFKA-6928] - StreamsPartitionAssignor is double retrying within InternalTopicManager [KAFKA-7389] ...

02/21 07:27

开源独角兽公司 Confluent 获1.25亿美元D轮融资

Confluent 是一家建立在开源 Apache Kafka 项目之上的商业公司。据了解,近日该公司在红杉资本投资公司的牵头下,获得1.25亿美元的D轮融资。著名风投公司 Index Ventures 和 Benchmark 也参与...

01/24 12:40

Confluent 修改开源许可证,限制云供应商滥用

Confluent CEO Jay Kreps 近日宣布将 Confluent Platform 的部分组件从 Apache 2.0 更改为 Confluent 社区许可证(Confluent Community License),变更的主要原因和之前的 Redis 和 MongoD...

01/10 08:08

欧盟百万欧元悬赏开源软件漏洞惹争议,被评本末倒置

前两天我们报道过欧盟针对 14 个开源项目开启漏洞赏金计划的消息,欧盟将为 Filezilla、Apache Kafka、Notepad++、PuTTY、VLC Media Player、FLUX TL、KeePass、7-zip、Digital Signature S...

01/07 08:06

Apache Kafka 2.1.0 发布,支持 Java 11

Apache Kafka 2.1.0 发布,该版本包括 28 个 KIP 的重要功能,179 个 JIRS 的修复和改进,还包括一些关键的错误修复。 以下是一些值得注意的变化: 支持 Java11 支持 Zstandard,可实现与 gz...

2018/11/24 07:16

Apache Kafka 2.0.1 发布,分布式消息发布订阅系统

Apache Kafka 2.0.1 已发布,这是针对 2.0 版本的修复和改进版本。 Improvement [KAFKA-6914] - Kafka Connect - Plugins class should have a constructor that can take in parent ClassLo...

2018/11/15 09:40

Apache Kafka 2.0.0 正式发布,分布式消息发布订阅系统

Apache Kafka 2.0.0 已正式发布,这是一个主要版本,新增了许多重要的新功能。此外还包括许多重要的 bug 修复和改进,其中还包括一些严重的错误修复。 Apache Kafka 2.0.0 下载地址 >>> http...

2018/07/31 08:02

Apache Kafka 1.0.2 发布,功能改进和修复

Apache Kafka 1.0.2 已发布,包含 27 个 JIRA 的修复和改进,包括一些关键 bug 修复。 Improvement [KAFKA-6364] - Add Second Check for End Offset During Restore [KAFKA-6634] - Delay i...

2018/07/17 07:40

Apache Kafka 0.11.0.3 发布,功能改进和修复

Apache Kafka 0.11.0.3 已发布,包含一些改进和修复: [KAFKA-6205] - Have State Stores Restore Before Initializing Toplogy [KAFKA-6634] - Delay initiating the txn on producers unti...

2018/07/04 09:00

Apache Kafka 1.1.0 发布,改进 Kafka controller

Apache Kafka 1.1.0 已发布,带来了大量改进和修复。主要亮点包括: Kafka 1.1.0 includes significant improvements to the Kafka Controller that speed up controlled shutdown. ZooKeep...

2018/03/29 22:43

没有更多内容

加载失败,请刷新页面

3
回答
kafka 生产者和消费者

kafka 生产了一条消息和如在多个实例下的消费者消费(一条消息可以被消费多次)

05/16 17:10
5
回答
kafka集群启动后,每隔10分钟就跳出一条日志,很影响操作

kafka集群启动后,每隔10分钟就跳出一条日志,很影响操作,求教如何关闭日志打印 [2019-03-19 12:56:48,635] INFO [Gro...

03/20 10:20
2
回答
关于腾讯云的上传操作

大数据小白,最近在写一个实时读取kafka的topic并实时同步到cos的一个功能,目前实现是先存到本地再每隔5分钟上传到cos,想问问各位大神知不知道c...

04/08 20:13
4
回答
kafka发送消息的时候报超时,有人遇到过吗?

kafka发送消息的时候报超时,有人遇到过吗? 生产者用的是这个例子:http://orchome.com/6 Exception in thread "...

2016/05/01 07:39
2
回答
kafka pattion数据堆积,然后自动丢失

入上图所示,我开了两个消费者,三个pattion,刚开始是正常的,但是每次大概在跑了一天左右以后,pattion1 中的数据,开始不被消费,出现堆积,通过...

03/27 16:32
3
回答
kafka,消费时不停弹出错误

kafka版本是2.11-0.9.0.0,集群3台,启动成功。可以创建消息,生产消息,消费时不停报错,不知道是配置的原因还是?

03/12 22:23
2
回答
kafka源码搭建创建主题报错找不到主类kafka.admin.TopicCommand

kafka源码搭建启动成功。 但是创建主题时报错,找不到主类。 kafka-topics.bat --create --zookeeper localho...

2018/05/27 14:07
6
回答
kafka同一个gruopid下多个consumer订阅同一个topic,只有一个consumer能消费到数据

kafka 版本 kafka_2.10-0.8.2.2 启动两个consumer同时订阅topic “test” ;groupid都为test1;prod...

2015/12/19 16:31
1
回答
kafka启动报错

求助:启动kafka时报错 ERROR Error while renaming dir for test6-0 in log dir D:\softCo...

01/21 16:10

没有更多内容

加载失败,请刷新页面

Kafka技术资料总结(不断更新中)

1、Kafka实践:到底该不该把不同类型的消息放在同一个主题中 2、Kafka剖析系列: Kafka剖析(一):Kafka背景及架构介绍 Kafka设计解析(二):Kafka High Availability (上) Kafka设计解析...

2018/09/22 20:10
79
0
安装kafka

1 解压kafka 创建一个kafka的文件夹,用户存放kafka文件 mkdir /usr/local/kafka 通过ftp工具把下载好的kafka安装包上传到kafka文件夹下。 解压: cd /usr/local/kafka</pre> tar -vxzf redi...

2018/11/29 14:33
15
0
kafka sink

flume版本1.6 kafka版本0.8.2 创建配置目录 mkdir /opt/beh/core/flume/conf.d 创建采集数据目录 mkdir /opt/beh/data/flume/kafka-agent 创建配置文件 /opt/beh/core/flume/conf.d/kafka-a...

2017/04/21 13:11
22
0
Kafka 使用SASL / SCRAM进行身份验证

使用SASL / SCRAM进行身份验证 请先在不配置任何身份验证的情况下启动Kafka 1. 创建SCRAM Credentials 1.1 创建broker通信用户(或称超级用户) bash Emacs bin/kafka-configs.sh --zookeeper...

03/15 10:09
2
0
[喵咪KafKa(1)]KafKa的介绍以及使用场景

哈喽!大家好呀,真是一坑未平一坑又起,otter还在继续更新的同时,笔者也为大家带来了关于kafka相关的一系列博客,要说到kafka就离不开现在特别火热的大数据技术,了解的童鞋可能只要一些大数据的...

2016/09/09 08:40
427
0
Kafka面试题全套整理:消息处理+高可用集群+生产者与消费者实例

有很多人问过我要过Kafka相关的面试题,我一直懒得整理,这几天花了点时间,结合之前面试被问过的、别人咨询过的、我会问别人的进行了相关的整理,也就几十题,大家花个几分钟看看应该都会。...

04/30 10:58
25
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部