分布式发布订阅消息系统 Kafka

分布式发布订阅消息系统 Kafka

Apache
Scala
跨平台
Apache
2011-05-07
老盖

kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:

  • 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

  • 高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。

  • 支持通过kafka服务器和消费机集群来分区消息。

  • 支持Hadoop并行数据加载。

卡夫卡的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费。

Git 地址:

http://git-wip-us.apache.org/repos/asf/kafka.git
加载中

评论(6)

zhenruyan
zhenruyan
#Kafka# #RabbitMQ# 都试了试 明天试试#NSQ#
M
MelonWang
有没有用c++开发kafka的,加个好友以后好交流
龙影
龙影
请问下如何使用#Kafka#实现定时任务?
w
wliang777
哪位推荐一款好用的kafka监控工具
wffger
wffger
https://docs.confluent.io/current/quickstart.html 快速入门里面没有说明Linux下用什么用户执行命令,难道都是用root?
二的基本算合格
二的基本算合格
真的不错~
fir01
fir01
Apollo Kafka

Apache Kafka 2.1.1 发布,bug 修复版本

Apache Kafka 2.1.1 发布了,这是一个 bugfix 版本。 更新内容如下: Improvement [KAFKA-6928] - StreamsPartitionAssignor is double retrying within InternalTopicManager [KAFKA-7389] ...

02/21 07:27

开源独角兽公司 Confluent 获1.25亿美元D轮融资

Confluent 是一家建立在开源 Apache Kafka 项目之上的商业公司。据了解,近日该公司在红杉资本投资公司的牵头下,获得1.25亿美元的D轮融资。著名风投公司 Index Ventures 和 Benchmark 也参与...

01/24 12:40

Confluent 修改开源许可证,限制云供应商滥用

Confluent CEO Jay Kreps 近日宣布将 Confluent Platform 的部分组件从 Apache 2.0 更改为 Confluent 社区许可证(Confluent Community License),变更的主要原因和之前的 Redis 和 MongoD...

01/10 08:08

欧盟百万欧元悬赏开源软件漏洞惹争议,被评本末倒置

前两天我们报道过欧盟针对 14 个开源项目开启漏洞赏金计划的消息,欧盟将为 Filezilla、Apache Kafka、Notepad++、PuTTY、VLC Media Player、FLUX TL、KeePass、7-zip、Digital Signature S...

01/07 08:06

Apache Kafka 2.1.0 发布,支持 Java 11

Apache Kafka 2.1.0 发布,该版本包括 28 个 KIP 的重要功能,179 个 JIRS 的修复和改进,还包括一些关键的错误修复。 以下是一些值得注意的变化: 支持 Java11 支持 Zstandard,可实现与 gz...

2018/11/24 07:16

Apache Kafka 2.0.1 发布,分布式消息发布订阅系统

Apache Kafka 2.0.1 已发布,这是针对 2.0 版本的修复和改进版本。 Improvement [KAFKA-6914] - Kafka Connect - Plugins class should have a constructor that can take in parent ClassLo...

2018/11/15 09:40

Apache Kafka 2.0.0 正式发布,分布式消息发布订阅系统

Apache Kafka 2.0.0 已正式发布,这是一个主要版本,新增了许多重要的新功能。此外还包括许多重要的 bug 修复和改进,其中还包括一些严重的错误修复。 Apache Kafka 2.0.0 下载地址 >>> http...

2018/07/31 08:02

Apache Kafka 1.0.2 发布,功能改进和修复

Apache Kafka 1.0.2 已发布,包含 27 个 JIRA 的修复和改进,包括一些关键 bug 修复。 Improvement [KAFKA-6364] - Add Second Check for End Offset During Restore [KAFKA-6634] - Delay i...

2018/07/17 07:40

没有更多内容

加载失败,请刷新页面

4
回答
kafka集群启动后,每隔10分钟就跳出一条日志,很影响操作

kafka集群启动后,每隔10分钟就跳出一条日志,很影响操作,求教如何关闭日志打印 [2019-03-19 12:56:48,635] INFO [Gro...

03/20 10:20
3
回答
kafka,消费时不停弹出错误

kafka版本是2.11-0.9.0.0,集群3台,启动成功。可以创建消息,生产消息,消费时不停报错,不知道是配置的原因还是?

03/12 22:23
2
回答
kafka源码搭建创建主题报错找不到主类kafka.admin.TopicCommand

kafka源码搭建启动成功。 但是创建主题时报错,找不到主类。 kafka-topics.bat --create --zookeeper localho...

2018/05/27 14:07
6
回答
kafka同一个gruopid下多个consumer订阅同一个topic,只有一个consumer能消费到数据

kafka 版本 kafka_2.10-0.8.2.2 启动两个consumer同时订阅topic “test” ;groupid都为test1;prod...

2015/12/19 16:31
1
回答
kafka启动报错

求助:启动kafka时报错 ERROR Error while renaming dir for test6-0 in log dir D:\softCo...

01/21 16:10
1
回答
flink 并发读取kafka数据问题

各位,小弟请教个问题: 你好,想跟你请教个问题: 各位好:刚开始学习flink,有个问题请教: 我搭建了有5个节点的flink集群(standalone ...

2018/01/15 16:02
2
回答
spark streaming中报kafka的offset错误,如何解决

java.lang.AssertionError: assertion failed: Beginning offset 19309438 is afte...

2016/03/02 14:11
3
回答
同一个group,有两个消费者。为什么处理消息的时候只有一个消费者在消费消息。

一个topic,3个partitions.一个group,2个consumer。实际接受消息,只有一个consumer在消费消息。

2018/12/19 17:28
2
回答
KAFKA 开发

我是新手,在这两想咨询一下kafka的相关问题,实际业务需求是:从一个系统实时往大数据平台传送数据,利用kafka来实现,做实时的数据传送,我的疑问:自己...

01/03 10:47
1
回答
如何开发好自己负责的模块

我的公司对开发文档并不是很重视。导致项目第一期浪费了很多时间。现在要开始第二期改版,我现在还是负责之前模块,我想在开发之前对我负责的模块进行详细的规划(写...

2018/12/28 09:50

没有更多内容

加载失败,请刷新页面

Kafka技术资料总结(不断更新中)

1、Kafka实践:到底该不该把不同类型的消息放在同一个主题中 2、Kafka剖析系列: Kafka剖析(一):Kafka背景及架构介绍 Kafka设计解析(二):Kafka High Availability (上) Kafka设计解析...

2018/09/22 20:10
69
0
安装kafka

1 解压kafka 创建一个kafka的文件夹,用户存放kafka文件 mkdir /usr/local/kafka 通过ftp工具把下载好的kafka安装包上传到kafka文件夹下。 解压: cd /usr/local/kafka</pre> tar -vxzf redi...

2018/11/29 14:33
11
0
kafka sink

flume版本1.6 kafka版本0.8.2 创建配置目录 mkdir /opt/beh/core/flume/conf.d 创建采集数据目录 mkdir /opt/beh/data/flume/kafka-agent 创建配置文件 /opt/beh/core/flume/conf.d/kafka-a...

2017/04/21 13:11
15
0
Kafka 使用SASL / SCRAM进行身份验证

使用SASL / SCRAM进行身份验证 请先在不配置任何身份验证的情况下启动Kafka 1. 创建SCRAM Credentials 1.1 创建broker通信用户(或称超级用户) bash Emacs bin/kafka-configs.sh --zookeeper...

03/15 10:09
0
0
[喵咪KafKa(1)]KafKa的介绍以及使用场景

哈喽!大家好呀,真是一坑未平一坑又起,otter还在继续更新的同时,笔者也为大家带来了关于kafka相关的一系列博客,要说到kafka就离不开现在特别火热的大数据技术,了解的童鞋可能只要一些大数据的...

2016/09/09 08:40
405
0
apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建Apache Kafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apache kafka消息服务 2)kafak安装与使用...

2015/09/06 11:19
610
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部