kafka topic 问题

小乞丐 发布于 2015/04/12 01:50
阅读 1K+
收藏 0


各位为好:

就是kafka将topic分为多个区,然后将区分布在多个sever上;如果将10个topic,每个topic分1个区。那么这个topic的10个区会分布在不同的server上吗?还是会集中在1,2台server上?如果分为多个区的话,我知道是会均匀分布的;

另外每个区是在那个server上怎么知道?owner 只是告诉了是消费者在消费当前分区,不知道当前分区在那个server上。

加载中
0
RealMatrix
RealMatrix

我也在研究这个 有空一起研究下

对KAFKA高可用表示怀疑

0
o
orchome

各个参数的含义:

1  --zk: zookeeper的地址

2  --prot 端口号

3  --refresh 刷新频率,更新到DB。

4  --retain 保留DB的时间

5   设置dbName在哪里存储记录(默认'offsetapp')

更详细的你可以看这篇文章呀:http://orchome.com/54

0
雨季之下
雨季之下
Spark+Kafka实时流机器学习实战
课程观看地址:http://www.xuetuwuyou.com/course/147
课程出自学途无忧网:http://www.xuetuwuyou.com


一、课程使用到的软件及版本
①Spark1.6.2
②kafka0.8.2.1
③centos6.5


二、课程适合人群
适合想学kafka,Spark实时流计算,Spark机器学习的学员


三、课程目标
①学好Kafka,及其整个架构实现原理
②熟练运用Spark机器学习
③熟练掌控Spark与Kafka结合,实现实时流计算


四、课程目录
第1课、spark与kafka的介绍
第2课、spark的集群安装
第3课、Spark RDD函数讲解与实战分析
第4课、Spark 的java操作实现简单程序
第5课、SparkRDD原理详细剖析
第6课、Spark 机器学习,API阅读
第7课、Kafka架构介绍以及集群安装
第8课、Kafka生产者Producer的实战
第9课、Kafka消费者Consumer剖析与实战
第10课、Kafka复杂消费者的详细讲解
第11课、Kafka数据安全,以及Spark Kafka Streaming API
第12课、Spark+Kafka+Mysql整合
第13课、Spark 机器学习ALS设计
第14课、Spark ALS协同过滤java实战
第15课、Spark ALS给用户推荐产品
第16课、Spark机器学习后存储到Mysql
第17课、Spark读取Kafka流构建Als模型
第18课、Spark处理Kafka流构建Als模型 
第19课、Spark处理Kafka流实现实时推荐算法
第20课、Spark学习经验总结,spark2与spark1的区别,下期预告




推荐组合学习:《深入浅出Spark机器学习实战(用户行为分析)》
课程观看地址:http://www.xuetuwuyou.com/course/144
返回顶部
顶部