2
回答
kafka在日志监控平台使用
利用AWS快速构建适用于生产的无服务器应用程序,免费试用12个月>>>   

@卢禹 你好,想跟你请教个问题:我现在有个需求,用logstash抓取日志到kafka以后,同时做实时日志监控,和日志静态分析,实时日志监控用ELK实现,日志静态分析用HADOOP,现在有两个问题:

一:kafka消息到hdfs我知道有的方法有kafka-connector-hdfs和camus,这两个是否可以完成我的kafka到hadoop实现静态分析的需求,这两个方法是属于消费消息,还是直接将数据导入到hdfs,如果是数据直接导入到hdfs,那我不是不能再用ELK拉取日志了么。

二:因为日志要到ELK和HADOOP两个不同的地方,不知道topic如何设计。

zookeeper+kafka 3+3集群。ELK(elasticsearch+logstash+kibana)。

举报
Small雀
发帖于1年前 2回/1K+阅
共有2个答案 最后回答: 1年前

少年 你要明白 kafka作为生产者消费者模型 可以同时有多个消费者,他们之间互不影响。

kafka的topic是针对数据业务设计的和他消费到哪没有关系,不管你有多少consumer 都是消费一个topic啊

--- 共有 3 条评论 ---
Small雀回复 @呼啦_小呆 : 好的,谢谢(*^__^*) 嘻嘻 1年前 回复
呼啦_小呆回复 @Small雀 : 不要被他疑惑了,他所谓传输data,其实就是封装了消费msg到hdfs的过程。 1年前 回复
Small雀我知道可以由不同的消费者消费,主要看camus说明说是传输data的而不是消息,所以产生了疑问 1年前 回复

一、1、都可以导入到hadoop,但分析和他们无关,要分析可以写mapreduce或者直接用hive。2、都属于消费消息,3、上面的回答很对,kafka是可以很多消费端的 互相不影响。

二、既然消费端互相不影响,topic不需要特别的设计。

--- 共有 3 条评论 ---
追赶@Small雀 好了,吗 1年前 回复
卢禹回复 @Small雀 : camus官方已经不推荐使用,是一个过期的项目,未来可能会被移除,官方推荐使用这个:http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart 1年前 回复
Small雀想问下,kafka-connector-hdfs和camus该选择哪一个来使用,这两个有什么区别么,一直没有找到合适的例子 1年前 回复
顶部