Apache Kafka 的日志收集代理 Logkafka

MIT
C/C++ 查看源码»
跨平台
360
2016-08-11
开源中国股瞎

logkafka是一个日志收集代理,可以按行收集日志文件并发送到kafka 0.8,每行为一条消息。

在生产环境部署之前请查看一下FAQ

logkafka

特性

与其他日志聚合&监控工具的区别

flume, fluentd, logstash区别:

  • 日志收集配置和状态的管理:

    flume, fluentd, logstash需要在日志所在机器添加日志收集配置项,并在本地启动服务,用于管理日志配置项和状态。

    logkafka将日志收集配置和收集状态保存在zookeeper节点中:logkafka监控相应的节点,当配置变动时,logkafka会自 动拉取最新的日志配置项;logkafka会将所收集文件内的当前偏移记录在本地文件中,并定期将收集的状态信息上传到zookeeper。

  • 日志收集的顺序性

    flume, fluentd, logstash的INPUT类型中都包含'tail'插件,但这些插件都是对扫描到的所有文件同时进行收集,不会考虑日志文件在时间上的顺序性。

    logkafka会按时间顺序扫描新的文件。

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

Kafka设计解析(五):Kafka Benchmark

性能测试及集群监控工具 Kafka提供了非常多有用的工具,如Kafka设计解析(三)- Kafka High Availability (下)中提到的运维类工具——Partition Reassign Tool,Preferred Replica Leader ...

2016/01/29 15:46
114
1

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部