想在项目中做一个日志管理系统,但是没有思路,不知道从何下手,请大神指教

同一派 发布于 2015/06/27 14:00
阅读 1K+
收藏 3

最近想在项目中增加一个日志管理系统,但是对于这个模块的构建没有任何的思路,也不清楚怎样处理问题是合理的,我自己也上网找了一下关于这方面的资料,包括logstash的使用之类的,但是自己还是不太清晰日志管理系统的一些工作方式之类的,包括记录一些用户的动作,究竟要详细到什么程度为好,我一直有疑惑,会不会对性能造成影响.

我觉得自己还是对这个日志管理系统没有理解,希望有经验的大神不吝指教一二!!!!万分感谢!!!!!!!!!!!!!!!!!

加载中
0
battyman
battyman

目前我们在使用的一个架构,可以参考一下:

flume(可选) + Kafka + Storm + HDFS

其中flume或者自己写的日志采集模块作为Producer将内容传入Kafka,Storm处理平台使用Consumer来从Kafka中消费日志信息并进行处理,使用HDFS存储,上T的流量都可以接受。

此外流处理平台上附加Apache Lucene,即可做出日志检索功能,不过没什么必要

0
懶蟲
懶蟲
得看项目需求了,一般的日志是为了记录问题的。如果是流水式的记录的话,所记录的信息就太多了。就要考虑记录的载体和方式了。
0
glamey
glamey
最终还要看你的业务范畴。不过可以推荐使用flume通过log的形式直接输出到kafka中,后续去kafka消费数据,推送到ES中进行索引,供后续的统计查询使用。
0
同一派

引用来自“battyman”的评论

目前我们在使用的一个架构,可以参考一下:

flume(可选) + Kafka + Storm + HDFS

其中flume或者自己写的日志采集模块作为Producer将内容传入Kafka,Storm处理平台使用Consumer来从Kafka中消费日志信息并进行处理,使用HDFS存储,上T的流量都可以接受。

此外流处理平台上附加Apache Lucene,即可做出日志检索功能,不过没什么必要

谢谢,谢谢,我自己再根据实际情况考虑一下该怎么鼓捣,谢谢您的建议!非常感谢
0
同一派

引用来自“glamey”的评论

最终还要看你的业务范畴。不过可以推荐使用flume通过log的形式直接输出到kafka中,后续去kafka消费数据,推送到ES中进行索引,供后续的统计查询使用。
嗯,不过,您说的我还不太了解,我自己再考虑考虑,做一下合适的选择,非常感谢!
0
同一派

引用来自“大德易科”的评论

得看项目需求了,一般的日志是为了记录问题的。如果是流水式的记录的话,所记录的信息就太多了。就要考虑记录的载体和方式了。
0
金贞花
金贞花
同志 你现在 鼓捣 的怎么样了
0
同一派

引用来自“坚持住”的评论

同志 你现在 鼓捣 的怎么样了
选了logstash+elasticsearch+kibana,只是记录了一些比如文件上传,文件删除之类的操作性日志信息
0
赛克蓝德
赛克蓝德
可以了解下seci-log,特点是整合了各种日志,对技术要求很低,基本上0配置就可以使用了。
返回顶部
顶部