对log4j采集过来的log用什么工具进行查询和统计处理呢

EvanZhang 发布于 2011/08/11 14:26
阅读 1K+
收藏 0

对log4j采集过来的log,如果量很大的话,我们可能不能采用grep的方式进行查找了,那么如果内容很多,我怎么根据某个特性,比如手机号,某个action的名字,进行查询呢?

加载中
0
无鸯
无鸯
log4j 记录的信息内容,不同人做格式肯定五花八门,没有一个通用的分析工具吧
0
核桃博客
核桃博客

一般情况下就是shell或者python做字符串处理,一个文件固定10mb大小左右的话,脚本分析好后存储结构就好了

如果海量的话,比如你每天生成数据以pb为单位,他们就上hadoop之类的分布式搞

0
EvanZhang
EvanZhang
我看有的方案是将这些信息存储在mysql数据库中,以方便检索,这估计也是种方案吧~
0
修真0
修真0

引用来自“EvanZhang”的答案

我看有的方案是将这些信息存储在mysql数据库中,以方便检索,这估计也是种方案吧~

log数据一般都是有schema的,非常适合关系数据库存储

其他的像HBase也不错

返回顶部
顶部