如何用python,每隔5分钟对实时日志做统计处理

seanlin138 发布于 2015/10/26 10:24
阅读 1K+
收藏 0
平常shell里,一般是用管道实时处理,但没有时间的概念,所以实现不了。
1.py常驻进程的话,想到的是用subprocess?处理一次tail -f 日志后,sleep 5min,再处理。不过缓存这些日志时候是否会占用很多系统资源。

2.每隔5min启动一次脚本,但如何记住上次处理到日志哪个位置?假如日志里没有时间标示。


加载中
1
岚宝
岚宝
写个log吧 就记录每次处理的行数和该行的内容 然后每次启动的时候先去查log 再定位到相应的log位置
0
MrMyj
MrMyj
contabe 系统定时执行
MrMyj
MrMyj
打错了应该是 crontab
0
幻视Vision
幻视Vision

LOG文件一般只增不减,所以记住位置偏移量是可行的。

参考http://pmghong.blog.51cto.com/3221425/1349978


0
gsyk
gsyk
在spark上跑 window设置成5min
0
Altman
Altman
谁说shell实现不了?推荐个Perl写的插件:check_logfiles
返回顶部
顶部