日志分析程序设计-按照URL检索不同蜘蛛爬行页面\数量以及返回的状态码

9188彩票网 发布于 2013/07/26 10:28
阅读 95
收藏 0

问题描述

      最近很头疼,SEO需要分析公司网站的日志文件(nginx),但是每天的日志文件有2G这么大,看代码把人要看崩溃的

      所以想,设置一个小程序,直接按照栏目的url 和  归纳总分 各种蜘蛛爬行的页面,爬行量,以及爬行返回的状态码

     求教这么实现呢?

加载中
0
斯诺登
斯诺登
要看你日志的格式吧,默认的格式还是自定义过的?
0
罪恶的花生
罪恶的花生
99%的资源日志是无效的,
9188彩票网
9188彩票网
这个主要用来分析 搜索引擎蜘蛛爬行的问题
返回顶部
顶部