新人一枚,怎么知道网站是否爬取完整,希望大家给一个具体的方法

明明白白 发布于 2013/09/16 10:55
阅读 764
收藏 0
如题
加载中
0
余争
余争
是想说搜索引擎能否完整的爬满你的网站的所有页面,还是你爬别人的网站的时候是否爬到了所有的页面?
0
明明白白

我爬一个指定网站的时候是否爬取了改网站的所有页面

0
IdleMan
IdleMan
深度优先、广度优先:理论上说只要深度和广度足够大,所有被链接的页面都会被爬取
0
明明白白

就是不知道这个设置究竟是多大,能有具体些?太大的话效率可是也会很低

返回顶部
顶部