急救 dnsjava在爬虫中如何应用

刘吵 发布于 2012/06/10 23:17
阅读 731
收藏 0

急救 dnsjava在爬虫中如何应用
加载中
0
红薯
红薯
我实在不清楚dns和爬虫之间有什么必然的联系吗?如果说抓取url是需要解析ip地址,但这也需要 dnsjava 来做啊,操作系统就直接搞定了。
皮蛋
皮蛋
嗯,这个怎么说呢,如果不对dns做缓存的话,会有很大的开销在dns解析上面,据统计发现,40%-60%的spider开销在dns上。另外,dnsjava可以使用自定义的策略,如在某一个dnsserver上找不到,另外再去google dns上找一下,然后缓存。
0
Andre.Z
Andre.Z
你到底是想要达到什么效果????
返回顶部
顶部