java如何限制IP重复扫描?

akeng 发布于 2013/12/12 17:10
阅读 504
收藏 1

我启动两个线程,同时扫描两个IP段地址,这个两个IP段有重复的部分,该怎么优化减少重复扫描的部分?

求解大侠。

加载中
0
Timco
Timco

引用来自“akeng”的答案

引用来自“Timco”的答案

引用来自“akeng”的答案

引用来自“Timco”的答案

用一个队列保存扫描过的ip @_@
这个怎么操作,还是会重复扫描把?

每扫描一个ip,就放到该队列中;然后每次扫描前,先看该队列中是否已存在。传说中爬虫的url管理就是这样干的。具体可参见《自己动手写爬虫》

有点思路了,我操作下,十分感谢,不懂再问
觉得好的话,设置为最佳答案啊
0
Timco
Timco
用一个队列保存扫描过的ip @_@
0
akeng
akeng

引用来自“Timco”的答案

用一个队列保存扫描过的ip @_@
这个怎么操作,还是会重复扫描把?
0
Timco
Timco

引用来自“akeng”的答案

引用来自“Timco”的答案

用一个队列保存扫描过的ip @_@
这个怎么操作,还是会重复扫描把?

每扫描一个ip,就放到该队列中;然后每次扫描前,先看该队列中是否已存在。传说中爬虫的url管理就是这样干的。具体可参见《自己动手写爬虫》

0
vietor
vietor

引用来自“Timco”的答案

用一个队列保存扫描过的ip @_@
Set也可以吧?
0
Timco
Timco

引用来自“vietor”的答案

引用来自“Timco”的答案

用一个队列保存扫描过的ip @_@
Set也可以吧?
当然可以。此队列非彼队列
0
akeng
akeng

引用来自“Timco”的答案

引用来自“akeng”的答案

引用来自“Timco”的答案

用一个队列保存扫描过的ip @_@
这个怎么操作,还是会重复扫描把?

每扫描一个ip,就放到该队列中;然后每次扫描前,先看该队列中是否已存在。传说中爬虫的url管理就是这样干的。具体可参见《自己动手写爬虫》

有点思路了,我操作下,十分感谢,不懂再问
返回顶部
顶部