webmagic java爬虫使用selenium模拟谷歌浏览器,获取了翻页的每页的网址链接传到process,运行时为什么还会打开每页的网址?

Nicll 发布于 2018/02/02 09:19
阅读 1K+
收藏 4

如图,已经获取到想爬取的网址信息,在process那边也获取的到。

但是addTargetRequests这些网址,就会又打开了,怎么能不打开这些单个的网址了?

加载中
0
penngo
penngo

selenium不是模拟,而是直接调用本地浏览器,如果想无界面,可以使用htmlutil

返回顶部
顶部