如何设置网络代理,进行爬取

linyu123 发布于 2013/11/08 09:27
阅读 541
收藏 0

@自风 你好,想跟你请教个问题:公司上网都是需要通过http代理,问一下spiderman如何设置代理进行爬取网页。

加载中
0
自风
自风
扩展Plugin的Fetcher,里面用的是HttpClient
0
数据工厂
数据工厂
你可以试试神箭手云爬虫(http://www.shenjianshou.cn/),自带网络代理的功能,完全云端的爬虫框架,写起来很方便上手。
返回顶部
顶部