Google搜索结果抓取

itblackhole 发布于 2011/07/27 17:13
阅读 1K+
收藏 0

如何避免在抓取google结果页时被google屏蔽!

加载中
0
blur
blur
配置多个物理公网ip,随机切换ip。
0
红薯
红薯
Google 限制了一分钟内的访问次数,没辙的,我估计你没那么多公网IP来切换
火眼金睛容嬷嬷
火眼金睛容嬷嬷
我一般是用一堆代理服务器干这个,都是公网ip,可以从一些proxy网站动态抓取,验证,然后直接用。一般大约能筛出一两百个有用的吧。 老流氓了。
blur
blur
那就真没办法了。
0
itblackhole
itblackhole

确实是会被屏幕,而且是随机的。一般来说访问一百次左右就得停90s,在访问的时候还得模拟浏览器,配置多个userAgent进行请求,同时因为是需要获取其google的广告信息,还得配置不同地区的ip进行切换……

0
knightliao
knightliao
taiv5.com 
返回顶部
顶部