这个爬虫真难整?!!!

1起分享8 发布于 2012/11/21 19:27
阅读 419
收藏 0
我想写一个网络爬虫!!!!!
在写关于Google的搜索的时候发生了异常!!!!
异常为 server redirected too many times(20).

我配置的Google URL为:http://www.google.com.hk/search?hl=zh-CN&newwindow=1&q={keyword}&aq=f&oq=

请大家给点意见!!!
加载中
0
首席xx师
首席xx师
访问太频繁!
0
游侠
游侠
中间歇一下
0
kiwivip
kiwivip
每次get后sleep一个小随机数
0
数据工厂
数据工厂

推荐大家使用我们开发的神箭手云爬虫( http://www.shenjianshou.cn ),完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。 

简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。 

demo 源码地址: https://github.com/ShenJianShou/crawler_samples

官方开发者QQ群:342953471

返回顶部
顶部