登录 注册
开源问答
开源问答 技术问答
正文

如何实现wget在http上的正则搜索

zhang.zhe 发布于 2011/08/11 15:53
阅读 2K+
收藏 0
答案 1
GNU Wget 正则表达式

之前一直尝试收集某些特定名称url下的内容，比如http://www.amazon.com/Harry-Potter-...

为此甚至想到把google的搜索结果加到wget后面之类的土办法：

wget -r -np -l2 http://www.google.com.hk/#hl=zh-CN&source=hp&q=harry+potter&oq=harry+potter&aq=f&aqi=&aql=&gs_sm=e&gs_upl=946l4106l0l4280l12l8l0l0l0l0l0l0ll0l0&fp=11e2cf384cbeb71&biw=1249&bih=624

但后来发现google会阻止类似的操作。

所以请教一下有何解决办法，当然不一定用wget，有其他爬虫类的软件可以实现类似功能也行。

收藏 (0)
举报
加载中
最多投票 最新
0
鉴客
鉴客
2011/08/11 16:16
Google 阻止是因为你访问太快了，另外还要在设置一个模拟浏览器的 User-Agent
评论 (0) 引用此答案 举报
z
zhang.zhe
最近登录：2013/03/28 18:08
OSCHINA
登录后可查看更多优质内容
使用微信快捷登录
返回顶部
顶部