开源问答 技术问答
正文

如何实现wget在http上的正则搜索

zhang.zhe 发布于 2011/08/11 15:53
阅读 1K+
收藏 0
答案 1
GNU Wget 正则表达式

之前一直尝试收集某些特定名称url下的内容，比如http://www.amazon.com/Harry-Potter-...

为此甚至想到把google的搜索结果加到wget后面之类的土办法：

wget -r -np -l2 http://www.google.com.hk/#hl=zh-CN&source=hp&q=harry+potter&oq=harry+potter&aq=f&aqi=&aql=&gs_sm=e&gs_upl=946l4106l0l4280l12l8l0l0l0l0l0l0ll0l0&fp=11e2cf384cbeb71&biw=1249&bih=624

但后来发现google会阻止类似的操作。

所以请教一下有何解决办法，当然不一定用wget，有其他爬虫类的软件可以实现类似功能也行。

收藏 (0)
举报
加载中
最多投票 最新
0
鉴客
鉴客
2011/08/11 16:16
Google 阻止是因为你访问太快了，另外还要在设置一个模拟浏览器的 User-Agent
评论 (0) 引用此答案 举报
z
zhang.zhe
最近登录：2013/03/28 18:08

类似问题

每天一个linux命令（61）：wget命令
0 回答
153 阅读
新手学堂：Linux下载工具wget和axel介绍
2 回答
654 阅读
新手学堂：Linux下载工具wget和axel介绍
0 回答
280 阅读
Linux操作系统的各种命令行下载工具介绍
0 回答
771 阅读
HTTP请求报文与响应报文介绍,都有哪些状态码
0 回答
31 阅读
推荐给开发人员的实用命令行工具
34 回答
12111 阅读
CentOS的Gearman安装与使用无错版
0 回答
2195 阅读
Linux 抓取网页方式（curl+wget）
1 回答
4423 阅读
Mac OS X Lion安装MacPorts（让你在Mac的Shell下更加游刃有余）
0 回答
248 阅读
使用Gearman做分布式计算
0 回答
259 阅读
20个扩展装备你的Safari 5
1 回答
698 阅读
实用技巧：轻松设置Wine程序的中文显示
0 回答
811 阅读
介绍 20 个出色的 Safari 插件
0 回答
2763 阅读
我删蟋蟀哥哥标题猥琐的贴子的内容
16 回答
1993 阅读
iOS开发之Objective-C与JavaScript的交互
0 回答
1667 阅读
返回顶部
顶部