登录 注册
开源问答
开源问答 技术分享
正文

wget忽略robots.txt

红薯 发布于 2010/01/06 20:52
阅读 2K+
收藏 3
评论 1
GNU Wget robots.txt

wget默认会根据网站的robots.txt进行操作，如果robots.txt里是User-agent: * Disallow: /的话，wget是做不了镜像或者下载目录的，使用-e robots=off参数即可绕过该限制。

收藏 (3)
举报
加载中
红薯
红薯
最近登录：今天 13:26
全部

红薯的其他提问

Java 17 的 sealed 的使用场景是什么呢？
5 回答
1K+ 阅读
讨论：树状结构数据分页显示的方案？
3 回答
1K+ 阅读
账号被屏蔽或注销？
0 回答
443 阅读
码云项目搜索的一个问题
1 回答
977 阅读
吐槽一下百度的垃圾文本检测 API ，还是太弱了
1 回答
2K+ 阅读
OSCHINA
登录后可查看更多优质内容
使用微信快捷登录
返回顶部
顶部