wget忽略robots.txt

红薯 发布于 2010/01/06 20:52
阅读 2K+
收藏 3

wget默认会根据网站的robots.txt进行操作,如果robots.txt里是User-agent: * Disallow: /的话,wget是做不了镜像或者下载目录的,使用-e robots=off参数即可绕过该限制。

加载中
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部