robots.txt

关注
加载中
1
回答
wget忽略robots.txt

wget默认会根据网站的robots.txt进行操作,如果robots.txt里是User-agent: * Disallow: /的话,wget是做不了...

2010/01/06 20:52
5
回答
robots协议真的有用吗?

robots协议真的有用吗?我认为robots协议并没有实质的作用,虽然明确的告知搜索引擎不要抓取某些页面,但是仍然有一些搜索引擎强行抓取这些明文指出不要...

2013/11/14 16:53
5
回答
如何给wordpress网站写robots.txt?

我的网站www.stwl.com.cn一直都没有写robots.txt,查看IIS日志的时候发现有很多404,今天给提交上去了,但不知道这样写正不正确,写...

2012/05/02 15:30
5
回答
向大家咨询一个问题:关于 robots.txt

1、写法一 User-agent: * Disallow: / 拦截整个网站 2、写法二 User-agent: * Disallow: 写法二呢?是...

2011/05/18 11:01

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部