如何屏蔽百度谷歌蜘蛛?

itfanr 发布于 2014/06/14 23:13
阅读 788
收藏 1
网站流量异常啊!求告诉屏蔽方法,尤其是谷歌的。谢谢!
加载中
1
Helloall
Helloall
User-agent: *
Disallow: /
Feng_Yu
Feng_Yu
回复 @itfanr : 你需要搜一下robots.txt这个关键字。语法其实很简单,你可以看看百度,google,淘宝等网站写的robots.txt参考一下。比如www.baidu.com/robots.txt
itfanr
itfanr
回复 @dkrhxc : 主要是谷歌 老是浪费我流量
Helloall
Helloall
回复 @itfanr : 把这两句写入你的robots.txt文件,这样无论任何搜索只要是遵从该协议的,都会自动离开你的网站。不抓取你的任何内容。当然不遵从该协议的,例如国内的XXX等等,那就另当别论了。
itfanr
itfanr
求详细。。。
1
loyal
loyal

网站根目录建立这个文件,内容如下 

robots.txt

User-agent: *
Disallow: /

0
樂天
樂天
在谷歌,百度搜一下 robots.txt
0
Feng_Yu
Feng_Yu
对国内流氓蜘蛛没用,google蜘蛛比较和谐,会参考你的robots.txt指定的协议,但是国内的流氓蜘蛛压根不管这个文件,直接用爬虫暴力枚举爬取,非常恶心
itfanr
itfanr
真恶心
返回顶部
顶部