如何屏蔽搜索引擎爬去三级域名

oxsicn 发布于 2013/11/06 09:10
阅读 222
收藏 0
abc.text.xxx.com 想禁止搜索引擎爬去 *.text.xxx.com下的所有子域名 如何实现
加载中
0
JacCoffee
JacCoffee
你可以在 robots 添加一条记录禁止搜索爬虫抓取,但是他们会不会遵守呢?你懂得,这段时间360和百度炒翻天就是这个东东闹的


要不然你自家识别搜索爬虫的ip,然后进行301跳转,不让他们访问


返回顶部
顶部