robots协议真的有用吗?

GoogleGood 发布于 2013/11/14 16:53
阅读 276
收藏 0
robots协议真的有用吗?我认为robots协议并没有实质的作用,虽然明确的告知搜索引擎不要抓取某些页面,但是仍然有一些搜索引擎强行抓取这些明文指出不要抓取的页面,难道没有一种可以直接让蜘蛛无法抓取的方法吗?例如权限不足无法抓取之类的?请问如何强制性让搜索引擎无法抓取某些页面?
加载中
2
kiwivip
kiwivip
协议性质的东西必然可以被技术干死~
2
小耶果
小耶果
那要看那个环境下人们的道德和政府的法律体系水平而定.
2
MrZQ
MrZQ
防君子不防小人~
0
红星xx
红星xx
对 正规 公司 有 约束 。
0
欣儿
欣儿
难道不是都抓取,有robots的就没显示出来?
返回顶部
顶部