8月7日上午十点,百度诉360违反Robots协议案将在北京市第一中级人民法院一审宣判,虽然目前尚无法知道判决结果,但有互联网行业人士分析,由于 Robots协议直接关系到中国6亿多网民的隐私安全,更与互联网企业的前途发展息息相关,判决结果将对行业行为起到规范作用。
Robots协议是国际互联网界通行的道德规范,也是维护互 联网世界隐私安全的重要规则。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。北京市汉卓律师事务所首席律师赵虎表示,Robots协 议如果被破坏,对整个行业可谓灭顶之灾。
Robots协议代表了一种契约精神,互联网企业只有遵守这一规则,才能保证网站及用户的隐私数据不被侵犯。公开资料显示,在中国国内互联网行业,正规的大型企业也都将Robots协议当做一项行业标准,国内使用Robots协议最典型的案例,就是淘宝网拒绝百度搜索、京东拒绝一淘搜索。不过,绝大多数中小网站都需要依靠搜索引擎来增加流量,因此通常并不排斥搜索引擎,也很少使用Robots协议。
稿源:环球网科技
引用来自“纵使有花兼明月何堪无酒亦无人”的评论
一方面是360不遵守协议。一方面是百度歧视。允许其他搜索引擎抓就不让360抓。其实可以告百度利用垄断歧视360。反正他们公关都厉害。 就看看谁的公关更厉害引用来自“飞炀”的评论
淘宝不允许百度搜索爬它,却允许一淘之类的比价网站爬数据,也没见百度硬要去爬啊。同样京东不让一淘爬数据,却让惠惠网之类的比价网站爬,也没见一淘硬爬人家数据。引用来自“纵使有花兼明月何堪无酒亦无人”的评论
就算爬淘宝也不好爬。淘宝都是异步加载的。还得专门给淘宝开发一个算法引用来自“飞炀”的评论
这不是好爬不好爬的问题,这是态度问题...既然搜索引擎,我觉得就应该遵守robots,不遵守,就不要在别人告的时候搞的自己多弱势似的,别人不遵守不是它不遵守的借口。就好比一个人去偷东西,被抓了,他就说别人能偷为啥我不能偷,警察会因为这个不罚他么。引用来自“纵使有花兼明月何堪无酒亦无人”的评论
如果经常发现这两个都是小偷呢?一个小偷偷了另外一个小偷的东西引用来自“红薯”的评论
这个问题贼扯淡,人家完全可以伪装成正常浏览器用户,然后对你的 Robots 置之不理。OSC 天天被这么干!引用来自“大师兄悟空”的评论
红薯扯淡。。。。 道德规范。。。。道德规范。。。 你看你丫的素质了 , 就你这伪装成正常浏览器的素质 很难做成一个有道德的人!!引用来自“红薯”的评论
osc天天被伪装成正常浏览器的爬虫搞,拜托你能看清楚再发表评论吗