原来Robots 可以告诉搜索引擎不收录那些内容,可是360却执意收录,垃圾软件

keywordsnt 发布于 2013/10/19 12:55
阅读 807
收藏 2

原来Robots 可以告诉搜索引擎不收录那些内容,我到现在才知道,刚刚问的如何屏蔽Google搜录,才懂得Robots的用途,可是google资讯看到360违反Robots却执意收录,垃圾流氓软件,强烈抵制

在Google搜索“360违反Robots”

加载中
1
南湖船老大
南湖船老大
楼主是百度的五毛吧
0
铂金小狗
铂金小狗
SB , 只允许百度收录别人,然后自己的内容不允许别人收录,这就是赤裸裸的养猪呢!~
0
k
keywordsnt
我是允许Google收录的,但是对于流氓绝不能姑息
0
c
c-coming
seo会用到这个,一般把后台地址什么的不想被收录的屏蔽起来
0
Mehost
Mehost
其实,你这样想,网站就是你的家,你允许搜索引擎拍你屋外的风景,但有一天,某引擎破门而入,拍了你屋子里的风景和隐私。你作为主人该怎么想?
0
产品哥
产品哥
360不至于你想的这样。这个只是360和百度直接信息收录博弈,和别站无关。主要原因是在公开信息模块(百科,百问等),所有的搜索引擎都能收录这些内容,却不让360收录,360说这是网民提供的信息,版权在网友,那么信息展示是否有网民决定。so,360其实一直就是垃圾,哈哈。
0
iopfnx
iopfnx
楼上是业内人士!? 信息量很大啊
0
红星xx
红星xx
<!-- 以下是百度知道的robots.txt , 启用了白名单 。除了白名单,其他的都禁止收录 --!>
User-agent: Baiduspider
Disallow: /w?
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: MSNBot
Allow: /

User-agent: Baiduspider-image
Allow: /

User-agent: YoudaoBot
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: Sogou inst spider
Allow: /

User-agent: Sogou spider2
Allow: /

User-agent: Sogou blog
Allow: /

User-agent: Sogou News Spider
Allow: /

User-agent: Sogou Orion spider
Allow: /

User-agent: JikeSpider
Allow: /

User-agent: Sosospider
Allow: /

User-agent: YYspider
Allow: /

User-agent: PangusoSpider
Allow: /

User-agent: yisouspider
Allow: /

User-agent: EasouSpider
Allow: /

User-agent: *
Disallow: /
0
铂金小猪
铂金小猪
嘿嘿,五毛。
0
铂金小猪
铂金小猪
虽然这些都不是好东西。但你这行文写的太烂了。
返回顶部
顶部