监控爬虫 的agent 是什么?

李永波 发布于 2010/11/23 09:13
阅读 552
收藏 1

监控爬虫 的agent 是什么?  我也想禁用一些网站的爬虫 最近有个 agent 是 Null 的 怕从总是来爬

不想被网监封掉 求agent

加载中
0
红薯
红薯

没准的,而且他们可以改的,装得跟正常浏览器一样。

0
李永波
李永波

哪网监也太奸了吧

0
jingshishengxu
jingshishengxu

看见貌似爬虫就重定向到一个静态页面

0
G.
G.

嗯, agent 再怎么装也没用. 因为看爬虫的访问次数绝对比真实用户的访问次数多得多.

返回顶部
顶部