在 Nginx 中将爬虫过来的请求转到指定的后端服务

红薯 发布于 2013/03/12 15:15
阅读 2K+
收藏 26

一般识别爬虫的方法是通过 UserAgent,这种办法最直接,但也很容易伪造,先不管这个了。

实现在 Nginx 中使用 map 指令来匹配一个变量:

map $http_user_agent $is_bot {
	default 0;
	~[a-z]bot[^a-z] 1;
	~[sS]pider[^a-z] 1;
	'Yahoo! Slurp China' 1;
	'Mediapartners-Google' 1;
}
在这里我们生成了一个名为 $is_bot 的变量,该变量默认值是 0 ,如果匹配到上述 4 种正则表达式的情况后,值就变成1。你可以继续往 map 中添加新的表达式规则。

然后在 location 中使用该变量:

location / {
	error_page 418 =200 @bots;
	if ($is_bot) {
	   return 418;
	}
	proxy_pass http://tomcat_for_normal_visitors;
}
@bots 的定义:
location @bots {
    proxy_pass http://tomcat_for_bot;
}
当判断当前请求是爬虫的时候,返回 418 错误码。

通过 error_page 将 418 错误码改为 200 (正常请求响应码),然后进入 @bots 这个 location 进行下一步处理。@bots 中将请求反向代理到你指定的后端应用。

如此便可将正常的用户访问和爬虫访问独立开来,使二者不会互相影响。

加载中
0
块块
块块
擦前排
0
dedenj
dedenj
暗爬防不胜防
0
ZoomQuiet
ZoomQuiet

ngx_openresty: an Nginx ecosystem glued by Lua    
http://agentzh.org/misc/slides/ngx-openresty-ecosystem/index.html#1
更加优雅,,,

红薯
红薯
Lua 语言来编写各种复杂规则,俨然成为一个应用服务器了,不只是 HTTP 服务器 :)
0
皮总
皮总
高级用法, 收藏
0
蟋蟀哥哥
蟋蟀哥哥
还是喜欢用dnspod来做这步。。不用服务器来
蟋蟀哥哥
蟋蟀哥哥
回复 @红薯 : IP我有几百个
红薯
红薯
当你只有一个IP的时候....
0
WeirdBIrd
WeirdBIrd
暂时看不懂
0
spring_trees
spring_trees
正则表达式慢,agent可以伪造,个人觉得意义不大
返回顶部
顶部