神奇的Http头(X-Forwarded-For)可以解决抓取限制吗?

zgw06629 发布于 2014/10/21 18:27
阅读 1K+
收藏 2

抓取一个网站,设置的是休眠1秒,大概抓取了100个TargetUrl,就被屏蔽了,表现就是由TargetUrl跳转到一个输入校验码页面。

其他设置不变,仅添加了一个Http头(addHeader("X-Forwarded-For", "8.8.8.8")),到现在都快2000个TargetUrl了,还能成功抓取。

为什么这种情况下就没有100的限制了呢?


但将程序部署到服务器上后,仍有100的限制,经过比较发现本地与服务器所连接的实际IP地址不同,在服务器中hosts文件中绑定了本地所使用的那个ip后,确实没有100的限制了。

加载中
0
长安俞白眉
长安俞白眉
当你是google的爬虫了吧
0
a_boy
a_boy
真的这么神奇吗?我试试
0
a_boy
a_boy
XMLHttpRequest cannot load https://api.github.com/users/octocat/followers. Request header field X-Forwarded-For is not allowed by Access-Control-Allow-Headers. users.html:1
0
loyal
loyal
一般不可能...8888是dns,也不是google的爬虫.
0
loyal
loyal
应该和当前的负载有关系.
0
把妹达人老张
把妹达人老张
多煞笔的 服务器程序啊,通过这个头判断ip
0
filecache
filecache
网站程序不给力, 直接拿这个字段当客户端IP了, 你试试抓大点的网站, 完全没用
0
filecache
filecache
改header里的IP,来路, 禁cookies, 请求不同cdn节点, 维护一个代理池 ~  
返回顶部
顶部