代理服务器地址库,HTTP请求IP伪造,IIS7禁止IP

亲春豆 发布于 2013/01/03 01:30
阅读 2K+
收藏 2

这两天因为需求做一个数据采集的工具,之前也针对一些网站做过一些类似的东西,虽然过程上嗑嗑绊绊,但最后都达到了效果。

因为算不上经验丰富,这回遇到的麻烦让我比较困惑。

大概需要抓取二十多万数据,数据源网站服务器用的是IIS7,.net平台,请求大概一千到两千次左右,IP会被禁止,服务器直接返回503,采集中断,封禁时间大概为12个小时。

我采集的速度并不快,尝试过多种暂缓方式。每抓取10条停顿3s/5s/10s,或100条停顿30s/60s,或200条停顿300s/600s,后来发现无论如何去设置间隔时间都是徒劳,我每一次重启路由器开始抓取数量不会超过2000条,就会被服务器拒绝,直接返回503,然后封禁12个小时左右。

为此,我尝试使用代理来完成我的工作,做一个代理控制器,然后google百度的可用代理服务器ip地址列表,这些地址质量惨不忍睹,少有可以正常工作的服务器,以非常缓慢的速度响应,这显然不能为我所用,只好弃之,再寻它法。

由于我是使用远程服务器24小时开机来做数据抓取,所以并不能像adsl重启路由来获得新的ip地址,目前服务器IP刚被解封。即使使用adsl线路依靠重启路由的方式来完成数据抓取,20万的量也足够让我困扰了,除非再写一个定时重启路由的程序,这意味着我随时准备断网,想着都痛苦。

有哪位朋友研究过iis/asp.net/iis插件来限制客户端ip请求次数的原理的?希望能绕过去。

或者,能否伪造http请求的IP?这都比较靠近底层的协议了,小弟对这些目前白纸一张,恳请指教。

每个ip在一天内限制不到2000次,20余万的数据,买代理服务器可否现实?有卖的不?


加载中
0
亲春豆
亲春豆
@蟋蟀哥哥  我是你的粉呐,帮帮我。。
0
蟋蟀哥哥
蟋蟀哥哥

不知道采集的是什么站。。

我有个网友有和你相同的需求,他是采集的weibo的数据然后作为数据分析使用。

他碰到的问题和你一样,就是weibo对访问次数和api调用次数的限制。。

首先他是多台服务器,多个ADSL,还有多个空间使用php文件作为代理。

就是这么依靠节点众多来绕过限制的。。

你可以考虑在各种云服务器上挂一个代理脚本,让脚本采集并返回给你的服务器。

0
亲春豆
亲春豆

引用来自“蟋蟀哥哥”的答案

不知道采集的是什么站。。

我有个网友有和你相同的需求,他是采集的weibo的数据然后作为数据分析使用。

他碰到的问题和你一样,就是weibo对访问次数和api调用次数的限制。。

首先他是多台服务器,多个ADSL,还有多个空间使用php文件作为代理。

就是这么依靠节点众多来绕过限制的。。

你可以考虑在各种云服务器上挂一个代理脚本,让脚本采集并返回给你的服务器。

抓的这个站cn.futureelectronics.com

这是个方法。多谢了,我怎么没有想到~

那我得有多个代理服务器?还得是云的?求推荐。


亲春豆
亲春豆
回复 @蟋蟀哥哥 : 原来这样,这只能以后试了
蟋蟀哥哥
蟋蟀哥哥
回复 @布谷鸟 : 既然刷成了linux,就可以作为服务器用了啊。。笨蛋啊。。。再找找朋友的服务器借借,挂脚本做跳板用。
亲春豆
亲春豆
回复 @蟋蟀哥哥 : 不懂啊,我不会linux。。什么意思,不要这么隐晦嘛。
蟋蟀哥哥
蟋蟀哥哥
回复 @布谷鸟 : ADSL也是很好的思路的。你有好点的路由器的话,直接刷成linux。。。然后。。。你懂了吧。。。把朋友家,同学家,同事家的路由器全拿去刷掉。。。这个成本也不高。
亲春豆
亲春豆
回复 @蟋蟀哥哥 : 我当初想的最蠢的方法是晚上睡着了开着电脑采,然后到一定数量暂停5分钟并用程序重启路由来更换ip,你们有服务器资源,我只能找俩云平台加上自己的破电脑,赶紧把数据扒下来得了,时间还不多,多谢提供思路。
下一页
0
南湖船老大
南湖船老大

绕过IP是不可能的,要是这也能绕过的话,是不是也能绕过密码呢,那计算机就不存在安全一说了,整个计算机领域轰然崩塌。

伪造IP,也不大可能,理论上都很难,至少我也没见到。

一般还是找大量代理和肉鸡。

亲春豆
亲春豆
这些底层协议我就不懂了,也希望能有哪些有经验的前辈们讲出个缘由就好了,要是能伪造IP就岂不是很爽。
0
多啦啦
多啦啦
最近搜索伪造IP相关的找到了你这里 也没找到答案 又人写出了一个C#程序是伪造IP的 在吾爱破解论坛  他不愿意告诉我他的具体方法 只是提示了  “ 修改传输协议。”  对此我无能为力~
亲春豆
亲春豆
不知道,反正我当初用java 没搞头,最后搞了些多ip的服务器,搞定了
0
0
apeyun
apeyun
跟我联系
0
jun-s
jun-s
跟我联系,我有方案。
 
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部