抓取某个网站 本地正常 服务器上却很快便503

zgw06629 发布于 2014/10/20 13:11
阅读 941
收藏 1

发现了这么一个问题,抓取一个网站,在本地测试时,一切正常,但部署到服务器上,大概20来秒便都是503错误了,curl 某个链接 有这样的输出:

 <div style="margin-left:180px;width:695px;margin-top:72px;text-align:center">
            <h1 style="font-size:27px">503~~访问得太多了,请明天再访问</h1>
            <div style="background:#fff;height:341px;margin-top:32px">
                <div style="margin-top:100px;float:left">
                    <img style="float:left;margin-left:142px" src="http://www.xiachufang.com/pic/xiaohai.png">
                    <div style="margin-top:39px;text-align:left;padding-left:27px;float:left;">
                    <p>访问得太多了,请明天再访问</p>
                    </div>
                </div>
            </div>
        </div>

为什么同样的代码在服务器上与在本地就会不同呢?该怎么解决呢?

加载中
1
景愿
景愿
这么明显的提示你看不到吗!!!

访问得太多了,请明天再访问


不日小鸡
就是,这么明显的提示
0
jdluojing
jdluojing
控制一下访问速度试试
0
zgw06629
zgw06629
各位各位,同样的程序,为什么在我本地跑就没这个限制呢?
0
昵称必须填
昵称必须填

服务器上网速好,频率高,所以超限了。

你设置下服务器抓取频率

0
马博文
马博文

请求速度过快了,脚本里面设置下sleep时间吧,在本地测试下阈值。

0
开源中国首席煤工
开源中国首席煤工
你可以监控下你本地和服务器上,20秒中会发多少个请求就知道了
0
kiwivip
kiwivip
如果你的pc配置和服务器一样,带宽也一样,那就很奇怪~
0
pangjuntaoer
pangjuntaoer
服务器上硬件环境太好,速度当然快了。。做做限制
0
jince
jince
访问次数太频繁,服务器会关闭你的请求,请控制访问频率,
0
idea_biu
idea_biu
也有可能是空间服务商做的限制
返回顶部
顶部