爬取oschina隔一段时间就被禁止了ip

森罗万象t 发布于 2014/04/09 16:44
阅读 2K+
收藏 2

@红薯 你好,想跟你请教个问题:红薯老大,我是一个研究生,

想要用爬虫爬取贵站的一些数据做毕业论文。但是爬了一段时间就限制了我的ip,

我是遵守了robots.txt里面的设置的。

请教一下贵站爬取的其他规则和限制(是否有时间段的限制?)。谢谢!

加载中
1
dreamhack
dreamhack

总算抓住了,,lz你咋自己送上门了,哈哈

森罗万象t
森罗万象t
就只爬了很少的东西。都还没到10万条
1
官方入员
官方入员
用手机api
官方入员
官方入员
回复 @森罗万象t : http://git.oschina.net/oschina/iphone-app 里面有api地址
森罗万象t
森罗万象t
求指导
1
YU_Z_W
YU_Z_W
拉出去砍了,有API竟然不用。
森罗万象t
森罗万象t
求连接,求指导
0
loyal
loyal

你爬的太狠了...就是你...   

森罗万象t
森罗万象t
没有爬多少额
0
zhang1hang2
zhang1hang2

估计频率高了,被当做ddos处理了。

可以试下加不停换代理爬。

森罗万象t
森罗万象t
这个主意不怎么好啊,我就是想知道最好以多少的速度和频率就可以接受!
0
买红薯
买红薯

原来是你啊,怪不得最近osc很不稳定..

森罗万象t
森罗万象t
我就爬了几次,每次都没爬多少
0
大王叫我来卖萌
大王叫我来卖萌

快抓住他,别让他跑了

森罗万象t
森罗万象t
大侠,饶命!
0
okk
okk

红薯不让爬的

森罗万象t
森罗万象t
@红薯大大,真的?
0
开源oschina
开源oschina

总算抓住了,,lz你咋自己送上门了,哈哈 

森罗万象t
森罗万象t
我就没爬多少,引发性能问题的肯定不是我
0
雨翔河
雨翔河

 抓住他

森罗万象t
森罗万象t
放我一条生路
返回顶部
顶部