python使用网页代理模拟浏览器时的一个问题,求教

刘地 发布于 2013/02/10 19:08
阅读 759
收藏 0

是这样,使用python制作爬虫的时候,有时需要javascript支持,但是装第三方库之类太麻烦了,相比之下使用网页代理中转就容易多了,但是现在大多数的网页代理,代理的具体地址都是经常变动的,真正比较稳定的都是那种包含了一个具体代理列表的形式,比如www.dailila.com。但是这样一来想要通过这个地址获得实际代理地址就很麻烦,中间有一个网页中转,然后才是重定向。

我用HttpWatch查看,只是看到keep-alive:timout=2,这个重定向不是一开始就重定向而是先获得一些数据,随后经过不到2秒时间后才得到重定向的信息,我用python只能得到最初的“正在转向代理页……”这个页面,求教各位大大,如果写才能获得后面的重定向地址?

加载中
0
刘地
刘地
好吧,这里我也顶起一次吧
0
乌龟壳
乌龟壳
一点点解析吧
0
铂金胖子
铂金胖子
自己分析一下网页吧。比如 @oschina 登录以后啥都不返回,只能通过 cookies 来判断。
0
刘地
刘地
网页是自动弹出的,用fridder监视,服务器是先后两次发送了数据,但是确实采用的不同的端口,己方的连接在第一次访问后就断开了,完全不知道第二次是如何开启的。
返回顶部
顶部