Python爬虫代理是否使用成功问题

xjcyxyx 发布于 2018/10/11 09:54
阅读 1K+
收藏 1

本人正在学习Python网络爬虫,是个初学者,在学习代理,想验证代理是否使用成功。想到的方法是使用代理访问我自己个人网站,然后通过nginx的访问日志access.log查看访问ip,以下为验证实例。

上图为我本地ip地址

上图为通过chrome浏览器访问个人网站显示的访问ip,正是我本地ip

然后我使用代理访问个人网站,访问是成功的,再去看访问ip时如下图

如上图,红色所圈为使用代理python代理访问,但ip显示的还是本地ip,而不是使用的代理ip。

以下为代理代码

from urllib import request


def use_proxy(proxy_addr, url):
    proxy = request.ProxyHandler({"http": proxy_addr})
    opener = request.build_opener(proxy, request.HTTPHandler)
    request.install_opener(opener)
    data = request.urlopen(url).read().decode("utf-8")
    return data


proxy_addr = "221.7.76.199:808"
data = use_proxy(proxy_addr, "https://www.xxx.com/blog/index.html")
print(data)

所以这里我就有疑惑,

1、代理是否使用成功?

2、如果代理没有使用成功,那问题出在哪里?

3、如果代理使用成功,那为什么会出现我所描述的现象,是否我的验证方法不对,若不对,我该怎样去验证代理是否使用成功。

望各位大佬能解惑,小弟在此先谢诸位!!

加载中
0
代码打碟手
代码打碟手
我说一点个人的感受,http代理IP不能用来爬虫https,反之应该也是一样的,为此,我上网查阅了一下,确实有这个问题。还有,我之前用爬虫爬取了个人网站时,百度统计也没有记录,所以不是很清楚代理ip是否真的能掩盖真实ip访问并使用代理被记录下来。或者代理的机制是否真的如我们所想,同问,本人在校应届毕业生。
xjcyxyx
xjcyxyx
是的,按你说的,我又搭了个非https的网站,通过代理访问,这次nginx显示的代理ip
返回顶部
顶部