python 爬虫付费代理

问题描述：

今天写爬虫程序用了一下付费代理，众所周知，用代理可以通过使用海量的ip应对网站的反爬虫机制。

使用的是python语言，先用的requests库，核心代码如下：

def get_random_proxy():#随机选择一个代理ipip_list = getIpList()random_ip =  ip_list[random.randint(0,len(ip_list)-1)]res = {'http':'http://用户:密码@' + random_ip,'https': 'https://用户:密码@' + random_ip}return resdef open_url(url):header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'}response = requests.get(url , proxies=get_random_proxy(),headers=header)return response.content

为了检测一下代理是否成功，我用open_url()函数访问了http://httpbin.org/get，发现每次返回的ip都不一样，说明这个代理成功了。

为了进一步验证，我又使用open_url()函数访问了https://2021.ip138.com，结果出现了问题。报了“407代理需要认证”这个错误。我检查了一下上述代码中https的用户和密码发现没有写错。在网上也没收到这种情况的解决方案。

尝试解决：

1.跳过ssl证书验证

因为http网站能正常访问，而https网站就出问题了，所以我尝试了一下在requests发起请求时加上verify=False这个参数，让它跳过ssl证书验证。

response = requests.get(url , proxies=get_random_proxy(),headers=header,verify=False)

结果，依然报“407代理需要认证”。

2.联系代理提供商

联系了一下代理提供商的客服，说认证一般就是账号密码认证或者白名单。我尝试了一下将自己的ip添加到白名单，但是又不知道自己的公网ip地址是多少。因为不同ip查询网站上显示的ip都不一样，我索性把上述提到的两个ip查询网站上的ip和内网ip都加到了白名单上。再次尝试，还是407。后来发现我在使用代理的时候它会自动把我的ip加入到白名单，但是，管他呢，依然407。

3.测试代理可用性

我随便选择了一个代理ip，把它设为我的win10系统的代理服务器。然后用浏览器访问百度，弹出让我输入账号密码认证，我输完之后页面还是没加载出来。我又访问http://httpbin.org/get，又弹出让我输入账号密码，我输入之后网页正常显示。然后我又访问百度等其他页面，这时就不用了输入账号密码了，就像平时上网一样。

做完这番验证之后，推断该代理本身是可以访问https网站的，问题可能出在python的requests上。

4.尝试urllib

既然requests不行，那就试试urllib。

def open_url(url):proxy_support = urllib.request.ProxyHandler(get_random_proxy())opener = urllib.request.build_opener(proxy_support)header=('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1')opener.addheaders = [header]response = opener.open(url)return response.read()

于是修改open_url()为上述代码。再用open_url()访问https://2021.ip138.com，访问了好几次，发现有时候报ssl错误或者407错误，有时候可以正常访问。而且返回的ip地址不一样，说明使用代理成功了。

就这样用代理爬了一会数据，也是一会报错一会正常，可以爬到点数据。然而，过了一会又爬不到数据了，问题是命令行也不弹错误了。然后重新运行发现全是ssl错误，一次正常访问都没有。what happened。心累啊。