python代理ip连接失败_遇到问题--python--爬虫--使用代理ip第二次获取代理ip失败
情况
获取代理ip的代码
def ferch_proxy_ips():
try:
api = "http://dynamic.goubanjia.com/dynamic/get/12323.html?sep=3"
response = urllib.request.urlopen(api, timeout=8)
the_page = response.read()
content = the_page.decode("utf8")
print("获取代理ip" + content)
# 按照\n分割获取到的IP
ips = content.split('\n');
return ips
# 利用每一个IP
except Exception as e:
print(str("获取代理ip异常" + str(e)))
content = ""
return content
使用代理ip访问页面,使用代码如下:
def fetch_raw_respone_proxy(link,ipport):
proxy_support = urllib.request.ProxyHandler({'http': ipport})
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
print("使用代理ip"+ipport+"访问"+link)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-Agent': user_agent}
f = urllib.request.Request(link, headers=headers)
response = f.urlopen(api, timeout=8)
# time.sleep(1)
return response
当第一次获取的代理ip失效时,重新去获取,发现连接失败,排查发现重新去获取IP使用的ip 是 第一次获取到的 已经失效的ip,而不是本机ip。
理论上 两个方法是独立的,一个使用了代理,一个没使用,应该不会有影响才对。
原因
urllib.request.install_opener(opener)
如果这么写,就是将opener应用到全局,之后所有的,不管是opener.open()还是urlopen() 发送请求,都将使用自定义代理。
解决方法
修改如下:
只使用opener.open()方法发送请求才使用自定义的代理,不影响到其他的方法,其他方法里urlopen()不使用自定义代理。
def fetch_raw_respone_proxy(link,ipport):
proxy_support = urllib.request.ProxyHandler({'http': ipport})
opener = urllib.request.build_opener(proxy_support)
# urllib.request.install_opener(opener)
print("使用代理ip"+ipport+"访问"+link)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-Agent': user_agent}
f = urllib.request.Request(link, headers=headers)
response = opener.open(f, timeout=70)
# time.sleep(1)
return response
python代理ip连接失败_遇到问题--python--爬虫--使用代理ip第二次获取代理ip失败相关推荐
- python自己创建模块引用失败_详解Python import方法引入模块的实例 Python怎么import自己写的模块...
python中 import导入模块失败的问题? python中的import引用不了模块我傻,为你傻;我痛,为你痛;深夜里,你是我一种惯性的回忆. 为什么我用from lianxi import*就 ...
- python os.remove拒绝访问_「进阶Python」第八讲:代理模式
本文完整代码请查看github项目:advance-python,或者直接访问链接: https://github.com/Jackpopc/advance-python/blob/master/6- ...
- anaconda降级python失败_如何降级Python版本安装spyder?
如何降级 Python 版本安装 Spyder? 可能并不需要降级 Python 版本,使用 Spyder 独立安装包安装,然后指定 Python 解释器:另外一种方法是在 Anaconda 中安装. ...
- python字符串连接数字电视_自学计划 - python 小白基础教程 - 第三课:字符串和数字...
目录 字符串的索引 我们在之前已经接触过字符串,它在 python 是str类型.现在让我我们来更深入地了解一下. 一个字符串是一系列字符的组合,因此我们可以通过方括号操作符号加上序号来获取单个字符. ...
- python模拟登录抖音_利用 mitmproxy 实现抖音 Cookie,设备 ID 获取 (一)
先讲解一下思路,是利用mitmproxy代理https协议,从而判定抖音个人信息接口,在个人信息接口的返回体接收时将用户信息数据,以及Header头(主要是Cookie),Query体(包含设备ID) ...
- python wx窗口无法关闭_菜鸟学Python,双手奉上老司机给上路新手总结的Python实战问题…...
针对Python这一话题每天后台都会有不少小伙伴提出问题,下面我就将这些问题进行汇整,产出"Python实战问题篇",我认为这些问题非常具有代表性,希望可以帮到大家. 第一类问题: ...
- 计算机编程导论python程序设计答案-学堂在线_计算机科学与Python编程导论_作业课后答案...
学堂在线_计算机科学与Python编程导论_作业课后答案 答案: 更多相关问题 近代中国完全沦为半殖民地半封建社会的标志是:A.<马关条约>B.<辛丑条约>C.<凡尔赛和 ...
- python write 写多行_如何用 Python 执行单行命令
一般来说,面对日常处理的一些小任务,直接用 sed,grep 之类的就可以搞定,更复杂一点的就会考虑 awk 或者用一些现成的轮子,要是 awk 搞不定我就只好用 Python 了.但有些时候,我仅仅 ...
- 网络爬虫python的特点有哪些_为什么写网络爬虫天然就是择Python而用
关于这个问题,老猿就先从自己的经历讲起吧.很多年前,大约11年前,老猿我接手了一个搜索引擎的网络爬虫,那是一个用C++写的通用搜索引擎的爬虫.C++的语言,多线程的实现,爬虫的运行效率非常高.但是,找 ...
- 计算机编程导论python程序设计答案-学堂云_计算机科学与Python编程导论_作业课后答案...
学堂云_计算机科学与Python编程导论_作业课后答案 答案: 更多相关问题 保本基金参与股指期货交易,应当根据风险管理的原则,以套期保值为目的.() 基金经理主要依据股票投资价值报告来决定实际的投资 ...
最新文章
- Spring mvc Data Redis—Pub/Sub(附Web项目源码)
- [译文]Domain Driven Design Reference(四)—— 柔性设计
- Spring Boot——游戏成就系统设计DEMO
- sql 查询 定义变量
- 开启DELL Raid卡H730P缓存
- 高度可定制化的方案_如何开发高度可定制的产品
- python爬虫验证码的识别_Python爬虫识别验证码
- Linux下memcache的安装和启动(很好)
- 《网页设计与前端开发 Dreamweaver+Flash+Photoshop+HTML+CSS+JavaScript 从入门到精通》—— 第1章 网页设计基础知识...
- ASN.1编解码:asn1c的基本使用
- leaflet地图区域数据可视化
- 数据字典中的数据类型与ABAP中的中数据类型对应关系
- 互补滤波系数_四元数+互补滤波 - osc_5aksh307的个人空间 - OSCHINA - 中文开源技术交流社区...
- 高德地图开放平台的使用
- 【超详细】初中高级软件测试工程师 都需要掌握哪些测试技能
- 硬盘重装系统:电脑本地硬盘重装系统步骤
- Linux bridge hairpin mode
- 【Origin】Origin准确标注某点
- 如何设计出色的网站后台原型?
- 适用于计量站电子测量仪器自动检定系统设计
热门文章
- 世界名著100部简介
- xx闪购—搜索框和iconfont
- 十进制小数转二进制用计算机操作,十进制转二进制
- 蔻享学术下载器:KouShare-dl
- nachos模拟linux,Ubuntu 10.10成功安装Nachos
- Json转对象 调用toBean
- angular框架的SmartAdmin模板 如何请求后台数据
- 网狐荣耀6701/6801 手机打包发布
- php libiconv close_PHP出现undefined reference to `libiconv' 错误的解决方法
- php huoqv 多选,镊噍虫刻蘖舌#joquycg