寻找可用的ip

import time
from lxml import html  # 把lxml是解析xml语言的库
etree = html.etree
import requestsproxy = []        #空的数组，用来存放IP
def askurl(url):head = {"User-Agent": "Mozilla/5.0"}  #设置请求头r = requests.get(url, time.sleep(1),headers=head)#requests模块，返回json格式数据html = etree.HTML(r.text)  #使用etree将字符串转换成element对象ips = html.xpath("//td[@data-title='IP']//text()")  #使用xpath语句获取到当前页面中的ipports = html.xpath("//td[@data-title='PORT']//text()")#同理获取到portfor ip, port in zip(ips, ports):   #对两个数组进行遍历line = ip+':'+port             #line为IP+端口号proxy_temp = {"http":'http://'+line}  #前面部分声明使用的协议，后面用于拼接proxy.append(proxy_temp)  #将拼接好的IP放到数组里urla =   # 目标网址for pro in proxy:  # 遍历代理池try:res = requests.get(urla, headers=head, proxies=pro)# print(res.text)print(res)print(pro)except Exception as e:  # 这里需要注意的是在python3.7往后必须使用 as e,不然会报错，之前版本使用的是 except Exception, e:print(pro)print(e)continueif __name__ == '__main__':askurl('https://www.kuaidaili.com/free/inha' )

参考：

【python爬虫错误】Max retries exceeded with url相关推荐

python爬虫关于Max retries exceeded with url 的错误
爬取安逸花 https://vayh.msxf.com/ 时出现这种错误,总结如下: 1.https连接太多没有关闭导致的433,解决方法: import requests requests.adap ...
python3 错误 Max retries exceeded with url 解决方法
在爬取时出现这种错误, ConnectionError: HTTPConnectionPool(host='xxx.xx.xxx.xxx', port=xxxx): Max retries excee ...
爬虫时候遇到python connection error max retries exceeded whith url 怎么解决？
import requests #关闭多余的连接 s = requests.session() s.keep_alive = False #增加重试连接次数 s.adapters.DEFAULT_RE ...
Max retries exceeded with URL in requests
爬虫的时候遇到的一个错误 Max retries exceeded with URL in requests requests.exceptions.ConnectionError: HTTPSCon ...
【爬虫 | Python】解决‘Requests Max Retries Exceeded With Url‘报错的问题
[爬虫 | Python]解决'Requests Max Retries Exceeded With Url in Python'报错的问题背景解决方案一.普遍方案细致方案一.问题重述 1. ...
Python 中错误 ConnectionError: Max retries exceeded with url
文章目录使用 Retry 对象进行回退重试使用 try/except 语句在发生错误时不重试禁用 SSL 证书验证使用 time.sleep() 方法实现请求之间的延迟重复请求直到成功响应 ...
Python Max retries exceeded with url错误
进行requests库学习的时候,报Max retries exceeded with url错误,网上查询说是,用下面这个解决方法没用,后来关闭了fiddler后发现就可以了,可能fiddler开的 ...
python HTTPConnectionPool（host:XX）Max retries exceeded with url
python 出现HTTPConnectionPool(host:XX)Max retries exceeded with url问题在每次数据传输前客户端要和服务器建立TCP连接,为节省传输消耗, ...
【Bug】python requests发起请求，报“Max retries exceeded with url”
在本地机器上,高频率重复调用一个API接口,出现"Max retries exceeded with url",拒绝连接的情况. 楼主讲一下,遇到这个bug的过程: 在服务器上开发 ...

【python爬虫错误】Max retries exceeded with url

Max retries exceeded with url

寻找可用的ip

【python爬虫错误】Max retries exceeded with url相关推荐

最新文章

热门文章