项目场景：

https://github.com/goldsmith/Wikipedia

使用该工具包爬取维基百科的搜索内容

问题描述

TimeoutError；urllib3.exceptions.NewConnectionError；requests.exceptions.ConnectionError；requests.exceptions.ProxyError

case1：Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

case2：Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝，无法连接。

case3：Caused by ProxyError(‘Cannot connect to proxy.’, RemoteDisconnected(‘Remote end closed connection without response’))。

尝试：

1.使用v2ray开启代理，尝试多个节点均请求失败(使用proxies = { #ip: port }，开启或关闭v2ray代理服务均失败。浏览器搜IP地址显示的非真实地址)。
2.尝试了利用my_fake_useragent更换随机UA，没有变化。
3.设置verify=False也没有变化。
4.设置’Connection’: 'close’也没有变化。
5.更换url为http://baidu.com，可以请求但因为网页内容问题无法返回json格式数据。

// proxies, verify=False
proxies = {'http': 'xxx.xx.xxx.xxx:xxxxx', 'https': 'xxx.xx.xxx.xxx:xxxxx',}r = requests.get(API_URL, params=params, headers=headers, proxies=proxies, verify=False)//my_fake_useragentimport my_fake_useragent as uaUSER_AGENT = ua.UserAgent().random()//'Connection': 'close'
headers = {'User-Agent': USER_AGENT,'Connection': 'close'}

解决方案：

更换clash开启代理（不用proxies, 只使用clash开启代理服务即可。浏览器搜ip地址显示的是真实地址）

出现 Caused by SSLError(SSLError(1, '[SSL: KRB5_S_TKT_NYV] unexpected eof while…错误。
代码中注释提示 # This branch is for urllib3 v1.22 and later.
将urllib3换成1.21版本，成功运行。

verify=False时会有警告InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. 删掉verify=False，警告消失。
取消之前尝试的修改(‘Connection’: 'close’和my_fake_useragent更换随机UA)，也可以成功运行。

//均为工具包中原始代码
API_URL = 'http://en.wikipedia.org/w/api.php'
USER_AGENT = 'wikipedia (https://github.com/goldsmith/Wikipedia/)'......headers = {'User-Agent': USER_AGENT}
r = requests.get(API_URL, params=params, headers=headers)

总结

使用该工具包，无需对wikipedia.py进行修改。开启合适的代理即可。

【Wikipedia爬虫工具包的使用】请求超时、代理错误、SSLError相关推荐

【爬虫小白】各种请求使用代理的方法
一下以快代理的代理的使用方法作为例子 requests设置代理 import requestsproxy = '127.0.0.1:7777' proxies={'http:http://'+prox ...
C# HttpWebRequest请求超时解决办法
request.GetResponse();超时问题的解决,和HttpWebRequest多线程性能问题,请求超时的错误, 解决办法 1.将http的request的keepAlive设置为false ...
C# 发送HTTP请求超时解决办法
C# 发送HTTP请求超时解决办法**** request.GetResponse();超时问题的解决,和HttpWebRequest多线程性能问题,请求超时的错误, 解决办法 1.将http的req ...
python网页请求超时_python爬虫多次请求超时的几种重试方法(6种)
第一种方法 headers = Dict() url = 'https://www.baidu.com' try: proxies = None response = requests.get(url ...
python爬虫 - python requests网络请求简洁之道
转自:python爬虫 - python requests网络请求简洁之道 requests简介 requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到 ...
Python3网络爬虫开发实战，使用IP代理爬取微信公众号文章
前面讲解了代理池的维护和付费代理的相关使用方法,接下来我们进行一下实战演练,利用代理来爬取微信公众号的文章. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知 ...
WEB请求处理二：Nginx请求反向代理
上一篇<WEB请求处理一:浏览器请求发起处理>,我们讲述了浏览器端请求发起过程,通过DNS域名解析服务器IP,并建立TCP连接,发送HTTP请求.本文将讲述请求到达反向代理服务器的一个处理 ...
WEB 请求处理二：Nginx 请求反向代理
上一篇<WEB请求处理一:浏览器请求发起处理>,我们讲述了浏览器端请求发起过程,通过DNS域名解析服务器IP,并建立TCP连接,发送HTTP请求.本文将讲述请求到达反向代理服务器的一个处理 ...
使用爬虫代理错误问题解决方案
在如今的互联网时代,网络爬虫成了许多企业的重要岗位之一.当然在数据采集中会遇到各种问题,例如限制IP,出现访问验证码等.这种时候就需要各种反爬策略和使用HTTP代理去解决问题.在爬虫用在使用代理的时候 ...

【Wikipedia爬虫工具包的使用】请求超时、代理错误、SSLError

项目场景：

问题描述

尝试：

解决方案：

总结

【Wikipedia爬虫工具包的使用】请求超时、代理错误、SSLError相关推荐

最新文章

热门文章