背景

最近在搞爬虫，很多小组件里面都使用了 Python 的 requests 库，很好用，很强大。

但最近发现很多任务总是莫名其妙的卡住，不报错，但是就是不继续执行。

排查了一圈，最后把问题锁定在 requests 的 timeout 机制上。

注：本文讨论的是 Python 的第三方模块 requests，并不是 Python 内建模块 urllib 中的 request 模块，请注意区分。

如何设置超时时间

requests 设置超时时间有两种方式。

一种是设置单一值作为 timeout，如下所示：

r = requests.get('https://github.com', timeout=5)

这时， timeout 值将会用作 connect 和 read 二者的共同的超时时间。

另一种是分别制定连接超时和读取超时的时间，如下所示：

r = requests.get('https://github.com', timeout=(3.05, 27))

这里前面的 3.05 表示连接超时时间，27 表示读取超时时间。

官方一般推荐大家把连接超时时间设置为比 3 的整数倍稍微大一点的时间，比如 3.05、6.05 这样，具体原因见这里。

坑

上面提到的两种超时时间，连接超时和读取超时，并不是都有默认超时时间。

连接超时的默认时间是 21s，而读取超时没有默认时间，换句话说，不会超时。

也就是说，如果一个请求，连接成功了，正在读取数据，但是此时服务器出现了什么问题，或者代理出现了什么问题，那么，这个请求就会一直卡住，不会报错，也不会继续。

天长地久。

避坑

所以，为了避免出现这样的情况，给你的 requests 加上超时时间吧，尤其是请求量巨大的时候。

常在河边走，哪有不湿鞋。

参考资料

Requests 官方文档

Python requests timeout 分析相关推荐

Python Requests库源码分析
1. Requests库简介书籍是人类进步的阶梯,源码是程序员进步的阶梯.为了进步,我们就要不断地阅读源码,提升自己的技术水平.今天我们来剖析一下Python的Requests库. Requests ...
python requests 异步调用_构建高效的python requests长连接池详解
前文: 最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系统都是分布式扩展的,针对这种各别问题就懒得改动了. 现在开发的缓存 ...
python+requests接口自动化测试框架实例详解教程
前段时间由于公司测试方向的转型,由原来的web页面功能测试转变成接口测试,之前大多都是手工进行,利用postman和jmeter进行的接口测试,后来,组内有人讲原先web自动化的测试框架移驾成接口的自 ...
python可视化来分析全国疫情
很长一段时间在python下出图都是使用matplotlib,其好处就是应用比较广泛,文档很容易找,不过出的图微显丑陋.pyecharts 是百度的echarts基于python的实现,可以很方便的直 ...
Python requests模块相关接口
2019独角兽企业重金招聘Python工程师标准>>> 主要接口 Requests 所有的功能都可以通过以下 7 个方法访问.它们全部都会返回一个 Response 对象的实例. r ...
python+requests接口自动化测试框架实例详解教程（米兔888）
来源:https://my.oschina.net/u/3041656/blog/820023 源码:https://pan.baidu.com/s/1lgIEToiczTvvjy--p-N20g 提 ...
python requests 示例_Python Requests模块的简单示例
这篇文章主要为大家详细介绍了Python Requests模块的简单示例,具有一定的参考价值,可以用来参考一下. 对python这个高级语言感兴趣的小伙伴,下面一起跟随512笔记的小编两巴掌来看看吧! ...
python requests库作用_python Requests库入门
一.Requests 库的安装对Requests库了解更多请移步:http://www.python-requests.org 安装操作: win平台:"以管理员身份运行" c ...
用python进行营销分析_用python进行covid 19分析
用python进行营销分析 Python is a highly powerful general purpose programming language which can be easily l ...
Python requests介绍之接口介绍
Python requests介绍引用官网介绍 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. Requests 允许你发送纯天然,植物饲养的 HTTP/1. ...

Python requests timeout 分析

文章目录

背景

如何设置超时时间

坑

避坑

参考资料

Python requests timeout 分析相关推荐

最新文章

热门文章