爬虫之requests模块超时参数timeout的使用

在平时网上冲浪的过程中，我们经常会遇到网络波动，这个时候，一个请求等了很久可能任然没有结果。

在爬虫中，一个请求很久没有结果，就会让整个项目的效率变得非常低，这个时候我们就需要对请求进行强制要求，让他必须在特定的时间内返回结果，否则就报错。

超时参数timeout的使用方法

response = requests.get(url, timeout=3) 【默认是180s，这个时间有点长】
timeout=3表示：发送请求后，3秒钟内返回响应，否则就抛出异常

示例代码：

import requestsurl = 'https://twitter.com'
response = requests.get(url, timeout=3)     # 设置超时时间

运行效果：

爬虫之requests模块超时参数timeout的使用相关推荐

爬虫之requests模块中cookies参数的使用
爬虫之requests模块中cookies参数的使用上一篇文章在headers参数中携带cookie,也可以使用专门的cookies参数 cookies参数的形式:字典 cookies = {&qu ...
爬虫之requests模块在headers参数中携带cookie发送请求
爬虫之requests模块在headers参数中携带cookie发送请求网站经常利用请求头中的Cookie字段来做用户访问状态的保持,那么我们可以在headers参数中添加Cookie,模拟普通用户 ...
爬虫之requests模块发送带参数的请求
爬虫之requests模块发送带参数的请求我们在使用百度搜索的时候经常发现url地址中会有一个 ?,那么该问号后边的就是请求参数,又叫做查询字符串 1.1 在url携带参数直接对含有参数的url发 ...
python requests_Python爬虫之requests模块
# requests模块知识点: 掌握 headers参数的使用掌握发送带参数的请求掌握 headers中携带cookie 掌握 cookies参数的使用掌握 cookieJar的转换方法 ...
python爬虫之requests模块2
python网络爬虫之requests模块 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取一获取验证码步骤: 1 注册云大码 http://www. ...
爬虫入门—requests模块之搜狗首页下载
爬虫入门-requests模块之搜狗首页下载 Author: Labyrinthine Leo Init_time: 2021.02.16 Key Words: Spider.requests库 ...
爬虫中requests模块（一）
一.requests模块介绍 1.requests模块的作用发送http请求,获取响应数据. 2.安装 pip/pip3 install requests 3.发送get请求导入requests模 ...
python爬虫requests-Python爬虫（requests模块）
Requests是唯一的一个非转基因的Python HTTP库,人类可以安全享用. Requests基础学习使用方法: 1.导入Requests模块: import requests 2.尝试用ge ...
爬虫之requests模块发送post请求
爬虫之requests模块发送post请求思考:哪些地方我们会用到POST请求? 登录注册( 在web工程师看来POST 比 GET 更安全,url地址中不会暴露用户的账号密码等信息) 需要传输大文 ...

爬虫之requests模块超时参数timeout的使用

爬虫之requests模块超时参数timeout的使用

爬虫之requests模块超时参数timeout的使用相关推荐

最新文章

热门文章