【Python3网络爬虫开发实战】3-基本库的使用 1.2-处理异常
前一节我们了解了请求的发送过程,但是在网络不好的情况下,如果出现了异常,该怎么办呢?这时如果不处理这些异常,程序很可能因报错而终止运行,所以异常处理还是十分有必要的。
urllib的error
模块定义了由request
模块产生的异常。如果出现了问题,request
模块便会抛出error
模块中定义的异常。
1. URLError
URLError类来自urllib库的error模块,它继承自OSError类,是error异常模块的基类,由request模块生的异常都可以通过捕获这个类来处理。
它具有一个属性reason,即返回错误的原因。
下面用一个实例来看一下:
from urllib import request, error
try:response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.URLError as e:print(e.reason)
复制代码
我们打开一个不存在的页面,照理来说应该会报错,但是这时我们捕获了URLError这个异常,运行结果如下:
Not Found
复制代码
程序没有直接报错,而是输出了如上内容,这样通过如上操作,我们就可以避免程序异常终止,同时异常得到了有效处理。
2. HTTPError
它是URLError
的子类,专门用来处理HTTP请求错误,比如认证请求失败等。它有如下3个属性。
code
:返回HTTP状态码,比如404表示网页不存在,500表示服务器内部错误等。reason
:同父类一样,用于返回错误的原因。headers
:返回请求头。
下面我们用几个实例来看看:
from urllib import request,error
try:response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:print(e.reason, e.code, e.headers, seq='\n')
复制代码
运行结果如下:
Not Found
404
Server: nginx/1.4.6 (Ubuntu)
Date: Wed, 03 Aug 2016 08:54:22 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: close
X-Powered-By: PHP/5.5.9-1ubuntu4.14
Vary: Cookie
Expires: Wed, 11 Jan 1984 05:00:00 GMT
Cache-Control: no-cache, must-revalidate, max-age=0
Pragma: no-cache
Link: <http://cuiqingcai.com/wp-json/>; rel="https://api.w.org/"
复制代码
依然是同样的网址,这里捕获了HTTPError
异常,输出了reason
、code
和headers
属性。
因为URLError
是HTTPError
的父类,所以可以先选择捕获子类的错误,再去捕获父类的错误,所以上述代码更好的写法如下:
from urllib import request, errortry:response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:print(e.reason)
else:print('Request Successfully')
复制代码
这样就可以做到先捕获HTTPError
,获取它的错误状态码、原因、headers
等信息。如果不是HTTPError
异常,就会捕获URLError
异常,输出错误原因。最后,用else
来处理正常的逻辑。这是一个较好的异常处理写法。
有时候,reason
属性返回的不一定是字符串,也可能是一个对象。再看下面的实例:
import socket
import urllib.request
import urllib.errortry:response = urllib.request.urlopen('https://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:print(type(e.reason))if isinstance(e.reason, socket.timeout):print('TIME OUT')
复制代码
这里我们直接设置超时时间来强制抛出timeout
异常。
运行结果如下:
<class 'socket.timeout'>
TIME OUT
复制代码
可以发现,reason
属性的结果是socket.timeout
类。所以,这里我们可以用isinstance()
方法来判断它的类型,作出更详细的异常判断。
本节中,我们讲述了error
模块的相关用法,通过合理地捕获异常可以做出更准确的异常判断,使程序更加稳健。
本资源首发于崔庆才的个人博客静觅: Python3网络爬虫开发实战教程 | 静觅
如想了解更多爬虫资讯,请关注我的个人微信公众号:进击的Coder
weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)
【Python3网络爬虫开发实战】3-基本库的使用 1.2-处理异常相关推荐
- 《python3网络爬虫开发实战》--基本库的使用
1. urllib: request:它是最基本的 HTTP 请求模块,可以用来模拟发送请求 . 就像在浏览器里输入网挝 然后回车一样,只需要给库方法传入 URL 以及额外的参数,就可以模拟实现这个过 ...
- python3网络开发实战_《python3网络爬虫开发实战》--基本库的使用
Robots 协议也称作爬虫协议.机器人协议,它的全名叫作网络爬虫排除标准( Robots ExclusionProtocol),用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取.它通常是一个叫 ...
- 【Python3网络爬虫开发实战】4-解析库的使用-3 使用pyquery
在上一节中,我们介绍了Beautiful Soup的用法,它是一个非常强大的网页解析库,你是否觉得它的一些方法用起来有点不适应?有没有觉得它的CSS选择器的功能没有那么强大? 如果你对Web有所涉及, ...
- 《崔庆才Python3网络爬虫开发实战教程》学习笔记(4):解析库Xpath的使用方法总结
本篇博文是自己在学习崔庆才的<Python3网络爬虫开发实战教程>的学习笔记系列,如果你也要这套视频教程的话,关注我公众号[小众技术],关注后回复[PYTHON],无套路免费送你一个学习大 ...
- 【Python3网络爬虫开发实战】3-基本库的使用-4抓取猫眼电影排行
本节中,我们利用requests库和正则表达式来抓取猫眼电影TOP100的相关内容.requests比urllib使用更加方便,而且目前我们还没有系统学习HTML解析库,所以这里就选用正则表达式来作为 ...
- 【Python3网络爬虫开发实战】 1.7-App爬取相关库的安装
[摘要] 除了Web网页,爬虫也可以抓取App的数据.App中的页面要加载出来,首先需要获取数据,而这些数据一般是通过请求服务器的接口来获取的.由于App没有浏览器这种可以比较直观地看到后台请求的工具 ...
- [Python3网络爬虫开发实战] 7-动态渲染页面爬取-4-使用Selenium爬取淘宝商品
在前一章中,我们已经成功尝试分析Ajax来抓取相关数据,但是并不是所有页面都可以通过分析Ajax来完成抓取.比如,淘宝,它的整个页面数据确实也是通过Ajax获取的,但是这些Ajax接口参数比较复杂,可 ...
- 《Python3网络爬虫开发实战(第二版)》上市了!!!!
" 阅读本文大概需要 5 分钟. " 告诉大家一个好消息:我的好朋友崔庆才老师的<Python3网络爬虫开发实战(第二版)>现在正式上市了!!!! 没错,就是这本: 就 ...
- 《崔庆才Python3网络爬虫开发实战教程》学习笔记(5):将爬虫爬取到的数据存储到TXT,Word,Excel,Json等文件中
本篇博文是自己在学习崔庆才的<Python3网络爬虫开发实战教程>的学习笔记系列,此套教程共5章,加起来共有34节课,内容非常详细丰富!如果你也要这套视频教程的话,关注我公众号[小众技术] ...
最新文章
- Oracle中的 IN, NOT IN和 EXISTS, NOT EXISTS的區別
- 调整屏幕亮度,调整字体大小
- 人民大学云计算编程的网上评估平台--解题报告 1004-1007
- 柴油发电机组的基本结构及工作特性
- PMcaff 2015上半年干货精选,不容错过哦~
- 工厂模式一之简单工厂
- 具有GlassFish和一致性的高性能JPA –第3部分
- linux 命令行看图片,骚操作:用终端打开图片
- python解决xml文件论文-实例Python处理XML文件的方法
- excel随机抽取_Python自制班级点名器让Excel表格用起来
- Windows投屏android电视,Windows电脑无线投屏到电视
- 风力摆控制系统,stm32f1程序,通过pid控制算法实现了风力摆摆定长直线,变长直线,一定角度摆动,定点停滞
- SREng日志全分析(一)
- 阿里云 python_阿里云python sdk
- 用计算机算术表白,数学学霸的表白,你能看懂几句?
- php lumen和laravel,Laravel 还是 Lumen?
- 32位PNG有损压缩为8位
- 【机器学习】数据归一化全方法总结:Max-Min归一化、Z-score归一化、数据类型归一化、标准差归一化等
- 基于word2vec或doc2vec的情感分析
- 赵小楼《天道》《遥远的救世主》深度解析(60)芮小丹的独立意识与丁元英的尊重