爬虫养成记 - urllib2的调试和错误处理

urllib2的timeout

timeout参数用于设置超时。我们在爬取一些响应较慢的网站的时候，需要设置一个比较长的超时时间。

response = urllib2.urlopen(request, timeout=10)

上述代码设置timeout为10秒。

设置Debug

import urllib2httpHandler = urllib2.HTTPHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler)
urllib2.install_opener(opener)urllib2.urlopen("http://www.zhihu.com")

URLError和HTTPError处理

事实上，并不是所有urllib2发起的请求都能得到服务器的回应。
例如

网络无链接
连接不到服务器
链接不存在
请求的方法不对

等情况都会造成urllib2抛出错误。
urllib2提供了两个Exception用于处理响应的错误。

URLError
URLError是HttpError的父类。上面说到的handlers出错就会抛出URLError。
HTTPError
HTTPError是URLError的子类。用于处理Http相关的错误。

HTTPError除了reson属性外还有code属性。
code属性即http状态码。更多状态码可以阅读：http://www.cnblogs.com/shanyo...

下面我们来展示一下示例代码：

import urllib2headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36"
}
request = urllib2.Request("http://blog.csdn.net/cqcre", headers = headers)httpHandler = urllib2.HTTPHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler)
urllib2.install_opener(opener)try:response = urllib2.urlopen(request)print response.getcode()
except urllib2.HTTPError, e:print e.code, e.reason
except urllib2.URLError, e:print e.reason

值得注意的是 HTTPError是URLError的子类，因此在捕获Exception的时候需要将子类放在前面避免Exception先被父类捕获。

爬虫养成记 - urllib2的调试和错误处理相关推荐

爬虫养成记--千军万马来相见（详解多线程）
本文由图雀社区[1]成员灿若星空[2] 写作而成,欢迎加入图雀社区,一起创作精彩的免费技术教程,予力编程行业发展. 如果您觉得我们写得还不错,记得点赞 + 关注 + 评论三连?????????? ...
爬虫养成记--顺藤摸瓜回首掏（女生定制篇）
本文由图雀社区成员灿若星空写作而成,欢迎加入图雀社区,一起创作精彩的免费技术教程,予力编程行业发展. 如果您觉得我们写得还不错,记得点赞 + 关注 + 评论三连
爬虫养成记——先跨进这个精彩的世界（女生定制篇）
本文由图雀社区成员灿若星空写作而成,欢迎加入图雀社区,一起创作精彩的免费技术教程,予力编程行业发展. 如果您觉得我们写得还不错,记得点赞 + 关注 + 评论三连
【python初学者日记】selenium初体验——“秒杀商品”、“清空购物车”技能养成记（一）
[python初学者日记]selenium初体验--"秒杀商品"."清空购物车"技能养成记(一) 用python解决"清空购物车".&quo ...
“牌面”养成记8：打好牌，从做好这60件事开始[上]
<产品心经:产品经理应该知道的60件事(第2版)_闫荣>[微信阅读]转化笔记这是一本通过看目录就会有很多想法的书,原书18万字,改版后在原来的50件事基础上又添加了10条性的想法.这本书 ...
【VS实践】代码调试与错误处理
程序员的装逼技能:调试,错误处理和快捷键学计算机3年,只知道一些基础的理论知识,写代码和调试很差,基本不会什么吧! 花时间了解一下关于这块的东西!以前觉得调试就是代码写出来一运行,有问题了分析那里出 ...
python两行数据相加_python高手养成记08：教你快速写出自己的python程序
上一篇:python高手养成记07:操作excel的4种神器题序前面的文章,很重要,很重要,很重要,重要的事说三遍,看完前面的文章,这个时候我们就可以开始学习,怎么样去写出自己的一个python程 ...
【转】调试JavaScript 错误的解决方案
A 使用alert() 和document.write() 方法监视变量值如果要中断代码的运行,监视变量的值,则使用alert() 方法: 如果需要查看的值很多,则使用document.write ...
记WinCE下调试SIM900 GSM module
记WinCE下调试SIM900 GSM module 近几天在调试sim900,把遇到的一些问题总结下吧. 一.一些引脚的说说明. Sim900有几个引脚需要了解下. 1. CTS.RTS 由于使用 ...

爬虫养成记 - urllib2的调试和错误处理

urllib2的timeout

设置Debug

URLError和HTTPError处理

爬虫养成记 - urllib2的调试和错误处理相关推荐

最新文章

热门文章