python爬虫网络请求超时_python总urllib,伪装,超时设置,异常处理的方法
python爬虫之urllib,伪装,超时设置,异常处理的方法
Urllib
1. Urllib.request.urlopen().read().decode()
返回一个二进制的对象,对这个对象进行read()操作,可以得到一个包含网页的二进制字符串,然后用decode()解码成html源码
2. urlretrieve()
将一个网页爬取到本地
3. urlclearup()
清除 urlretrieve()所产生的缓存
4. info()
返回一个httpMessage对象,表示远程服务器的头信息
5. getcode()
获取当前网页的状态码 200代表成功,404网页未找到
6. geturl()
获取当前爬取页面的网址
示例:
from urllib import request
# urlretrieve() -- 将一个网页爬取到本地
request.urlretrieve("http://www.baidu.com",filename="demo.html")
# urlclearup() -- 清除urlretrieve()所产生的缓存
request.urlcleanup()
# info() -- 返回一个httpMessage对象,表示远程服务器的头信息
data = request.urlopen("http://www.taobao.com")
print(data.info())
# getcode() -- 获取当前网页的状态码data.geturl()
print(data.getcode())
# 获取当前爬取页面的网址
print(data.geturl())
运行结果:
Server: Tengine
Date: Wed, 09 May 2018 09:55:16 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: close
Vary: Accept-Encoding
X-Snapshot-Age: 1
Content-MD5: tkjcPUrHBAIt2N/YXcuwZg==
Vary: Ali-Detector-Type, X-CIP-PT
Cache-Control: max-age=0, s-maxage=89
ETag: W/"29b8-16340528168"
Via: cache22.l2cm9[0,304-0,H], cache17.l2cm9[0,0], cache1.cn372[0,200-0,H], cache2.cn372[1,0]
Age: 70
X-Cache: HIT TCP_MEM_HIT dirn:-2:-2 mlen:-1
X-Swift-SaveTime: Wed, 09 May 2018 09:54:59 GMT
X-Swift-CacheTime: 36
Timing-Allow-Origin: *
EagleId: 3c1cf2e515258597167937091e
Set-Cookie: thw=cn; Path=/; Domain=.taobao.com; Expires=Thu, 09-May-19 09:55:16 GMT;
Strict-Transport-Security: max-age=31536000
200
https://www.taobao.com/
超时设置(timeout)
由于在实际的爬取过程中,部分网站可能访问过慢,影响性能,这时我们可设置超时访问.
示例: 如果在指定时间内正常访问,即输出获取数据的长度,如果超出指定时间,则抛出异常.
for i in range(0,10):
try:
data = urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read()
print(len(data))
except Exception as e:
print("出现异常:"+str(e))
运行结果:
114980
114888
114809
114839
114824
114611
出现异常:
出现异常:
出现异常:
115003
伪装
在爬取过程中,可能部分网站限制浏览器访问所以为了顺利达到我们的目的,我们对自己进行伪装.
这里我们介绍一下浏览器的伪装技术.
普通爬取:
from urllib import request
file = request.urlopen("http://www.baidu.com").read().decode()
通过浏览器伪装爬取数据:
方式一:
from urllib import request
url = "http://www.baidu.com"
headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #这里模拟浏览器
opener = request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)
方式二:
from urllib import request
url = "http://www.baidu.com"
headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #这里模拟浏览器
opener = request.build_opener()
opener.addheaders = [headers]
request.install_opener(opener)
data = request.urlopen(url).read().decode("utf-8")
print(data)
方式三:
from urllib import request
url = "http://www.baidu.com"
headers = {}"User-Agent":" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"} #这里模拟浏览器,通过字典
req = request.Request(url=rul,headers=headers)
data = request.urlopen(req).read().decode("utf-8")
print(data)
异常处理
爬虫在运行过程中,可能会出现各种各样的问题,如果没有异常处理的话,爬出异常会直接崩溃停止运行,下次再运行的时候,爬虫又要重头开始,所以我们要开发的是一个具有顽强生命力的爬虫,必须要进行异常的处理.
常见异常示例:
301 重定向
403 禁止访问
404 没有找到页面
500 服务器内部出现问题
200 成功
python中有两个异常处理的类:URLError与HttpError
HttpError 是 URLError子类
HttpError 有异常状态码和异常原因
URLError 只有异常原因,没有异常状态码
所以,在异常处理的时候,不能使用URLError来代替
如果想要代替,必须要进行判断,判断是否有状态码属性
会产生URLError的情况:
1.连接不上服务器
2.远程的url不存在
3.本地网络
4.HttpError(是子类,也会出发会产生URLError
格式如下:
from urllib import error,request
try: # 可能会出现异常的代码
data = request.urlopen("http://www.aliyu.com").read()
print(data)
except error.URLError as e: # 进行异常的处理
if hasattr(e,"code"): # 判断是否有状态码
print(e.code) # 状态码
if hasattr(e,"reason"): # 判断是否有异常原因
print(e.reason) # 异常原因
以上这篇python爬虫之urllib,伪装,超时设置,异常处理的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。
以上就是本次给大家分享的关于java的全部知识点内容总结,大家还可以在下方相关文章里找到相关文章进一步学习,感谢大家的阅读和支持。
您可能感兴趣的文章:
python爬虫网络请求超时_python总urllib,伪装,超时设置,异常处理的方法相关推荐
- python爬虫网络出错怎么办_python爬虫之headers处理、网络超时问题处理
1.请求headers处理 我们有时请求服务器时,无论get或post请求,会出现403错误,这是因为服务器拒绝了你的访问,这时我们可以通过模拟浏览器的头部信息进行访问,这样就可以解决反爬设置的问题. ...
- python爬虫网络出错怎么办_Python爬虫headers处理及网络超时问题解决方案
1.请求headers处理 我们有时请求服务器时,无论get或post请求,会出现403错误,这是因为服务器拒绝了你的访问,这时我们可以通过模拟浏览器的头部信息进行访问,这样就可以解决反爬设置的问题. ...
- Python爬虫网络请求 requests(get、post)
Python网络请求模块 urllib Urllib 库,它是 Python 内置的 HTTP 请求库,也就是说我们不需要额外安装即可使用,它包含四个模块 第一个模块 request,它是最基本的 H ...
- python爬虫网络数据包_Python爬虫之多线程图虫网数据爬取(十六)
Python爬虫之多线程图虫网数据爬取(十六) 发布时间:2019-05-14 10:11, 浏览次数:289 , 标签: Python 原创不易,转载前请注明博主的链接地址:Blessy_Zhu h ...
- python爬虫网络请求超时_6、web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求...
利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码 read()读出html源码内容 decode("utf-8")将字节转化成字符 ...
- python爬虫网络请求超时是什么意思_python爬虫怎么处理异常和超时?
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 写代码总是会出异常的,尤其是爬虫这类程序,无法确保每次请求都能稳定地返回统一的结果,比如反爬虫策略提升.代理IP超时.程序异常等等,处理好这些问题,才能保 ...
- python爬虫网络请求超时_Python网络爬虫编写5-使用代理,处理异常和超时
# coding=utf-8 "' 从同一个地址发出的http请求过多过频繁,都可能被网站给封掉 要解决这个问题,就需要不停地更换代理 同时,如果在用urllib2访问url的时候出现错误 ...
- python爬虫网络请求超时是什么意思_爬虫请求超时设置
在本机网络状况不好或者服务器网络响应延迟甚至无响应时,我们可能会等待很久才能收到响应,甚至到最后收不到响应而报错.为了防止服务器不能及时响应,应该设置一个超时时间,即超过了这个时间还没有得到响应,那就 ...
- python爬虫网络出错怎么办_Python爬虫常见问题
第一个问题:JS加密如何突破 (1) 熟练掌握Chrome的开发者工具的各个功能,Elements, Network,Source (2) 认真观察,善于思考.Network查看加载流程,找可疑的xh ...
最新文章
- 负载均衡集群介绍、LVS介绍、LVS调度算法、 LVS NAT模式搭建
- np合并 python_这15个tips,带你领略 Python 的简洁和优雅
- 美好生活从撸好代码开始
- linux系统编程:IO读写过程的原子性操作实验
- threadingdaemonmultiprocessing
- JSK-61 二进制加法【大数】(废除!!!)
- 利用对象思想来绘制canvas帧动画
- 跟“网址”有关的$_SERVER[ ]变量
- php类的实例化方法吗,php实例化一个类的具体方法
- 影响科学圈的那些计算机代码
- Cy3014学习记录 二--开发软件使用汇总
- 【手绘】海贼王女帝汉库克 - 附完整手绘教程
- HUAWEI Mate40Pro解除账号忘记密码ID强制刷机鸿蒙系统激活锁能解开吗
- PHP:使用pecl安装 swoole
- 支付宝扫码跳转到跳转页面
- 数学微笑了,迎来美好发展时光
- Python爬虫:中国结算,关于新开股票账户数等参数数据的爬取
- STM32F103ZET6如何驱动DS18B20温度传感器
- 第一篇 厚黑学 二、厚黑学
- Bubble(17)
热门文章
- ftl不存在为真_FreeMarker 处理不存在的变量
- java:区间k大数查询
- java旺季机票_java-第四章-机票价格受到淡季旺季的影响,编写的小程序
- android qq 进程保活,Android保活从入门到放弃:乖乖引导用户加白名单吧(附7大机型加白示例)...
- Java黑皮书课后题第7章:7.9(找出最小元素)使用下面的方法头编写一个方法,求出一个整数数组中的最小元素。编写测试程序,提示用户输入10个数字,调用这个方法返回最小值,并显示这个最小值
- android n等分 layout,RecyclerView GridLayoutManager 等分间距
- tombstone问题分析
- Hadoop 运行jar包时 java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found...
- 双向队列(STL做法)
- 人家可是见过大世面的