使用build_opener 自定义 opener

使用build_opener 自定义 opener，这种方法的好处是可以方便的拓展功能。

import urllib.request
import http.cookiejardef makeMyOpener(head={'Connection': 'Keep-Alive','Accept': 'text/html, application/xhtml+xml, */*','Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3','User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'}):cj = http.cookiejar.CookieJar()cj_process = urllib.request.HTTPCookieProcessor()# 定义openeropener = urllib.request.build_opener(cj_process)header = []for key,value in head.items():header.append((key,value))# opener变量add_headers为一个listopener.addheaders = headerreturn openeroper = makeMyOpener()#opener对象
uop = oper.open('http://www.baidu.com/',timeout=1000)
data = uop.read().decode('utf-8')
print(data)

以下是利用Fiddler抓到的GET报文

转载于:https://www.cnblogs.com/lkpp/p/7400042.html

使用build_opener 自定义 opener相关推荐

Python:urllib2模块Handler处理器和自定义Opener
Handler处理器和自定义Opener opener是 urllib2.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构 ...
自定义request_python3下urllib.request库之Handle处理器和自定义Opener
python3下urllib.request库高级应用之Handle处理器和自定义Opener python3下urllib.request库高级应用之Handle处理器和自定义Opener 经过前面 ...
python爬虫(四)_urllib2：handle处理器和自定义opener
opener和handleer 我们之前一直使用的是urllib2.urlopen(url)这种形式来打开网页,它是一个特殊的opener(也就是模块帮我们建好的),opener是urllib2.Op ...
网络爬虫--7.Handler处理器和自定义Opener
文章目录一. 引言二. 简单的自定义opener() 三. ProxyHandler处理器(代理设置) 四. Cookie 1.Cookie原理 2.Cookie应用五. cookiejar库 ...
Handler处理器和自定义Opener
Handler处理器和自定义Opener opener是 urllib2.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构 ...
【爬虫学习笔记day11】1.9. 参考阅读：urllib：Handler处理器和自定义Opener+ProxyHandler处理器（代理设置）+cookiejar库和 HTTPCookieProc
文章目录 1.9. 参考阅读:urllib:Handler处理器和自定义Opener Handler处理器和自定义Opener 简单的自定义opener() ProxyHandler处理器(代理设 ...
Python标准库之urllib，urllib2自定义Opener
urllib2.urlopen()函数不支持验证.cookie或者其它HTTP高级功能.要支持这些功能,必须使用build_opener()函数创建自定义Opener对象. 1. build_open ...
自定义 Opener
urlopen() 方法不支持代理.cookie 等其他的 HTTP/HTTPS 高级功能,需要自定义 opener. 如需频繁使用自定义的 opener,可将自定义的 opener 设置为默认全局 ...
python中的opener_urllib2自定义opener详解
urllib2.urlopen()函数不支持验证.cookie或者其它HTTP高级功能.要支持这些功能,必须使用build_opener()函数创建自定义Opener对象. 复制代码代码如下: bu ...

使用build_opener 自定义 opener

使用build_opener 自定义 opener相关推荐

最新文章

热门文章