python3 urllib
1.基本方法
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
- url: 需要打开的网址
- data：Post提交的数据
- timeout：设置网站的访问超时时间
直接用urllib.request模块的urlopen（）获取页面，page的数据格式为bytes类型，需要decode（）解码，转换成str类型。
from urllib import request
response = request.urlopen(r'http://www.baidu.com/')
page = response.read()
page = page.decode('utf-8')
print(page)urlopen返回对象所提供方法：
- read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作
- info()：返回HTTPMessage对象，表示远程服务器返回的头信息
- getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到
- geturl()：返回请求的url
2.使用Request
urllib.request.Request(url, data=None, headers={}, method=None)
使用request（）来包装请求，再通过urlopen（）获取页面。
from urllib import requesturl = r'http://www.lagou.com/zhaopin/Python/?labelWords=label'
headers = {'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) 'r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3','Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label','Connection': 'keep-alive'
}
req = request.Request(url, headers=headers)
page = request.urlopen(req).read()
page = page.decode('utf-8')
print(page)
经过urlencode（）转换后的data数据为?first=true?pn=1?kd=Python，最后提交的url为
http://www.lagou.com/jobs/positionAjax.json?first=true?pn=1?kd=Python
Post的数据必须是bytes或者iterable of bytes，不能是str，因此需要进行encode（）编码
用来包装头部的数据：
- User-Agent ：这个头部可以携带如下几条信息：浏览器名和版本号、操作系统名和版本号、默认语言
- Referer：可以用来防止盗链，有一些网站图片显示来源http://***.com，就是检查Referer来鉴定的
- Connection：表示连接状态，记录Session的状态。
3.Post数据
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
urlopen（）的data参数默认为None，当data参数不为空的时候，urlopen（）提交方式为Post。
from urllib import request, parseurl = r'http://www.lagou.com/jobs/positionAjax.json?'
headers = {'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) 'r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3','Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label','Connection': 'keep-alive'
}
data = {'first': 'true','pn': 1,'kd': 'Python'
}
data = parse.urlencode(data).encode('utf-8')
req = request.Request(url, headers=headers, data=data)
page = request.urlopen(req).read()
page = page.decode('utf-8')
print(page)urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None)
urlencode（）主要作用就是将url附上要提交的数据。
经过urlencode（）转换后的data数据为?first=true?pn=1?kd=Python，最后提交的url为
http://www.lagou.com/jobs/positionAjax.json?first=true?pn=1?kd=Python
Post的数据必须是bytes或者iterable of bytes，不能是str，因此需要进行encode（）编码
注：此篇文章写的更详细些：
https://yq.aliyun.com/ziliao/109346
转载于:https://www.cnblogs.com/wumingxiaoyao/p/7478573.html
python3 urllib相关推荐
- python3 urllib 类
urllib模块中的方法 1.urllib.urlopen(url[,data[,proxies]]) 打开一个url的方法,返回一个文件对象,然后可以进行类似文件对象的操作.本例试着打开google ...
- python3 urllib安装_对python3 urllib包与http包的使用详解
urllib包和http包都是面向HTTP协议的.其中urllib主要用于处理 URL,使用urllib操作URL可以像使用和打开本地文件一样地操作.而 http包则实现了对 HTTP协议的封装,是u ...
- python3 urllib模块
3.0版本中已经将urllib2.urlparse.和robotparser并入了urllib中,并且修改urllib模块,其中包含5个子模块,即是help()中看到的那五个名字. Python2中的 ...
- python3中urlopen_详解python3 urllib中urlopen报错的解决方法
这篇文章主要介绍了关于解决python3 urllib中urlopen报错问题的相关资料,文中介绍的非常详细,相信对大家具有一定的参考价值,需要的朋友们下面来一起看看吧. 前言 最近更新了Python ...
- python3 urllib代理_Python3中使用urllib的方法详解(header,代理,超时,认证,异常处理)
我们可以利用urllib来抓取远程的数据进行保存哦,以下是python3 抓取网页资源的多种方法,有需要的可以参考借鉴. 1.最简单 import urllib.request response = ...
- Python3 Urllib学习
urllib 的四个模块 1 . urllib.request 2. urllib.error 3. urllib.parser 4. urllib.robotparser #!/usr/bin/py ...
- （转）python3 urllib.request.urlopen() 错误UnicodeEncodeError: 'ascii' codec can't encode characters...
代码内容: url = 'https://movie.douban.com/j/search_subjects?type=movie'+ str(tag) + '&sort=recommend ...
- python3+urllib打造新浪微博爬虫，真的很easy
前言(一些废话) 最近试了一下网页版的(weibo.com)和移动端的(m.weibo.cn),网页版的解析一大堆网页实在是太麻烦,移动端只需要请求,直接返回json数据,这里对这两种方式做了下优缺点 ...
- python3:urllib/urllib2
标题python3对urllib和urllib2进行了重构 python3对urllib和urllib2进行了重构,拆分成了urllib.request,urllib.response, urllib ...
- Python3 urllib.request.urlopen()API使用
文章目录 urllib库的基本使用---request模块 请求网页-urllib.request.urlopen() 参考资料 urllib库的基本使用-request模块 本文代码基本来源于Pyt ...
最新文章
- [二十五]JavaIO之RandomAccessFile
- iOS开发UI篇—核心动画简介
- 门户网站建设与运营需要付出更多成本
- buu [GUET-CTF2019]BabyRSA
- 解决开机自检D盘问题
- boost::phoenix::arg_names::arg1用法的测试程序
- CString与std::string unicode下相互转化
- 神马搜索如何提升搜索的时效性？
- Spring框架—基础介绍
- subline3插件html,Sublime Text3与html的插件
- DataTable查询。
- 大学“电路分析基础”试题合集第八章
- 计算机同步不了计算机策略,修复sysvol netlog共享和组策略不同步组策略丢失等问题...
- 植物免疫研究与抗病虫绿色防控：进展、机遇与挑战
- SLAM学习——BA（Bundle Adjustment）与图优化
- 《德鲁克管理思想精要》读书笔记
- 深入理解JNINativeInterface函数＜一＞
- 赛格威航空T15评测骑行测试
- 腾讯辟谣心悦3玩家“特权”；共享充电宝陷入生死危机
- Java获取本月第一天是本周第几天