python爬虫开发 urlparse、parse_qs、urlencode、quote、unquote、urljoin 用法总结

urllib.parse 这个模块在爬虫开发过程中使用地频率非常高，这里总结了一些常用用法

参考标准库文档：https://docs.python.org/zh-cn/3.7/library/urllib.parse.html

该模块定义了一个标准接口，用于URL字符串按组件(协议、网络位置、路径等)分解，或将组件组合回URL字符串，并将 "相对URL "转换为给定 "基础URL "的绝对URL。

The module has been designed to match the Internet RFC on Relative Uniform Resource Locators. It supports the following URL schemes: file, ftp, gopher, hdl, http, https, imap, mailto, mms, news, nntp, prospero, rsync, rtsp, rtspu, sftp, shttp, sip, sips, snews, svn, svn+ssh, telnet, wais, ws, wss.

urllib.parse 模块定义的函数可分为两个主要门类: URL 解析和 URL 转码。

urlparse（url解析）

In [16]: from urllib.parse import urlparseIn [17]: u = urlparse(url)In [18]: u
Out[18]: ParseResult(scheme='http', netloc='example.com', path='/cxs', params='', query='name=cxs', fragment='age')

补充一下 query 和 params 的区别：

query方式生成的url为 /xx?id=id，params方式生成的url为 xx/id
当path不为空时只能使用query方式

parse_qs（query解析）

In [19]: from urllib.parse import parse_qsIn [20]: query='a=1&b=2'...: parse_qs(query)Out[20]: {'a': ['1'], 'b': ['2']}

注意一点，加号 会被解码替换成 空格，比如下面的例子：

In [21]: query='a=1&b=2&c=1+2'...: parse_qs(query)Out[21]: {'a': ['1'], 'b': ['2'], 'c': ['1 2']}

urlencode（query转换）

In [22]: from urllib.parse import urlencodeIn [23]: query = {...:     'name': 'cxs',...:     'age': 18,...: }...: urlencode(query)Out[23]: 'name=cxs&age=18'

quote & quote_plus（url编码）

In [25]: from urllib.parse import quoteIn [26]: quote('a&b/c')  # 未编码斜杠
Out[26]: 'a%26b/c'In [27]: from urllib.parse import quote_plusIn [28]: quote_plus('a&b/c')  # 编码了斜杠
Out[28]: 'a%26b%2Fc'

unquote & unquote_plus（url解码）

In [29]: from urllib.parse import unquoteIn [30]: unquote('a%26b%2Fc9+2')  # 不解码加号
Out[30]: 'a&b/c9+2'In [31]: from urllib.parse import unquote_plusIn [32]: unquote_plus('a%26b%2Fc9+2')  # 把加号解码为空格
Out[32]: 'a&b/c9 2'

urljoin（url拼接）

In [1]: from urllib.parse import urljoinIn [35]: url = "http://www.cxs.com"
In [36]: path = "/item/name"In [37]: urljoin(url, path)
Out[37]: 'http://www.cxs.com/item/name'

python爬虫开发 urlparse、parse_qs、urlencode、quote、unquote、urljoin 用法总结相关推荐

urlencode quote unquote (url 中带中文参数)
目录: urlencode & quote & unquote (url 中带中文参数) python httplib urllib urllib2区别(一撇) 当url地址含有中文或 ...
python爬虫项目实例-Python爬虫开发与项目实战
Python爬虫开发与项目实战(高清版)PDF 百度网盘链接:https://pan.baidu.com/s/1MFexF6S4No_FtC5U2GCKqQ 提取码:gtz1 复制这段内容后打开百度 ...
python爬虫开发环境_python爬虫开发教程下载|Python爬虫开发与项目实战(范传辉著)pdf 完整版_ - 极光下载站...
Python爬虫开发与项目实战pdf扫描版下载.Python爬虫开发是一个Pthyon编程语言与HTML基础知识引领读者入门知识,重点讲述了云计算的相关内容及其在爬虫中的应用,进而介绍如何设计自己的爬 ...
Python爬虫开发教程，一看就懂！
现在Python语言大火,在网络爬虫.人工智能.大数据等领域都有很好的应用.今天我向大家介绍一下Python爬虫的一些知识和常用类库的用法,希望能对大家有所帮助. 其实爬虫这个概念很简单,基本可以分成 ...
《Python爬虫开发与项目实战》——第3章初识网络爬虫 3.1　网络爬虫概述
本节书摘来自华章计算机<Python爬虫开发与项目实战>一书中的第3章,第3.1节,作者:范传辉著,更多章节内容可以访问云栖社区"华章计算机"公众号查看第3章初识网 ...
《Python爬虫开发与项目实战》——1.6　小结
本节书摘来自华章计算机<Python爬虫开发与项目实战>一书中的第1章,第1.6节,作者:范传辉著,更多章节内容可以访问云栖社区"华章计算机"公众号查看 1.6 小结 ...
《Python爬虫开发与项目实战》——第1章回顾Python编程 1.1　安装Python
本节书摘来自华章计算机<Python爬虫开发与项目实战>一书中的第1章,第1.1节,作者:范传辉著,更多章节内容可以访问云栖社区"华章计算机"公众号查看第1章回顾P ...
Python爬虫开发从入门到实战
Python爬虫开发从入门到实战(微课版) 第1章绪论爬虫的主要目的是获取网页内容并解析.只要能达到这个目的,用什么方法都没有问题. 关于获取网页,本书主要介绍了Python的两个第三方模块,一个 ...
入门Python爬虫开发-欧阳桫-专题视频课程
入门Python爬虫开发-443人已学习课程介绍通过本课程的学习,你将掌握如何使用Python的基础类库,实现对邮箱.图片.金融数据的爬取,以及什么是深度爬取和广度爬取课程收益 ...
笨办法学Python（第四版）最新版+Python爬虫开发与项目实战+Python网络数据采集+精通Scrapy网络爬虫
笨办法学Python(第四版)最新版+Python爬虫开发与项目实战+Python网络数据采集+精通Scrapy网络爬虫本资料为最新整理高清带目录pdf,百度网盘下载~~~ 本资料为最新整理高清带目 ...