python网络爬虫学习笔记（五）：urllib.parse库

urllib.parse库定义了处理URL的标准接口，例如实现URL各部分的抽取、合并以及链接转换。它支持如下协议的URL处理：file、ftp、gopher、hdl、http、https等。

1.urlparse()

该方法可以实现URL的识别和分段，这里先用一个实例来看一下：

from urllib.parse import urlparseresult = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
print(type(result), result)

<class 'urllib.parse.ParseResult'> ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')

这里我们利用urlparse()方法进行了一个URL的解析。首先，输出了解析结果的类型，然后将结果也输出出来。

可以看到，返回结果是一个ParseResult类型的对象，它包含6部分，分别是scheme、netloc、path、params、query和fragment。

观察一下该实例的URL,可以发现，urlparse()方法将其拆分成了6部分。大体观察可以发现，解析时有特定的分隔符。比如，

python网络爬虫学习笔记（五）：urllib.parse库相关推荐

python网络爬虫学习笔记（6）动态网页抓取（一）知识
文章目录网络爬虫学习笔记(2) 1 资料 2 笔记 2-1 动态抓取概述 2-2 通过浏览器审查元素解析真实网页地址 2-3 网页URL地址的规律 2-4 json库 2-5 通过Selenium模 ...
python网络爬虫学习笔记（7）动态网页抓取（二）实践
文章目录 1 资料 2 笔记 2-1 准备 2-1-1. 网址 2-2-2 文本位置 2-2 代码 2-2-1 原型 2-2-2 ver0.1 1 资料 <Python网络爬虫从入门到实践> ...
python网络爬虫学习笔记（三）：urllib库的使用
文章目录使用urllib库 1.urllib.request.urlopen()函数 urlopen()函数API: 2.urllib.request函数验证 Cookies 保存Cookies ...
Python网络爬虫学习笔记（二）基本库的使用
基本库的使用最基础的 HTTP 库有 urllib . httplib2 . requests . treq 等 . 使用urlib urlib 包含四个模块口 request : 它是最基本的 ...
python 网络爬虫学习笔记（一）
为了方便,在Windows下我用了PyCharm,个人感觉这是一款优秀的python学习软件.爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去 ...
python网络编程需要学什么,python网络编程学习笔记(五)：socket的一些补充 Python 网络编程需要学习哪些网络相关的知识...
python的socket编程问题hdr = recvall(s, 5) if hdr is None: print 'Unexpected EOF receivingstruct在unpack的时候 ...
python网络爬虫学习笔记（十一）：Ajax数据爬取
文章目录 1.基本介绍 2.基本原理 3.实战有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样:在浏览器中可以看到正常显示的页面数据,但是使用requests得到 ...
python网络爬虫学习笔记2
1.fiddler的使用 (1)右上是HTTP请求信息, 右下是http响应信息,点击黄色条解码 (2)Raw请求详细信息,raw响应所有信息 (3)webForms请求所带参数 (4)json接口响 ...
python网络爬虫学习笔记（九）：Beautiful Soup的使用
文章目录 1.基本用法 2.节点选择器 2.1 获取属性和名称 2.2 获取内容 (1)子节点和子孙节点 (2)父节点和祖先节点 (3)兄弟节点 3.方法选择器 4.CSS选择器 Beautiful ...

python网络爬虫学习笔记（五）：urllib.parse库

1.urlparse()

python网络爬虫学习笔记（五）：urllib.parse库相关推荐

最新文章

热门文章