python中urlLib的使用

urlLIb包使用来操作web网页的url，可以利用它来进行爬取网页数据

urlLib 包包含以下几个模块：

urllib.request - 打开和读取 URL。
urllib.error - 包含 urllib.request 抛出的异常。
urllib.parse - 解析 URL。
urllib.robotparser - 解析 robots.txt 文件。

urllib.request

urllib.request 可以模拟浏览器的一个请求发起过程。

语法：

实例：

read() - 读取网页整页内容

# 使用read()  - 读取网页整页内容
from urllib.request import urlopen          # 从urllib包的request模块中导入urlopen模块myURL = urlopen("https://www.runoob.com/")  # 请求网页
# 获取网页的 HTML 实体代码。
print(myURL.read())                         # 输出 在read方法的括号中可以指定读取行数默认是整页

输出：

readline() - 读取文件的一行内容

from urllib.request import urlopenmyURL = urlopen("https://www.runoob.com/")
line = myURL.readline() # 读取网页一行内容
print(line)

输出：

readlines() - 读取文件的全部内容，它会把读取的内容赋值给一个列表变量。

from urllib.request import urlopenmyURL = urlopen("https://www.runoob.com/")
lines = myURL.readlines() # 读取文件的全部内容，它会把读取的内容赋值给一个列表变量。
for i in lines:            # 用for循环将其遍历print(i)

输出：

getcode() - 函数获取网页状态码

返回 200 说明网页正常，返回 404 说明网页不存在

实例：

import urllib.requestmyURL1 = urllib.request.urlopen("https://www.baidu.com/")
print(myURL1.getcode())   # 200try:myURL2 = urllib.request.urlopen("https://www.baidu.com/aa")
except urllib.error.HTTPError as e:if e.code == 404:print(404)   # 404

输出：

urlLib包的其他模块就不去写实例了，因为后续的requests模块完全可以将其替代，并且语法更加的简洁

总结：

在python3中将原来的urllib、urllib2模块整合到了一起，成了现在的urlLib包，而requests是在urlLib的基础上再进行封装的，也可以叫urllib3，有兴趣可以去了解一下python爬虫库的历史

requests比urlLib包更加的简洁，并且保留了其特性，增加了可读性

在接下来的笔记中我会详细的记录requests模块的使用

打卡第56天，对python大数据感兴趣的朋友欢迎一起讨论、交流，请多指教！

python中urlLib的使用相关推荐

python中urllib.parse啥意思_python-urllib.parse模块简述
前言小编最近在编写接口自动化测试用例的过程中,需要将get请求url中的部分参数替换成预设的数据,将url中的具有时效性的auth替换成auth生成方法返回值.经过一番调研,最后选取了python的 ...
python网络爬虫系列教程——python中urllib、urllib2、cookie模块应用全解
全栈工程师开发手册 (作者:栾鹏) python教程全解 python数据挖掘库urllib.urllib2.cookie知识全解.本文使用python2.7环境,如果需要使用python3的环境只需 ...
python中urllib模块安装_python如何安装urllib
urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib.基本上涵盖了基础的网络请求功能. 该库有四个模块, ...
python中 urllib, urllib2, httplib, httplib2 几个库的区别
为什么80%的码农都做不了架构师?>>> 若只使用python3.X, 下面可以不看了, 记住有个urllib的库就行了 python2.X 有这些库名可用: urllib, ...
关于python中urllib.urlencode的时候出错：UnicodeEncodeError: ‘ascii’的记录
原文我参见了:http://hi.baidu.com/setcookie/item/ddc6b694b1f13435336eeb3c 我的部分代码 def forDemo(args): try: ur ...
python中urllib.quote出现KeyError
>>> urllib.quote_plus(u'江南小财主') Traceback (most recent call last): File "<stdin&g ...
URL详细分析及在python中处理URL
文章目录 URL URL介绍 URL案例 URL处理 urlparse方法 urlsplit方法 urlunparse方法 urlunsplit方法 urljoin方法 URL序列化与反序列化其他相 ...
python爬虫用urllib还是reques,python爬虫中urllib.request和requests有什么区别？
在学习python爬虫,想要检索request相关内容时,往往会出现urllib.request和requests这两个词,urllib.request和requests都是python爬虫的模块,其 ...
pythonurllib模块-Python中的urllib模块使用详解
urllib模块提供的上层接口,使我们可以像读取本地文件一样读取www和ftp上的数据.每当使用这个模块的时候,老是会想起公司产品的客户端,同事用C++下载Web上的图片,那种"痛苦&quo ...

python中urlLib的使用

urllib.request

python中urlLib的使用相关推荐

最新文章

热门文章