Python之网络数据采集入门常用模块初识

网络数据采集是指通过程序在互联网上自动采集数据，采集数据所用的程序也被称为网络爬虫（Web crawler）。本文主要是记录一些网上数据采集常用的模块及其简单的相关操作。

文章目录

⚪urllib模块及其request子模块
⚪requests模块
⚪BeautifulSoup包
⚪you-get包

⚪urllib模块及其request子模块

urllib是网络数据采集中不可缺少的模块，包含在Python标准库中。在Python3.x中，urllib模块有urllib.request、urllib.parse、urllib.error、urllib.robotparser四个子模块。
官网说明文档参考→https://docs.python.org/zh-cn/3/library/urllib.html

其中，urllib.request是最主要的模块，用于打开和访问URL上的数据，包含了urlopen()、urlretrieve等函数及Request等类。

网络数据采集首先是要通过URL向网络服务器发出请求，然后对返回的数据进行解析。

urllib.request模块中的urlopen函数用于打开HTTP、HTTPS、FTP协议的URL，接收返回的URL资源，语法如下：
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
参数url可以是一个字符串（URL地址）或一个 Request 对象；参数data是在以post方式提交URL时使用；timeout是超时间设置；参数中以ca开头的都和身份验证有关，不太常用。
函数返回的是Response对象。Response对象是一个类文件对象，可以像文件对象一样进行操作，如read()，此外，Response对象还有其他几个方法，示例如下：

'''request 获取网站基本信息'''
with request.urlopen('http://www.sohu.com') as f:  # 打开网络协议的URL,返回的是Response对象print(f.geturl(), "\n")  # 返回response的URL信息，常用于URL重定向print(f.info, "\n")  # 返回response的基本信息print(f.getcode(), "\n")  # 返回response的状态代码，（200表示成功返回网页，404表示请求的网页不存在，503表示服务器暂时不能用）data = f.read()  # 对response类文件对象进行读取print(data.decode('utf-8'))  # 对读取的信息解码输出

输出如下：

互联网上的数据文件可以通过URL向网络服务器发出请求，如果请求成功就可以下载数据。urllib.request模块中retrieve函数用于下载指定URL地址的文件，语法如下：
retrieve(url, filename-None, reporthook=None)
url是指定的URL地址；filename是保存的路径及文件名，若缺省则随机生成文件名并保存到temporary目录下；reporthook用于调用一个显示下载进度的函数。
示例如下：

'''网络数据文件下载，retrieve函数'''
# 下载网页的html文件
url = "http://baidu.com"
request.urlretrieve(url, "D:/tmp/baidu.html")
# 下载图片、视频等文件只要有找到对应网址，保存路径的文件后缀名写成对应的就行
url = "https://gimg3.baidu.com/***/*****.jpeg"
request.urlretrieve(url, "D:/tmp/baidup.jpg")

⚪requests模块

requests是一个用Python编写的第三方模块，擅长处理复杂的HTTP请求、cookie、header（响应头和请求头）等内容。
说明文档参考→（英文）https://docs.python-requests.org/en/master/
（中文）https://docs.python-requests.org/zh_CN/latest/user/quickstart.html