数据采集与清洗基础习题（二）Python爬虫常用模块，头歌参考答案
数据采集习题参考答案，会持续更新，点个关注防丢失。为了方便查找，已按照头歌重新排版，朋友们按照头歌所属门类查找实训哦，该篇为Python爬虫常用模块。
创作不易，一键三连给博主一个支持呗。
文章目录
实训一：urllib 爬虫
第一关：urllib基础
第一关答案
第二关：urllib进阶
第二关答案
实训二：requests 爬虫
第一关：requests 基础
第一关答案
第二关：requests 进阶
第二关答案
实训一：urllib 爬虫
读取 URL、下载网页是爬虫必备而且关键的功能，需要和 HTTP 请求打交道。而 urllib 是 Python 中的一个功能强大、用于操作 URL 的库。 本实训主要介绍如何使用 urllib 库进行网页爬取。
第一关：urllib基础
本关任务：掌握 urlopen 函数的使用，完成一个简易的爬取程序。
urlopen函数
urlopen 函数是 urllib 模块下的一个方法，用于实现对目标 url 的访问。函数原型如下:
import urllib # 导入urllib包
urllib.request.urlopen(url, data=None, cafile=None, capath=None,
cadefault=False, context=None)参数说明:
- url 参数：统一资源定位符，目标资源在网络中的位置(如：https://www.xxx.com/)；
- data 参数：data 用来指明发往服务器请求中的额外信息，data 必须是一个字节数据对象，默认为 None；
- cafile、capath、cadefault 参数：用于实现可信任的 CA 证书的 HTTP 请求；
- context 参数：实现 SSL 加密传输。
urlopen函数的使用
现在通过访问百度网站，演示如何使用 urlopen 函数。代码如下：
import urllib
response = urllib.request.urlopen(url="http://www.baidu.com") # 打开百度网站
print(type(response)) # 打印数据类型第一关答案
import urllib.request
def request(url):'''一个参数:param url:请求网址:return:返回一个请求的字符串。编码为utf-8'''# *************** Begin *************** #r=urllib.request.urlopen(url) return r.read().decode('utf-8')# *************** End ***************** #第二关：urllib进阶
本关任务：利用 Opener 方法，完成一个简易的爬取程序。
Request类
第一关介绍了 urlopen()，它可以实现最基本的请求发起，但构建还不是一个完整的请求，如果请求中需要加入 headers 等信息，需要利用更强大的 Request 类来构建一个请求。
request 是 urllib 库的一个重要模块， 提供了最基本的构造 HTTP 请求的方法，利用它可以模拟浏览器的一个请求发起过程，可以用来发送 request 和获取 request 的结果。模拟更真实地 request 请求需要构造 request 类，函数表达式如下所示：
request=urllib.request.Request(url,data,headers)参数说明：
- url： 统一资源定位符，这个是必传参数，其他的都是可选参数；
- data： 传递的表单，参数如果要传必须传 bytes （字节流）类型的；
- headers： 请求头，参数是一个字典，包含 cookie,User-Agent 等信息，用于模拟更真实的用户访问，是常见的反爬措施之一。
Opener方法
之前我们学习了如何构造 Request，但是一些更高级的操作，比如 Cookies 处理、代理该怎样来设置？urllib.request 拥有一些高级特性，这些特性可以做到任何 HTTP 请求中所有的事情。下面演示如何获取网站的 Cookie。
import http.cookiejar, urllib.request # 导入相关库
cookie = http.cookiejar.CookieJar() # 创建 CookieJar 对象
handler = urllib.request.HTTPCookieProcessor(cookie) # 利用 HTTPCookieProcessor 来构建一个 handler
opener = urllib.request.build_opener(handler) # 利用 build_opener 方法构建出 opener
response = opener.open('http://www.baidu.com') # 执行 open()
# 打印 Cookie
for item in cookie:print(item.name+"="+item.value)第二关答案
import urllib.request
import http.cookiejar
def request(url,headers):'''两个参数:param url:统一资源定位符,请求网址:param headers:请求头:return:html'''# ***************** Begin ******************** #cookie = http.cookiejar.CookieJar()handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler)r= opener.open(url)# ***************** End ******************** #html = r.read().decode('utf-8')return html实训二：requests 爬虫
第一关：requests 基础
编程要求
根据提示，在右侧编辑器 Begin-End 区间补充代码，完善函数 get_html()，用 requests.get 请求获取网页信息。
相关知识
为了完成本关任务，你需要掌握：requests 的安装和 requests 的常用方法。
requests 的安装
我们之前介绍了 urllib 库的使用，它是作为爬虫入门工具来介绍的，对新手理解 Python 爬虫的整个流程很有帮助。在掌握了爬虫基本思想流程后，就需要引入更高级的工具来提高我们的开发效率，这里就开始给大家介绍 requests 库的使用。
如果本地 Python 环境没有安装 requests，可以在命令提示符窗口输入命令pip install requests，安装 requests 模块，如下图所示。
requests 的常用方法
requests 可以用来模拟浏览器请求，下面介绍实现方法。以 GET 请求为例，实现代码如下所示:
res = requests.get(url, params=params, headers=headers)参数说明：
- url ：需要抓取的 URL 地址；
- params : 网址带参请求的方法，字典类型；
- headers : 请求头。
以百度搜索为例，现在有这样一个网址https://www.baidu.com/s?wd=requests，由主要网址 https://www.baidu.com/s 和参数 wd 组成，需要发起 GET 请求，方法有两种。
方法一：
import requests # 导包
url = 'https://www.baidu.com/s?wd=requests'
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
"537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
response = requests.get(url, headers=header) #模拟 get 请求
response.encoding = 'utf-8' # 指定编码
print(response.text) # 打印网页信息文本方法二：
import requests # 导包
url = 'https://www.baidu.com/s'
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
"537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
params = {'wd': 'requests'} # 定义参数
response = requests.get(url, params=params, headers=header) #模拟 get 请求
response.encoding = 'utf-8' # 指定编码
print(response.text) # 打印网页信息文本以上两种方法，都可以得到同一个网页的信息。可以看出，与 urllib 相比，requests 代码更加简洁。
上述代码还用到了响应对象（response）的属性，比如response.encoding和response.text，响应对象还有一些其它属性：
- encoding ：响应字符编码 res.encoding = ‘utf-8’；
- text ：字符串，网站源码；
- content ：字节流，字符串网站源码；
- status_code ：HTTP 响应码；
- url ：实际数据的 URL 地址。
接下来演示一下 POST 请求，代码同样非常简洁，实现代码如下所示:
res = requests.post(url, data=data, headers=headers)参数说明：
- url ：需要抓取的 URL 地址；
- data : 提交常见的 form 表单的方法，字典类型；
- headers : 请求头。
以豆瓣登录为例，登录网址为https://www.douban.com/，但这只是登录页面网址。为了找到真正的登录网址，需要打开开发者工具，然后在网页上实际进行登录操作，在Network项目下，选中文件basic，可以得到 post 请求的网址为https://accounts.douban.com/j/mobile/login/basic，如下图所示：
如果将上图的页面往下拉，可以看到 data 参数为：
以下代码演示了模拟登录的 POST 请求：
import requests # 导包# 模拟请求头
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
"537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}# 定义 data 信息
data = {
"name": "账号",
"password": "密码",
}url = "https://accounts.douban.com/j/mobile/login/basic"
response = requests.post(url=url, headers=header, data=data) # 模拟登录请求
response.encoding = "utf-8" # 定义编码
html_content = response.text
print(html_content) # 打印网页信息第一关答案
import requestsdef get_html(url):'''两个参数:param url:统一资源定位符,请求网址:param headers:请求头:return:html'''# ***************** Begin ******************** ## 补充请求头headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/""537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}# get请求网页response = requests.get(url=url, headers=headers) # 模拟登录请求response.encoding = "utf-8" # 定义编码# 获取网页信息文本html = response.text# ***************** End ******************** #return html第二关：requests 进阶
编程要求
根据提示，在右侧编辑器 Begin-End 区间补充代码，完善函数 get_html()，使用 requests 创建 session 对指定网址发出请求。
相关知识
为了完成本关任务，你需要掌握：cookie 与 session 的使用。
cookie的使用
当你浏览某网站时，Web 服务器会修改修改你电脑上的 Cookies 文件，它是一个非常小的文本文件，可以记录你的用户 ID 、密码、浏览过的网页、停留的时间等信息。 当你再次来到该网站时，网站通过读取 Cookies 文件，得知你的相关信息，从而做出相应的动作，如在页面显示欢迎你的标语，或者让你不用输入 ID、密码就直接登录等等。
下面演示如何在 requests 中使用 Cookies， 以百度搜索为例，在开发者工具查看请求头信息如下：
方法一 将得到的 Cookies 信息写入请求头，模拟 GET 请求：
header = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/'
'537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36',
"Cookie": "BAIDUID=53B7CC4BFCDC39D2EF625C13D285429D:FG=1; BIDUPSID=53B7CC4BFCDC39D2EF625C13D285429D; "
"PSTM=1591665716; BD_UPN=12314753; BDUSS=2N2ajRYZnI2cVlZN1FRemlWNU9FV1lSZFM3SnZBS0dvRW44WFRCUTRWck1mUVpmR"
"VFBQUFBJCQAAAAAAAAAAAEAAAAoKJzNMTIyMzM4ODQ1uNW41QAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA"
"AAAAAAAAAAAAMzw3l7M8N5eS; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; sug=3; sugstore=1; ORIGIN=0; bdime=0; "
"H_PS_PSSID=1456_31672_32139_31253_32046_32230_31708_32295_26350_22160; delPer=0; BD_CK_SAM=1; PSINO=6; "
"H_PS_645EC=3b86vFCd303Aw0wmqvkcAGpfxU4oXfwYcs6jRd1RnxihTsvhfqaVB%2BIoeBs; BDSVRTM=0"
}response = requests.get(url=url, headers=header)方法二(不推荐) 也可将 cookie 写成字典的形式，传入请求方法中：
cookies = {"BAIDUID": "53B7CC4BFCDC39D2EF625C13D285429D:FG=1", "BIDUPSID": "53B7CC4BFCDC39D2EF625C13D285429D",
"PSTM": "1591665716", "BD_UPN": "12314753", "sug": "3", "sugstore": "1", "ORIGIN": "0", "bdime": "0",
"H_PS_PSSID": "1456_31672_32139_31253_32046_32230_31708_32295_26350_22160", "delPer": "0", " BD_CK_SAM": "1",
"PSINO": "6", "H_PS_645EC": "3b86vFCd303Aw0wmqvkcAGpfxU4oXfwYcs6jRd1RnxihTsvhfqaVB%2BIoeBs", "BDSVRTM": "0",
"BDUSS": "2N2ajRYZnI2cVlZN1FRemlWNU9FV1lSZFM3SnZBS0dvRW44WFRCUTRWck1mUVpmRVFBQUFBJCQ"
"AAAAAAAAAAAEAAAAoKJzNMTIyMzM4ODQ1uNW41QAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA"
"AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAMzw3l7M8N5eS; BDORZ=B490B5EBF6F3CD402E515D"
"22BCDA1598",
}response = requests.get(url=url, headers=header, cookies=cookies)session 的使用
http 协议是无状态的，也就是每个请求都是独立的。那么登录后的一系列动作，都需要用 cookie 来验证身份是否是登录状态，为了高效的管理会话，保持会话，于是就有了 session 。 session 是一种管理用户状态和信息的机制，与 cookies 的不同的是，session 的数据是保存在服务器端。说的明白点就是 session 相当于一个虚拟的浏览器，在这个浏览器上处于一种保持登录的状态。
下面演示如何在 requests 中使用 session。 创建会话的代码如下：
sess = requests.session()使用会话发出请求提交表单的代码如下：
data = {
"name": "XXXXX",
"password": "XXXXX",
}
header = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/'
'537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36'
}response = sess.post(url， headers=header, data=data)登录成功后，会话会生成 cookie 以及请求头，再次访问网站，直接发出请求即可，代码如下：
response_home = sess.get(url=url)第二关答案
import requestsdef get_html(url):'''两个参数:param url:统一资源定位符,请求网址:param headers:请求头:return html 网页的源码:return sess 创建的会话'''# ***************** Begin ******************** ## 补充请求头headers={ 'User-Agent':'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/''537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36',"Cookie":"BAIDUID=53B7CC4BFCDC39D2EF625C13D285429D:FG=1; BIDUPSID=53B7CC4BFCDC39D2EF625C13D285429D; ""PSTM=1591665716; BD_UPN=12314753; BDUSS=2N2ajRYZnI2cVlZN1FRemlWNU9FV1lSZFM3SnZBS0dvRW44WFRCUTRWck1mUVpmR""VFBQUFBJCQAAAAAAAAAAAEAAAAoKJzNMTIyMzM4ODQ1uNW41QAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA""AAAAAAAAAAAAMzw3l7M8N5eS; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; sug=3; sugstore=1; ORIGIN=0; bdime=0; ""H_PS_PSSID=1456_31672_32139_31253_32046_32230_31708_32295_26350_22160; delPer=0; BD_CK_SAM=1; PSINO=6; ""H_PS_645EC=3b86vFCd303Aw0wmqvkcAGpfxU4oXfwYcs6jRd1RnxihTsvhfqaVB%2BIoeBs; BDSVRTM=0"}# 创建Session, 并使用Session的get请求网页sess = requests.session()# 获取网页信息文本response = sess.get(url,headers=headers)response_home = sess.get(url=url)html=response.text# ****************** End ********************* #return html, sess在学习中成功、在学习中进步！我们一起学习不放弃~
记得三连哦~ 你们的支持是我最大的动力！！欢迎大家阅读往期文章哈~
小编联系方式如下，欢迎各位巨佬沟通交流，代码什么的加小编私聊哦~
数据采集与清洗基础习题（二）Python爬虫常用模块，头歌参考答案相关推荐
- 两万字详细爬虫知识储备，数据采集与清洗基础习题（一）头歌参考答案
数据采集习题参考答案,会持续更新,点个关注防丢失.为了方便寻找,按照头歌的门类从新整理了实训的分类,朋友们记得看标题哦,按标题寻找! 该篇为爬虫知识储备! 文章目录 实训一:HTML基础 第一关:初识 ...
- 爬虫基础（三）——python爬虫常用模块
3.1python网络爬虫技术核心 3.1.1 python网络爬虫实现原理 第一步:使用python的网络模块(比如urblib2.httplib.requests等)模拟浏览器向服务器发送正常的H ...
- Python爬虫常用模块
Python标准库--urllib模块 功能:打开URL和http协议之类 python 3.x中urllib库和urilib2库合并成了urllib库.其中urllib2.urlopen()变成了u ...
- 数据分析的基础：前言、概念、应用、分析方法、分析工具、基本流程、Python数据分析常用模块
文章目录 一.前言 1.数据价值 2.数据分析之路 二.数据分析的概念 三.数据分析的应用 四.数据分析方法 1.概念 2.详解 五.数据分析工具 六.数据分析的基本流程 七.Python数据分析常用 ...
- Python模块之二：Python3 常用模块总结
Python模块之二:Python3 常用模块总结 一.random模块 提供一些随机数获取的相关方法 1.常用方法 1.random():获取[0.0,1.0)范围内的浮点数 2.randint(a ...
- Python爬虫---requests模块的基本使用
Python爬虫-requests模块的基本使用 基础 什么是爬虫? 就是通过编写程序模拟浏览器上网,然后让其去互联网上爬取数据的过程. 爬虫的分类 通用爬虫 抓取互联网中的一整张页面数据 聚焦爬虫 ...
- Python爬虫常用的爬虫注意事项及技巧
Python爬虫常用的爬虫技巧 1.基本抓取网页 2.使用代理IP 3.Cookies处理 4.伪装成浏览器 5.页面解析 6.验证码的处理 7.gzip压缩 8.多线程并发抓取 urllib库为例进 ...
- beautifulsoup获取属性_Python爬虫常用模块：BeautifulSoup
BeautifulSoup用途 BeautifulSoup 借助网页的结构和属性等特性来解析网页,可以用它来方便地从网页中提取所需信息. BeautifulSoup自动将输入文档转换为Unicode编 ...
- Python自学——python的常用模块
Python学习--python的常用模块 原文作者:佛山小程序员 原文链接:https://blog.csdn.net/weixin_44192923/article/details/8656325 ...
最新文章
- 5大洲，32个国家：剑桥分析公司的触角到底有多远？
- 【Python】调用百度云API人脸搜索服务 Face Search
- 【CentOS】磁盘管理与vim编译器
- .NET C/S(WinForm)开发技巧点滴(转)
- 初识-Android之智能短信项目相关技术整理
- [Java基础]ListIterator
- web service基础知识
- Win7 maven安装及配置
- 关于在IDEA中Tomcat乱码的解决办法
- 盘点.确保物联网设备顺利运行的9项测试
- 正心，修身，方能齐家，治国，平天下
- uniapp小程序腾讯云视频调用实现1V1会话和踩坑分享
- ADB控制安卓WIFI连接（斐讯R1联网指南）
- tplink android管理软件,tplink路由器app下载
- 如何解决Chrome禁止发送不安全的内网网络请求[origin ‘http://xxx.xxx.com:xxxx‘ has been blocked by CORS policy:...}
- 显卡mx150和230哪个好_MX150和GTX1050哪个好？MX150与GTX1050性能天梯图对比
- 计算机为用户设置上网时间,电脑怎么设置上网时间限制
- matlab url什么意思,URL是什么 url是什么意思？
- 建立个人网盘，乌版图安装updog
- Codeforces Round #628 (Div. 2) C. Ehab and Path-etic MEXs（贪心+思维）
热门文章
- SpringBoot使用Mina框架进行服务端与客户端数据通信
- python爬虫入门实战---------一周天气预报爬取_Python爬虫入门实战--------一周天气预报爬取【转载】【没有分析...
- java 全双工服务器_利用Java实现串口全双工通讯_JAVA实例教程_IT部落
- vue取通过key取value_如何通过获取map中的key来获得与key对应的value值，进行运算...
- python怎么发送邮件_Python面试题之如何用Python来发送邮件？
- android studio类似软件,使Android Studio更高效的几款插件推荐
- 显示器驱动有什么用_科普一下：电脑显示器用什么接口好，主流接口有哪些？...
- slope one 推荐算法python 代码_协同推荐算法实践之Slope One的介绍（转）
- 监督学习和无监督学习_机器学习的要素是什么？ 有监督学习和无监督学习两大类...
- java基础语法实例教程_Java 基础语法