不会哄女朋友？来，教你爬搞笑图片

今日鸡汤

美丽的蓝图落在懒汉手里，也不过是一页废纸。

今天我们要爬取糗事百科中的图片，网站

案例分析

我们做爬虫首先需要找规律，在这其中最喜欢的就是分页栏了。有分页栏就代表当你按下一个页码的时候，HTML 页面会发起请求。有请求就肯定有数据，有数据就一定能抓到。

好，接下来回归正题~

我们打开这个网站，快速的将滚动条拖动到最下面，看到了我们最喜欢的分页栏

接下来我们打开浏览器抓包工具，观察浏览器地址栏，分析是否为异步请求。

简简单单同步请求，肯定用了 get 方法，既然为同步请求，我们就需要解析 HTML 页面，获取每个 img标签中的 src 属性。

接下来继续观察浏览器地址栏中的规律，当我们在第一页的时候为
https://www.qiushibaike.com/imgrank/ 这个地址。
我们切换至第二页为 https://www.qiushibaike.com/imgrank/page/2/ 这个地址。
这其中有些规律。那将最后的数字改为 3 访问到的页面就是第三页。

好啦，html 跳转的规律和 HTML 请求方式，我们都已经知晓。

接下来解析 HTML 页面，在浏览器中右击查看桌面源代码。

然后使用开发者工具中的元素定位，定位一张图片。

上图中红框框出的部分为图片的 url 地址，绿框中为图片预览。可以将 url 复制下来到页面源码中分析。

在源码中的位置我们知道了，接下来只需要使用一种技术获取到就可以啦。
可选的技术有：

xpath
bs4
正则

这里我选择正则，因为每个 img 标签的相似度极高，可以批量使用。
如下图所示：

图中红框的部分为相同部分，绿框部分为不同部分，橙底为背景的为我们要取出的部分。

这里需要注意，获取的 src 属性需要添加 https: 前缀。

好啦，分析完毕啦，接下来 Let’s Coding~

开码

第一步：导入所需模块
第二步：用户输入爬取第几页的内容，或者定义爬取多少图片
第三步，设置 url
第四步：发请求
第五步：解析返回数据
第六步：保存图片

引入 `requests`、`re`、`os`

标题中的三个模块分别为：请求模块，正则表达式模块，系统模块

import requests, re, os

创建文件夹

# 判断存图片的文件夹是否存在
if not os.path.exists('./imgs'):os.mkdir('./imgs')

用户动态指定爬取图片

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36 Edg/86.0.622.63'
}
url = 'https://www.qiushibaike.com/imgrank/'
# 由用户控制爬取第几页的内容
url = url+'page/'+input('想爬取第几页？')

发请求并解析数据

respones = requests.get(url = url, headers= headers).text
# 正则规则，.*?为任意内容，(.*?) 为取出的内容，其中可以为任意内容
ex = '<div class="thumb">.*?<img src="(.*?)" alt="'
# 数据清洗，获取图片的地址，数组形式
urls = re.findall(ex,respones,re.S)

为获取的图片链接发请求并存储图片

for i in range(0,len(urls)):#为每个图片添加https前缀urls[i] = 'https:'+urls[i]#发请求img = requests.get(url = urls[i],headers=headers).content# 解析图片名称img_name = str(urls[i]).split('/')[-1]with open('./imgs/'+img_name,'wb') as fp:fp.write(img)print(img_name+'保存成功!')

完整代码

import requests,re,os
#引入 os 模块方便文件夹操作if __name__ == '__main__':# 判断存图片的文件夹是否存在if not os.path.exists('./imgs'):os.mkdir('./imgs')headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36 Edg/86.0.622.63'}url = 'https://www.qiushibaike.com/imgrank/'# 由用户控制爬取第几页的内容url = url+'page/'+input('想爬取第几页？')# response中为网页源码respones = requests.get(url = url, headers= headers).text# 正则规则ex = '<div class="thumb">.*?<img src="(.*?)" alt="'# 数据清洗，获取图片的地址urls = re.findall(ex,respones,re.S)for i in range(0,len(urls)):#为每个图片添加https前缀urls[i] = 'https:'+urls[i]#发请求img = requests.get(url = urls[i],headers=headers).content# 解析图片名称img_name = str(urls[i]).split('/')[-1]with open('./imgs/'+img_name,'wb') as fp:fp.write(img)print(img_name+'保存成功!')