python高阶爬虫---视频类内容爬取，内含详细教程和代码实例

~~~~~~~~~~ 最近放暑假，闲来无事，爬点东西来玩。这学期由于课程需要，多次用爬虫的技术来获取数据，但都是获取一些文字类的数据。突发奇想，自己想利用爬虫获取一些音视频类的数据。下面以某站和某影院为例，说明爬虫获取音视频的技术和方法。某站的视频爬取教程参考自某站视频(自己爬自己，哈哈哈),某影院的视频爬取以某站为启发，自己编写。代码仅供参考，不用做其他用途。

~~~~~~~~~~ 某站的视频爬取参考自某站，可根据索引连接对应至原视频教程，较为详细，因此不会作为本文讲解的重点，城市影院代码自己编写，其中存在自己的思考和尝试，因此会作为本文讲解的重点。

二、某站视频爬取

~~~~~~~~~~ 此处粘贴一下爬取某站站视频的源代码，方便大家参考借鉴：

# -*-coding = utf-8-*-# Author:qyan.li
# Date:2022/6/20 11:48
# Topic:借助于python爬取某站视频（某站站资源）
# Reference:https://www.bilibili.com/video/BV1GF411c7dA?p=3&vd_source=98cb4eb5f0c21487fcbd999a5f430af1import requests
import re
import json
import pprint
import subprocessdef askURL(url):head = {## 此处设置防盗链：指明连接的请求来源于B站，合法'referer':'https://www.bilibili.com/','user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.124 Safari/537.36 Edg/102.0.1245.44'}response = requests.get(url = url,headers = head)return responsedef getVideoInfo(response):## 正则表达式：用于匹配获取音频和视频地址findUrl = re.compile('<script>window.__playinfo__=(.*?)</script>')VideoInfo = re.findall(findUrl,response.text)[0]## 字符串转换为python的数据类型，便于后续操作jsonData = json.loads(VideoInfo)return jsonDatadef download(jsonData):# print(type(jsonData))## 解析获得音频和视频的urlaudioURL = jsonData['data']['dash']['audio'][0]['baseUrl']videoURL = jsonData['data']['dash']['video'][0]['baseUrl']print(audioURL)print(videoURL)## 用于下载音频和视频信息audioContent = askURL(audioURL).contentwith open('./' + 'python教程' + '.mp3',mode = 'wb') as f:f.write(audioContent)videoContent = askURL(videoURL).contentwith open('./' + 'python教程' + '.mp4',mode = 'wb') as f:f.write(videoContent)## 音视频合成参考：https://blog.csdn.net/weixin_43835542/article/details/109493050
## ffmpeg下载：https://blog.csdn.net/pythonlaodi/article/details/109222790
## 字符串前面加f：https://blog.csdn.net/qq_43463045/article/details/93890436
## (字符串中花括号中的部分可以正常的替换执行)
def audioAndVideo(audioFile,videoFile):outfile_name = './output.mp4'cmd = fr'F:\CommonApp\ffmpeg\bin\ffmpeg.exe -i {audioFile} -i {videoFile} -acodec copy -vcodec copy {outfile_name}'print(cmd)subprocess.call(cmd,shell=True)def main():html = askURL(url = 'https://www.bilibili.com/video/BV1GF411c7dA')jsonData = getVideoInfo(html)## pprint可以按照标准的方式打印字典，便于查阅pprint.pprint(jsonData)download(jsonData)audioAndVideo(r'C:\Users\腻味\Desktop\VideoClawer\BiliBiliClawer\python教程.mp3',r'C:\Users\腻味\Desktop\VideoClawer\BiliBiliClawer\python教程.mp4')passif __name__ == '__main__':main()

爬虫代码小Tips：

head中不仅需要指明user-agent，还需要referer指明连接的请求来源于原网站，是合法的请求连接

至于我们为什么知道playinfo中包含我们所需要的url信息，原视频中未提及，应该是经过无数次的尝试和探索，寻找到的视频和音频连接

playinfo中提取目标信息可能不具有普遍性，没有办法进行移植，但是download函数的编写和使用具有普遍性，可以通过此种方式完成借助于url下载所需要的音视频内容

ffmpeg网络上称为音视频处理鼻祖级的存在，可以学习一下，方便后期的音视频处理使用

三、某影院爬取

~~~~~~~~~~ 上面主要内容在于某站视频爬取，下面我们将以某影院为例，借用上述某站爬取代码思想爬取某影院电影。首先说明：下面的代码并非完整的爬虫代码，但可以保证获取到电影的音视频并且下载至本地。老样子，还是先上代码方便大家参考借鉴：

## Author:qyan.li
## Date:2022.6.22
## Topic:借助于python爬取某影院电影视频import requests
import re
import os
import subprocessdef askURL(url):head = {## 此处设置防盗链：指明连接的请求来源于B站，合法'referer':'https://www.citydy.com/','user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.124 Safari/537.36 Edg/102.0.1245.44'}response = requests.get(url = url,headers = head)return responsedef readFile(filePath = ''):with open(filePath,'r') as f:urlString = f.readlines()urlLst = [string.strip('\n') for string in urlString if 'https' in string]return urlLstdef VideoClawer(urlLst):with open('./全球风暴.mp4',mode = 'ab') as f:for i in range(len(urlLst)):videoContent = askURL(urlLst[i]).contentf.write(videoContent)print(i)if __name__ == '__main__':content = readFile(filePath = './全球风暴.m3u8')VideoClawer(content)

通过观察代码可以发现：

某影院视频爬取的思路与某站爬取类似，都是找到视频链接url，而后通过下载链接内容存入指定文件中实现（实际上，这种操作和思想本身借鉴于某站视频资源的爬取），但是区别体现在：

某影院音视频合并不分离，因此不需要分别下载音视频文件，而后再进行合并
某影院寻找m3u8文件，内含切片视频的链接，按照链接次序下载即可（有关m3u8文件的说明，可自行检索查询）

~~~~~~~~~~ 下面我们开始主要说明m3u8文件的获取及解析，首先简单提一下m3u8文件，在视频播放时，为保证视频播放的流畅度，可以将一大段视频进行切片，形成若干的ts视频切片文件，视频播放时，按照顺序一段段播放ts文件即可，而m3u8文件即是存放ts文件的索引文件，其中包含切片视频文件ts的下载url，我们仅需要按照这些url下载对应的视频内容即可。

我们以爬取某影院的全球风暴电影为例进行说明：

首先进入至某影院，搜索全球风暴，打开电影播放界面，按下F12打开网络源码，点击网络(network)，ctrl+R刷新界面：
点击大小，将界面中请求按照从大到小的顺序排列，找到类型为xhr，文件大小最大的请求（图中红线标注的位置）

点击此词条对应的名称进入，复制请求url(图中红线标注的位置)，至浏览器搜索框进行下载

下载完成后获得m3u8文件

关于m3u8文件的小Tips:

其他音视频均可按照此方式查找并手动下载m3u8文件

m3u8文件下载时，如界面提示403 forbidden,可按照上述方式重新操作下载即可

~~~~~~~~~~ 上面主要讲述如何从浏览器界面中获取m3u8文件，下面我们聚焦于m3u8文件的解析：

打开下载完成的m3u8文件

其中红线标注的部分即为上面提到的切片视频的url链接，我们仅需要根据此链接下载视频内容即可，但是注意下载下仅为原视频的一段，大概也就10s左右

提取链接，下载视频
1. 首先提取出m3u8文件中所有的url链接(判断的方式是当前行中是否包含https字段)
```
with open(filePath,'r') as f:urlString = f.readlines()
urlLst = [string.strip('\n') for string in urlString if 'https' in string]
```
2. 根据提取到的url下载视频内容
```
with open('./全球风暴.mp4',mode = 'ab') as f:for i in range(len(urlLst)):videoContent = askURL(urlLst[i]).contentf.write(videoContent)print(i)
```
  小Tips：
  1. 以二进制追加的形式打开，因为提取一段段视频至一个mp4文件中，必须以追加的形式写入(a)，同时以二进制形式操作文件(b)
  2. print(i)是为观察视频下载进度设置
  3. 自己曾尝试将每个url都保存为一个mp4小文件，可以但是后续视频合并较为繁琐且难以操作，因此没有特殊需求不建议使用此方法
3. 执行完上述操作，没有其他问题的情况下，应该可以成功下载视频

~~~~~~~~~~ 最后大家可以回到下载m3u8的界面，点击播放按钮播放电影，可以观察右侧请求的变化：

~~~~~~~~~~ 在视频的播放过程中，可以看到，在m3u8文件下载链接的上方大概每隔几秒就会重新出现一个xhr，这个其实就是一个个的切片视频，大家如果感兴趣，可以按照此链接进行视频下载，可以获得某一段视频文件。实际上这个和我们m3u8文件中的链接是等价的，视频播放过程也侧面印证这一点。