爬取听书网有声小说音频数据

前言：

朋友最近迷上了听有声小说，可是因为很多的有声小说网站都需要vip才能听，所以他想让我帮他把小说弄下来，方便他可以随时在手机上听。我在网上搜了一下他听的这部小说，的确有很多大的听书网站都需要vip才能听，所以我就找了一个小的网站，帮他把小说爬取了下来。因为他听的小说是一个很有名的作者的，为了保护作者的权益，本文的案例就没有拿这个作者的小说来进行爬取，用了另一部小说来进行爬取讲解，大概的爬取思路都是一样，所以可以借鉴本文的思路。

本案例网址：https://www.88tingshu.com/29101/

一、分析网页

本案例的这部小说一共有178个章节，所以也就对应了178个音频数据，我们需要爬取到小说的名字，每一个章节的链接地址，然后在分析每一个链接地址，找到真实的音频数据地址。如图：

网页的链接通过查看开发者工具，可以分析出网页是个html的数据网页，数据也就在html网页源码中，继续分析，随便点开一个章节链接，网页跳转到了另一个窗口，然后会自动播放该章节的小说，如图：

其实要找到该音频文件很简单，只要定位到network下的media选项就可以看到正在播放的音频数据了，如图：

从图中可以看出，该音频数据是一个m4a格式的音频数据，这个网址就是真实的音频地址，那么问题来了，只有这一个网址，也只能爬取一个章节的小说，我们的目的是爬取所有章节的小说，所以显然只知道这个小说的音频地址是没用的，下面我们就需要把这个音频地址的出处找出来，通过经验，我们可以搜索这个音频地址的后面的文件名字，

通过搜索该名字我们定位到了一个新的网页链接，如图：

可以很明显看出，和真实的音频地址是一样的，只不过缺少了**.m4a**这几个字，我们大概断定这个网页就是包含了真实音频数据的地址网页，可是这是一个新的网页地址，那么这个地址又是那里来的呢，没关系，我们继续搜索该地址试试，

可以看出我们通过搜索又定位到了一个新的网页，里面有一个iframe的标签，该标签下有一个src的属性，里面的网址和我们之前搜索的网页网址大概是一样的，只不过这个网址不全，只有网址的后半段，缺少前半段，我们只需要补全前半段就可以了，通过这一系列的分析，大概确定了，该网址就是包含了上面网址的数据网址，最后只要确定该网址是哪一个网址就行了，经过确定，该网址就是每一个章节链接的地址，这整个分析过程就算完成了，基本就可以把这个小说的有声书给爬取下来了。

现在大概说一下爬取思路，先通过小说首页把每一个章节的链接地址和小说名字给爬取下来，然后在通过爬取下来的每一个章节的链接，找到该链接地址里面的包含的另一个包含真实音频数据的小说链接，在通过这个链接找到真实的音频数据，最后保存数据。

本案例所用到的模块：

import requests
import parsel
import re
import os
from urllib.request import urlretrieve
from tqdm import tqdm

二、发送请求，获取响应数据

    def parse_url(self, url, headers):"""发送请求，获取响应数据的方法:param url::param headers::return:"""response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print('请求失败')

三、提取小说每个章节的链接地址

  def get_chapter_url(self, html_str):"""提取小说章节的url的方法:param html_str::return:"""html = parsel.Selector(html_str)# 提取小说章节地址列表chapter_urls = html.css('#playlist>ul>li>a::attr(href)').extract()chapter_urls = [self.SHU_TEMP_URL.format(i) for i in chapter_urls]# 提取小说名字audio_shu_name = html.css('.book-title::text').extract_first().strip()return chapter_urls, audio_shu_name

四、提取含有小说真实音频地址的链接地址

    def get_audio_temp_url(self, html_str2):"""提取含有小说真实地址的url的方法:param html_str2::return:"""html = parsel.Selector(html_str2)audio_temp_url = html.css('iframe::attr(src)').extract_first()audio_temp_url = self.SHU_TEMP_URL.format(audio_temp_url)return audio_temp_url

五、提取该地址下的真实音频数据地址

    def get_audio_url(self, html_str3):"""提取小说真实的url地址的方法:param html_str3::return:"""audio_url = re.findall("mp3:'(.*?)'", html_str3, re.S)[0]if 'm4a' in audio_url:return audio_urlelse:return audio_url + '.m4a'

六、保存音频数据

    def down_audio(self, audio_url, audio_shu_name, num):"""下载有声小说的方法:param audio_url::param audio_shu_name::param num::return:"""path = f'{audio_shu_name}'isExists = os.path.exists(path)file_path = os.path.join(path, f'{audio_shu_name}_{num}.mp3')if not isExists:os.makedirs(path, exist_ok=True)urlretrieve(audio_url, file_path)print(f"{audio_shu_name}_{num}---下载完成")else:urlretrieve(audio_url, file_path)print(f"{audio_shu_name}_{num}---下载完成")

七、具体实现逻辑思路的代码

 def run(self):"""实现主要逻辑思路:return:"""# 1.发送请求，获取响应数据html_str = self.parse_url(self.SHU_URL, self.headers)# 2.提取小说章节的urlchapter_urls, audio_shu_name = self.get_chapter_url(html_str)tqdm_chapter_urls = tqdm(chapter_urls)for num, chapter_url in enumerate(tqdm_chapter_urls):# 3.对小说章节url发送请求，获取响应数据html_str2 = self.parse_url(chapter_url, self.headers)# 4.提取含有小说真实地址的urlaudio_temp_url = self.get_audio_temp_url(html_str2)# 5.对这个url地址发送请求，获取响应数据html_str3 = self.parse_url(audio_temp_url, self.headers)# 6.提取真实的url地址audio_url = self.get_audio_url(html_str3)# 7.下载小说self.down_audio(audio_url, audio_shu_name, num + 1)

完成效果展示: