Python 网络爬虫实战：去哪儿网旅游攻略图文爬取保存为 Markdown电子书

接上回，《Python 网络爬虫实战：爬取《去哪儿》网数千篇旅游攻略数据》。

我们爬取到了数千篇的旅游攻略文章的数据。

但是事情还没有结束，对于大部分的人来讲，最希望得到的东西应该不是这种干巴巴的 Excel 数据，

而是这种图文并茂的文章吧！

其实之前我们爬过很多类似的网站，比如《人民日报新闻爬虫》，《知乎问题回答爬虫》，都是爬取大段的文章。

不过区别在于，那些爬虫的关注点在于文字，主要用来做分词，语义情感等方面的分析，也就是说不是给人看的，是给程序看的，所以直接将图片，超链接，排版格式等东西舍弃，仅提取文字，使用记事本保存即可。

而这篇爬虫不同，爬取旅游攻略文章，重点在于阅读体验，如果抛弃了图片，抛弃了排版，爬到的攻略文章也就失去了灵魂。

BUT，用什么格式的文件可以保存图文，还可以尽可能保留原始排版呢？想来想去，我觉得 Markdown 或许是最佳选择。

0x00 分析网站

相比于上一篇爬虫中各式各样的数据，这篇爬虫要爬的内容就简单很多了。

以 https://travel.qunar.com/travelbook/note/6910266 这篇文章为例，使用开发者工具（F12）来进行分析。

可以看到，文章的正文部分是在一个 <div class='e_main' id='tpl_1'> 标签中的，其中每一个子 div 标签存放一个章节的内容。

分析完毕，是不是确实很简单呢？

如果是按照之前的做法，我可能直接一个 '.text' 或者 '.string' ，把其中的文字提取出来就完事儿了。

但是这里我们不能这样做，需要把它完整地取出来，保留其原本的结构，转换成 Markdown 格式进行存储。

0x01 将 HTML 转成 Markdown 格式

这里我结合使用了 BeautifulSoup 和 html2text 库。

BeautifulSoup 库用来定位提取文章的正文部分，html2text 库用来将正文部分的 html 文本转化成 markdown 格式。

1. 提取正文部分

import requests
from bs4 import BeautifulSoupdef getContent(html):'''提取文章的正文部分的 html'''bsObj = BeautifulSoup(html,'lxml')title = bsObj.find("h1").textcontent = bsObj.find("div",attrs = {"id":"tpl_1"})return str(content)url = 'https://travel.qunar.com/travelbook/note/6910266'
html = fetchUrl(url)    # fetchUrl(url) 函数用于发起网络请求
content = getContent(html)
print(content)

运行结果：

网站没有设置过多的反爬机制，成功获取到文章的正文部分。

2. 将正文部分的 html 转换成 Markdown 格式

这部分主要是通过 html2text 库来完成，不过该库在转换过程中，有一些转换错误的地方，需要对转换结果做一定的处理。（以下是我在用 html2text 库转换去哪儿网站攻略文章时出现的问题，不知道是库有问题还是网站的问题，大家使用的话根据实际情况进行调整）

① 章节标题格式

html 中的 h 标签，转换成 Markdown 后，会在 # 后面多两个换行符。

如 h1 标签会转换成 "#\n\n"，而实际我们需要的是 "# "（ # 后面加空格）

text = text.replace("#\n\n", "# ")

有些标题是有超链接的（网页中查看时，鼠标移上去会有 Tips 框弹出），这些Tips信息转换成 Markdown 格式后显示会有点混乱。我们直接将其超链接去除，只保留纯粹的标题文字。

header5 = content.find_all("h5")
for h5 in header5:t5 = h5.find("div", attrs = {"class":"b_poi_title_box"})h5.insert_after("##### " + t5.text)h5.extract()

② 莫名其妙的换行符

可能是网页源码中有一些特殊的字符，转换后出现了很多换行符。

text = text.replace("\\.",".")
text = text.replace(".\n",". ")
text = text.replace("tr-\n","tr-")

③ 不需要的标签

文章正文部分中夹杂着一些标签，比如下图中的 “评论” ，是我们不需要的，可以将其处理去掉。

我们可以在转换前，直接使用 BeautifulSoup 的 extract 函数将其剔除。

cmts = content.find_all("div", attrs = {"class":"ops"})
for s in cmts:s.extract()

④ 正文中出现了Markdown 格式控制符号

有些文章中的文字比较活泼可爱，用了很多颜文字，比如 ~~~ ^_^ ~~~ 等，而 ~~~ ，``，* 等这些符号是 Markdown 中用来控制格式的符号，导致虽然文章转换没什么问题，但是显示出现了问题。

# 正文中 ~ 的个数不确定，经过观察这样大概就基本可以正确显示了。
html = html.replace("~~", "~").replace("~~", "~")

等等等等，还有其他细节方面的调整，其实也不算是共性问题，分享出来可能意义也不是很大，就不一一列举了，大家遇到了的话针对性地调整就可以了。

0x02 完善代码开始爬取

1. 读取 URL 列表

这里我们直接从上篇文章中爬取得到的 csv 文件中读取（大家感兴趣的可以去看看，跑跑文章中的代码就可以很容易得到）。

为了方便，我这里上传了一份测试用的文档（下载链接），大家可以去下载使用。（CSDN的下载需要积分，大家有积分的权当支持一下博主啦！如果链接失效了，或者没有下载积分，可以在文末加我微信找我要）

import pandas as pddf = pd.read_csv('data.csv', sep = ',', usecols = [0，1])
for index, title, url in df.itertuples():print(title)print(url)

运行结果：

可以读取到每篇文章的标题和链接。

2. 发起网络请求

下面是 fetchUrl 函数，用于发起网络请求。

import requestsdef fetchUrl(url):'''发起网络请求'''headers = {'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',}r = requests.get(url,headers=headers)r.raise_for_status()r.encoding = "utf-8"return r.text

3. 爬取正文并转换成 Markdown 格式

getContent 函数用来从网页源码中提取正文部分的 Html 文本，并进行一些简单的预处理。

包括对图片，标题格式的替换，无关标签的剔除，以及一些有干扰的特殊字符的替换。

from bs4 import BeautifulSoupdef getContent(html):'''提取文章的正文部分的 html'''html = html.replace("&nbsp;", "")html = html.replace("~~", "~").replace("~~", "~")bsObj = BeautifulSoup(html,'lxml')title = bsObj.find("h1").textcontent = bsObj.find("div",attrs = {"id":"b_panel_schedule"})imgs = content.find_all("img")for img in imgs:src = img['data-original']txt = img['title']img.insert_after("![{0}]({1})".format(txt,src))img.extract()header5 = content.find_all("h5")for h5 in header5:t5 = h5.find("div", attrs = {"class":"b_poi_title_box"})#print(t5.text)h5.insert_after("##### " + t5.text)h5.extract()cmts = content.find_all("div", attrs = {"class":"ops"})for s in cmts:s.insert_after('< br/>')s.extract()return str(content)

Html2Markdown 函数，主要作用是将 html 文本转换成 Markdown 格式，并对转换过程中出现的一些格式错误进行修正。

import html2text as htdef Html2Markdown(html):'''将文章正文部分由 html 格式转换成 Markdown 格式'''text_maker = ht.HTML2Text()text = text_maker.handle(html)text = text.replace("#\n\n", "# ")text = text.replace("\\.",".")text = text.replace(".\n",". ")text = text.replace("< br/>","\n")text = text.replace("tr-\n","tr-")text = text.replace("查看全部 __","")return text

4. 保存文件

我们保存文件时，使用文章标题作为文件名存储。而文件名中有一些字符，如正反斜杠 / \ ，英文引号 ' "，英文大于小于号 <> 等等，我们需要对其进行剔除，或者替换成中文的符号。否则会报错，保存失败。

import osdef saveMarkdownFile(title,content):'''保存文本到 Markdown 文件中title：文件名content：要保存的文本内容'''# 剔除或替换文件名中不允许出现的符号title = title.replace("\\","")title = title.replace("/","")title = title.replace("\"","”")title = title.replace("\'","’")title = title.replace("<","《")title = title.replace(">","》")title = title.replace("|","&")title = title.replace(":","：")title = title.replace("*","x")title = title.replace("?","？")with open("data/" + title + ".md", 'w', encoding='utf-8') as f:f.write(content)

5. 爬虫调度器

最后我们需要写一个爬虫调度的函数，来启动并控制我们的爬虫。

import time
from random import randintdef main():df = pd.read_csv('data.csv', sep = ',', usecols = [0，1])for index, title, url in df.itertuples():html = fetchUrl(url)content = getContent(html)md = Html2Markdown(content)saveMarkdownFile(title, md)# 随机等待时间，避免爬取过于频繁触发反爬机制t = randint(0,3)print("wait -- ",str(t),"s")time.sleep(t)# 启动爬虫
main()
print("爬取完成！")

上述就是本次爬虫的全部源码了。

0x03 问题解决

1. 如何安装 html2text 库？

虽然我相信这个小问题一定难不倒聪明的大家的，但是这里还是讲一下，给大伙儿节省点时间，哈哈。

安装命令是：

pip install html2text

如果上面那个指令安装时，提示 ConnectTimeoutError 连接超时失败（反正我是连接超时失败了），可以试一下下面这个指令。

pip install html2text -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

参考链接：https://blog.csdn.net/licheetools/article/details/82946342

2. 什么是 Markdown ？如何打开 Markdown 文件？

Markdown 的基本概念我就不说了，自己去网上搜吧。就相当于 Office Word 的精简版，可以让你像写代码一样写文章，用熟练了，写起东西来非常丝滑。

我目前在用的一款 Markdown 编辑器，叫 Typora，界面还是非常干净漂亮的，颜值很高。在这里给大家简单推荐一下，如果大家有什么好用的 Markdown 编辑器，也可以在评论区跟大家分享哦。

下载链接：https://www.typora.io/

0x04 后记

由于是单线程爬取，而且加了相对来说比较长的等待时间（主要也是时间宽裕，也不想给人家网站造成压力）。

一下午时间爬了近2千篇文章，用 Typora 打开，翻阅起来真的是，感觉是真的爽。

如果文章中有哪里没有讲明白，或者讲解有误的地方，欢迎在评论区批评指正，或者扫描下面的二维码，加我微信，大家一起学习交流，共同进步。