今天，在研究BeautifulSoup库的使用方法和技巧，我看了一下BeautifulSoup库函数，觉得BeautifulSoup库没有lxml库的xpath函数那么好用，各有优势吧。

案例网址：https://zhidao.baidu.com/question/877231635748319892.html。

完整代码：

from bs4 import BeautifulSoup

import lxml

import urllib.request

import time

url = 'https://zhidao.baidu.com/question/877231635748319892.html'

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 Edg/84.0.522.48'

}

request = urllib.request.Request(url,headers=headers)response = urllib.request.urlopen(request)

html = response.read().decode('gbk')

soup = BeautifulSoup(html,'lxml')

contents = soup.find_all('p')

for c in contents:

if c.string != None:

print(c.string)

with open(r'waiting_for_love.txt','a',encoding='utf-8') as f:

f.write(c.string+'\n')

time.sleep(1.5)

else:

continue

首先，我们要先去安装BeautifulSoup库(因为是第三方库，不是标准内置库)，输入命令：

然后，正式开始我们的程序设计，导入会用到的库。这里我选择三个库联合使用，

我认为这样做会更好一点。

我们设置好url和请求报头，所以有：

url = 'https://zhidao.baidu.com/question/877231635748319892.html'

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 Edg/84.0.522.48'

}

request = urllib.request.Request(url,headers=headers)

接着，我们要把设置好的url和请求报头作为urlopen函数的参数传入，并读取源代码，再解码，我们在解码前，先去查看它的编码方式，如下图：

所以有：

之后，因为我们这次主要使用BeautifulSoup,因此，设置soup，并将解码后的html传递给soup，然后，设置lxml解析库为参数，目的是为了加快解析速度。所以有：

接着，我们开始爬取A神的歌词吧。先去查看网页结构进行分析。

通过观察，我们发现大部分内容都在p标签中。所以，确定爬取目标开始设计。用find_all()函数找出所有p标签，得到的结果是一个列表，

如下图：

所以，我们要用for循环遍历，然后打印输出结果，

如下图：

我们会发现结果存在空值None，因此，我们要在程序上再改进一下，让空值不出现。所以有：

如下图：

下面，我们再重新观察一下网页结构，然后，我们发现还有另一种方法。但是，我个人不推荐这种方法，因为页面通常是变动的。我们直接去找到div框架的标签，找到它的属性ID，然后，输出这个div标签下的文本内容。所以有：

如下图：

这个方法有明显的缺陷，目前原因尚未清楚，出现了莫名其妙的数字。

我们既然爬取A神的歌词，就留个纪念吧，好歹也辛苦这么久了。修改代码，再加入时间库，控制爬行速度，所以有：

运行结果：

接着，我们去pycharm编辑器的路径下面，找到文件，打开文件看看，如下图：

后面还有很多内容，就不全部截图了，请大家见谅。

最后，感谢大家前来观看鄙人的文章，文中或有诸多不妥之处，还望指出和海涵。