实现百度搜索实时热点爬虫

相关技术介绍
- Request库
- Beautiful Soup库
代码实现
- 代码分析
项目延伸讨论

本教程实现简单的百度榜单实时热点爬虫，爬取百度实时热点。

实现的思路是：首先爬取热榜页面内容，其次是解析热榜页面的内容，最终到获取到需要的内容。
在展示代码之前，我们先介绍代码中使用到的一些python库

代码实现

代码实现如下：

'''
爬取百度实时热点排行榜
'''import requests
from bs4 import BeautifulSoupheaders = {'User-Agent': 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0','Connection': 'keep - alive'}url = 'http://top.baidu.com/buzz?b=1'request = requests.get(url, headers)
# 修改为gb18030编码
request.encoding = 'gb18030'
soup = BeautifulSoup(request.text, 'lxml')
items_body = soup.find(class_='list-table')
tr_soup = items_body.find_all('tr')
num = 1
for i in tr_soup:content = i.find(class_='list-title')if content != None:# 输出编号及热搜内容print('{0:2d}.{1}'.format(num, content.get_text()))# 热点链接link = content.get('href')

代码分析

现对上述代码做简单的分析。

requests.get(url, headers)

使用Requests库的get方法构建HTTP的GET请求。url是百度热榜地址。headers中的内容，均以Key/Value键值对方式构建。这里主要构建“User-Agent”。本示例中使用和讲解中使用的浏览器是火狐浏览器。打开浏览器中的“工具”->“Web 开发者”->“Web 控制台”。随便打开一个网页，查看“Web 控制台”上的“网络”->“消息头”->“请求头”中的“User-Agent”，将“User-Agent”内容复制到代码中。

request.encoding = 'gb18030'

对获取到的request文档树采用“gb18030”的编码格式。
GB 18030 与 GB 2312 、GBK 兼容，是最新国家标准 GB 18030-2005《信息技术中文编码字符集》，收录有汉字七万多个。

soup = BeautifulSoup(request.text, 'lxml')

这里采用效率更高的“lxml”解析器来解析HTML文档。
使用浏览器打开百度热榜链接，在“Web 控制台”下，使用“查看器”定位到百度热榜关键字内容处理。

在“查看器”中，所有的热榜内容均是包含在一个“table”中。

为了取得每个热点的内容，只需要遍历这个“table”，即可取得热点的关键字。

items_body = soup.find(class_='list-table')

在Beautiful Soup中，搜索tag的方法有find_all() 和find() ，其中find_all() 方法搜索所有的tag，并返回所有满足要求的tag，而find() 方法则返回第一个查找到的tag。关于find() 及 find_all() 的详细用法，读者可以查看Beautiful Soup的相关文档。
在“table”下的tag，只有属性是“list-title”的tag才具有有效的内容。于是需要对名称为“tr”的tag进行过滤。

tr_soup = items_body.find_all('tr')
for i in tr_soup:content = i.find(class_='list-title')

这样就可以搜索到满足要求的tag。

content.get_text()

对于热点内容的关键字，只需要使用get_text()方法即可获得。

# 热点链接
link = content.get('href')

热点链接即可通过get(‘href’)来获得该属性值。
代码执行结果如下所示：

项目延伸讨论

上述代码实现比较简单。可以在该项目基础上，做一些扩展，比如定时爬取热榜信息，保存到数据库中，在一周或一个月内，可以对爬取的数据进行分析，得到搜索的热点词等内容。也可以做成一个公众号爬虫机器人，每天定时将热榜信息推送给关注公众号的用户等。