一直也没写过爬虫的代码，一来是接触练习的少，二来也对爬虫心存偏见：老有种做贼偷数据的感觉。

最近在体验过爬虫的高效便捷后，觉得确实有必要多实践一下。其实我本身学爬虫没多久，远没到分享爬虫技术的水平。但公众号平台嘛，又不是课堂，分享点实战经验和思路，相互交流下心得，也是挺不错的。

今天来分享下这两天写的入门级的爬取知乎热榜和微博热门数据的代码和思路。首先明确下爬虫、知乎热榜和微博热门这些概念。

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

——百度百科，“网络爬虫”

知乎热榜中的内容热度值，是根据该条内容近24小时内的浏览量、互动量、专业加权、创作时间及在榜时间等维度，综合计算得出的。知乎热榜即根据内容热度值制定的排行榜。

知乎热榜链接：
https://www.zhihu.com/billboard
https://www.zhihu.com/hot

微博的热度值是根据该篇微博被转发、点赞数和微博发布时间等各项因素，来算出热度基数，再与热度权重相加，得出最终的热度值。微博热门即话题热度排行榜。

微博热门链接：
https://s.weibo.com/top/summary

今天我们要做的就是将相关排行榜中的话题内容爬取下来当作数据素材。换句话说，我们要把页面上排好的信息，通过代码读取并保存起来。

1. 爬取网页内容

Python 爬虫通常采用 requests 库来处理网络请求。这里关于 requests 的方法和参数暂不展开。

知乎热榜

微博热门

这里有两点要注意：

我们选用的网址链接在未登录状态下也可访问，因此 requests 方法中的参数为空也不影响。但爬虫时更多的情况是需要登陆状态，因此也就要求通过设置不同参数来模拟登陆去进行相关操作。
通过 requests 模块获取的网页内容，对应的是在网站上右键单击，选择“显示网页源代码”后展现的页面。它与我们实际看到的网页内容或者 F12 进入开发者模式中看到的网页 elements 是不同的。前者是网络请求后返回结果，后者是浏览器对页面渲染后结果。

2. 解析爬到的内容

第一步爬到的是整个页面内容，接下来要在所有内容中去对目标定位，然后将其读取并保存起来。

这里我采用的是 BeautifulSoup，因为学爬虫最先接触这个，用起来也蛮顺手。通过 BeautifulSoup 提供的方法和参数，可以很便捷定位到目标。

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.BeautifulSoup会帮你节省数小时甚至数天的工作时间。
Beautiful Soup 4.4.0 文档；
https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

之前讲到爬虫所获取的网页对应的是网页源代码，那么在定位网页中目标时可以结合网页源代码来制定解析策略。

这里提一点特别的，在知乎热榜的网页源代码中，拉到最下方可以看到如下：

在源代码中网页的 script 部分，有现成的整理好的热榜数据。所以我们为了减少工作量，直接通过 BeautifulSoup 取出 script 中内容，再用正则表达式匹配热榜数据列表处的内容。

import requests
import re
from bs4 import BeautifulSoupheaders={"User-Agent":"","Cookie":""}
zh_url = "https://www.zhihu.com/billboard"
zh_response = requests.get(zh_url,headers=headers)webcontent = zh_response.text
soup = BeautifulSoup(webcontent,"html.parser")
script_text = soup.find("script",id="js-initialData").get_text()
rule = r'"hotList":(.*?),"guestFeeds"'
result = re.findall(rule,script_text)temp = result[0].replace("false","False").replace("true","True")
hot_list = eval(temp)
print(hot_list)

这里我利用了 script 中热榜数据的列表结构，在定位取出相关字符串后，先将 js 中的 true 和 false 转化为 Python 中的 True 和 False，最后直接通过 eval() 来将字符串转化为直接可用的数据列表。

运行代码结果如图：

至于对微博热门的解析，就是中规中矩地利用 BeautifulSoup 来对网页元素进行定位获取：

import requests
from bs4 import BeautifulSoupurl = "https://s.weibo.com/top/summary"
headers={"User-Agent":"","Cookie":""}
wb_response = requests.get(url,headers=headers)
webcontent = wb_response.text
soup = BeautifulSoup(webcontent,"html.parser")
index_list = soup.find_all("td",class_="td-01")
title_list = soup.find_all("td",class_="td-02")
level_list = soup.find_all("td",class_="td-03")topic_list = []
for i in range(len(index_list)):item_index = index_list[i].get_text(strip = True)if item_index=="":item_index = "0"item_title = title_list[i].a.get_text(strip = True)if title_list[i].span:item_mark = title_list[i].span.get_text(strip = True)        else:item_mark = "置顶"item_level = level_list[i].get_text(strip = True)topic_list.append({"index":item_index,"title":item_title,"mark":item_mark,"level":item_level,"link":f"https://s.weibo.com/weibo?q=%23{item_title}%23&Refer=top"})
print(topic_list)

通过解析，将微博热门数据逐条存入列表中：

后续对拿到的数据加以处理展示，即可得到很多有趣的应用或实现某些功能。例如集成诸多平台排行榜的 “今日热榜”：

今日热榜链接：
https://tophub.today

因为并未展开爬虫细节，今天的总结也比较简单：

首先在选取要爬的网址时要给自己降低难度，例如同样是知乎热榜，zhihu.com/hot 需要登陆，而 zhihu.com/billboard 无需登录便可访问
解析爬取到的内容时，要结合具体页面内容选择最便捷的方式。当需要批量爬取相似页面时，也要尽量整理通用的解析策略。

代码已上传 GitHub，链接如下：
https://github.com/pengfexue2/hot_display.git

当然，拿到数据只是开始，后续如何去处理才是关键和价值所在，之后我们继续探讨。

以上，感谢阅读！

最后，也欢迎关注我的微信公众号 TEDxPY，也可以加微信交流学习，感谢～

知乎热榜？微博热门？爬！相关推荐

python爬虫知乎热榜、微博热搜并发送邮件至邮箱
目录爬取知乎热榜.微博热搜并发送邮件至邮箱 1.获取网页 1.1获取url 1.2构造headers 1.3代码 2.提取信息 2.1 XPath规则 2.2 定位到节点 2.3 提取标题和url ...
[selenium爬知乎热榜
selenium爬知乎热榜 @selenium爬知乎热榜环境配置首先,你需要安装一个python的环境.可以从python官网下载. python官网下载链接 python环境配置各位可以去找别的 ...
android开发微博搜索,一款帮助用户自动提取微博热搜、知乎热榜、百度实时热点条目中与特定领域...
HotDetector(全网热门探测仪) 全网热门探测仪一款帮助用户自动提取微博热搜.知乎热榜.百度实时热点条目中与特定领域(科技.娱乐.体育.自定义)有关内容的实用App. 它使用Java SE 8 ...
B站微博吾爱破解知乎热榜软件
简介: B站微博吾爱破解知乎热榜软件能够帮助用户获取各个网站的最新热门信息,让用户可以在B站.知乎.微博.贴吧等知名网络论坛或平台上,直接截取各种热点信息,热榜信息或者相关热点内容,通过其中的列表用户 ...
python爬取知乎标题_python爬知乎热榜
爬项目:知乎热榜标题.热度.简介. 第一步浏览网页源代码确认在哪html 还是js里标题和热度在html 标签内容在js 需要用到正则表达式: 第二先爬html 里的内容调用模块-再请求一下url ...
python爬取知乎热榜了解时事
python爬取知乎热榜了解时事需求知乎热榜是我们了解时事的一个重要途径,但是如果我们每天没有那么多时间来刷知乎,但是还是想要了解知乎热榜的话,我们该怎么办呢?在这里,我想到了通过知乎爬虫的手 ...
python xpath爬取新闻标题_爬取知乎热榜标题和连接（python，requests，xpath）
用python爬取知乎的热榜,获取标题和链接. 环境和方法:ubantu16.04.python3.requests.xpath 1.用浏览器打开知乎,并登录 2.获取cookie和User-Agen ...
html定位知乎,从零开始：python实现爬取知乎热榜（随缘更新完善）
获取URL 获取HTML 解析HTML 获取URL 首先要知道URL是什么: URL: Uniform Resource Identifier,即统一资源标识符. URL: Uniform Resou ...
【知乎热榜爬虫】python爬取知乎热榜问题及答案
所用库 requests xpath解析库 multiprocessing多进程 pymysql数据库操作库实战背景主要是爬取知乎热榜的问题及点赞数比较高的答案,通过requests请求库进行爬取 ...

知乎热榜？微博热门？爬！

1. 爬取网页内容

2. 解析爬到的内容

知乎热榜？微博热门？爬！相关推荐

最新文章

热门文章