知乎爬虫|既然所有的生命都要死亡，那么生命的意义是什么？

最近刷抖音的时候看到了一个网上爆火的话题

’既然所有的生命都要死亡，那么生命的意义是什么？‘

2000万浏览，近8万个回答。结果下方的评论让我大感意外

没有意义，只是为了活着....

似乎所有人都很悲观、厌世

所以今天我们就使用python爬虫来获取知乎这一话题下的所有评论信息，看看大家都是如何看待这一问题的？

目标获取

关于scrapy概念讲的我嘴都麻了，估计大家看得也快烦死了，

直接进入主题吧!

直接创建scrapy项目创建完成结构如下：

需求分析

我们的目标很简单，抓取知乎该话题下的所有评论、作者、首页

评论点赞数和评论时间并将其保存做可视化分析

网页分析

F12点击查看网页源码，所有评论信息如下：都在一个名为data的数据文件中存储。

所以第一步我们需要先获取该文件从而获取我们所需信息

item定义

上面已经分析出我们的5个需求，我们在items.py中定义如下：

   # 作者首页photo = scrapy.Field()# 作者名称name = scrapy.Field()# 评论时间cmt_time = scrapy.Field()# 评论点赞数stars = scrapy.Field()# 评论内容comments = scrapy.Field()

发送请求

找到网页请求的真实链接，如下：

然后我们使用scrapy在spider_zhihu.py文件中发送请求

为了防止被网站反爬，我们加上headers。

 def parse(self, response):zhihu_data = response.json()ic(zhihu_data)

可以看到，我们已经成功的获取到了该json格式数据集

但是我们的数据是存储在data列表中的，所以我么还需进一步获取到data列表才能获取到目标数据

 for zh in zhihu:# 作者名称item['name'] = zh['author']['member']['name']# 作者座右铭item['motto'] = zh['author']['member']['headline']# 评论时间cmt_time = zh['created_time']item['cmt_time'] = time.strftime('%Y-%m-%d %H:%M', time.localtime(cmt_time))# 评论点赞数item['stars'] = zh['vote_count']# 评论内容item['comments'] = zh['content']'''沉吟  如果把一生分成两半，那么前半段一定是“不犹豫”，后半段一定是“不后悔”。  2021-09-21 20:06      0                        生命本来没有意义，但总有一些事和一些人让它变得有意义。梅莺苗刀                                 一个悟家。  2021-11-13 23:43      0  这可能是最正的一个回答，请列位耐心看完<br><br>如果死亡没有意义，那么活着能有什么意义...嘿 小家伙                                快乐不期而至  2021-02-04 00:53      0                                               延长生命小羅                 KeepFit健身工作室创始人自律即自由！  2018-09-01 10:07      1                                     死了不是你另一种活着的方式吗看着办                                不知道说什么  2021-01-05 13:17      0                                          就是你不想死的意义'''

需求现在已经实现，我们现在要做的就是将数据抛给pipeline，让他自行去下载，这一步scrapy已经写好了，我们只需打开开关即可

ITEM_PIPELINES = {'zhihu.pipelines.ZhihuPipeline': 300,
}

多页获取

我们提取多页链接如下观察规律：

https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=0&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=10&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=20&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=20&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=40&order=normal&status=open

每页数据展示数目由limit=10控制；翻页参数由page控制。

所以我们多页链接构造如下：

url = f'https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset={(page-1)*10}&order=normal&status=open'

数据下载

我们还是使用openpyxl将数据下载到Excel中然后做数据分析。

wb = Workbook()
ws = self.wb.active
ws.append(['作者首页', '作者名称', '评论时间', '点赞人数', '评论内容'])
line = [item['photo'], item['name'], item['cmt_time'], item['stars'], item['comments']]
ws.append(line)
wb.save('../知乎.xlsx')

数据抓取成功部分展示如下：

数据清洗

接下来我们使用pandas对获取到的数据进行去重和去空等处理

pd.set_option('display.max_columns', None)   # 显示完整的列
pd.set_option('display.max_rows', None)  # 显示完整的行
pd.set_option('display.expand_frame_repr', False)  # 设置不折叠数据# 读取数据
rcv_data = pd.read_excel('../知乎.xlsx')# 删除重复记录和缺失值
rcv_data = rcv_data.drop_duplicates()
rcv_data = rcv_data.dropna()# 抽样展示
print(rcv_data.sample(5))'''
138  看前面一条狗               无聊不  2021-03-01 14:18      0                                   意义不就在于你活着的这个过程吗？
150  微笑面对人参  有些鸟儿是注定不会被关在牢笼里的  2021-06-12 10:28      0                                        根本没空思考这样的问题
352      优秀          十年营养护肤导师  2020-12-14 19:25      0              生命是在于你自己去寻找发现它的意义，如果你觉得毫无意义，那它就是毫无意义的
161     Ani                营销  2021-02-28 19:56      0                                 2021年了我还是没有想到问题的答案
294     喵姐姐               设计师  2021-01-04 20:15      0  就像稍纵即逝的烟火，虽然只是一瞬间，但是它存在过，生命的意义就在于当某个瞬间回顾自己的过去时...
'''

词云展示

我们使用stylecloud来绘图，部分代码如下：

有兴趣的小伙伴可以参考：

如何使用python实现一个优雅的词云？（超详细）

def visual_ciyun():pic = '../img.jpg'gen_stylecloud(text=result,icon_name='fab fa-android',font_path='msyh.ttc',background_color='white',output_name=pic,custom_stopwords=stop_words)print('词云图绘制成功！')

知乎词频图

这里我们使用熊猫来读取数据,并去除空行。使用jieba制作分词

有兴趣的小伙伴可以参考

让人无法拒绝的pandas技巧，简单却好用到爆！

知乎评论出现频率最高的前十个词分别如下:

all_words = [word for word in result.split(' ') if len(word) > 1 and word not in stop_words]
wordcount = Counter(all_words).most_common(10)x1_data, y1_data = list(zip(*wordcount))
print(x1_data)
print(y1_data)'''
('意义', '生命', '活着', '没有', '自己', '死亡', '问题', '我们', '存在', '如果')
(116, 76, 59, 38, 27, 25, 24, 17, 16, 13)
'''

词频气泡图

评论点赞最多

我们将所有评论按照点赞量从大到小排列如下：

评论时间

从时间轴可以分析出，这个问题在2018/08/02 14:26关注度达到了顶峰，

2018/08/03 01：51关注度随着时间推移开始下降

评论内容

前三评论如下：

我不喜欢整理床铺，我妈骂我，我说：反正要搞乱为啥要整理，我妈：你反正要饿，为啥要吃饭

这是个很有意义的问题，想了几年了，我还是没有很好的答案

活着只是为了活着，不为了任何别的

情感分析

我们以点赞最多评论为例分析观众对知乎的一些看法进行简单分析

我们是使用的库是SnowNLP

SnowNLP是一个基于Python的情感分析工具库，可以进行中文分词、词性标注、情感分析、文本分类、文本关键词提取等。

SnowNLP的情感值取值范围为0到1之间，值越大，说明情感倾向越积极。

pinglun = '活着只是为了活着，不为了任何别的'Sentiment_analysis = SnowNLP(pinglun).sentiments
print(Sentiment_analysis)'''
0.5941963504212545
'''

知乎爬虫|既然所有的生命都要死亡，那么生命的意义是什么？相关推荐

零基础写Java知乎爬虫之进阶篇
转载自零基础写Java知乎爬虫之进阶篇前面几篇文章,我们都是简单的实现了java爬虫抓取内容的问题,那么如果遇到复杂情况,我们还能继续那么做吗?答案当然是否定的,之前的仅仅是入门篇,都是些基础知识 ...
java 百度爬虫_零基础写Java知乎爬虫之先拿百度首页练练手
上一集中我们说到需要用Java来制作一个知乎爬虫,那么这一次,我们就来研究一下如何使用代码获取到网页的内容. 首先,没有HTML和CSS和JS和AJAX经验的建议先去W3C(点我点我)小小的了解一下. ...
知乎爬虫与数据分析（二）pandas+pyecharts数据可视化分析篇（上）
注:代码完整版可移步Github--https://github.com/florakl/zhihu_spider. 知乎爬虫与数据分析(一)数据爬取篇知乎爬虫与数据分析(三)pandas+pyec ...
知乎爬虫（scrapy默认配置下单机1小时可爬取60多万条数据）
知乎爬虫(scrapy默认配置下单机1小时可爬取60多万条数据) 版本:1.0 作者: AlexTan CSDN: http://blog.csdn.net/alextan_ e-mail: alex ...
知乎爬虫之4:抓取页面数据
git爬虫项目地址( 终于上传代码了~~~~关注和star在哪里):https://github.com/MatrixSeven/ZhihuSpider(已完结) 附赠之前爬取的数据一份(mysql) ...
知网爬虫——爬取某个主题下的文章标题以及发表时间
前几天帮朋友做了个知网的爬虫,爬取了"新闻传播"主题下的文章标题及发表时间:自己拖拖拉拉写了2天才写完,自己还是太弱了.个人认为这个作为一个练手的爬虫小项目还是不错的,于是写了主要 ...
java 爬数据工具知乎_知乎爬虫之4:抓取页面数据
本文由博主原创,转载请注明出处:知乎爬虫之4:抓取页面数据咱们上一篇分析了知乎的登陆请求和如何拿到粉丝/关注的请求,那么咱们这篇就来研究下如何拿利用Jsoup到咱们想要的数据. 那么咱们说下,首先请 ...
门禁系统服务器在哪,门禁系统知多少？最全的问答都在这里了！
原标题:门禁系统知多少?最全的问答都在这里了! 中心简介大学城校区学生公寓事务服务中心华南理工大学大学城校区智慧门禁与通道服务系统已经安装完毕,将于本月投入使用.为了帮助同学们更好地适应门禁系统, ...
知乎爬虫(非登录版)
2019独角兽企业重金招聘Python工程师标准>>> 事出于那天小牛问有没有爬知乎小姐姐照片的脚本, "可以有", 于是就有了... 代码 #!/usr/bin ...
go猫粮代理公司百加世：每个生命都值得被尊重
百加世成立于 2015 年 11 月,希望把关爱生命的理念传递给每一位热爱宠物热爱生命的人.百加世以"每个生命都值得被尊重"为主旨,以宠物健康为服务根本,为大家提供安全可靠的宠物 ...

知乎爬虫|既然所有的生命都要死亡，那么生命的意义是什么？

知乎爬虫|既然所有的生命都要死亡，那么生命的意义是什么？相关推荐

最新文章

热门文章