Python 爬取 20 万条评论,告诉你周杰伦新歌为啥弄崩 QQ 音乐?
作者 | 哈哈浩
责编 | 伍杏玲
9 月 16 日晚间,周董在朋友圈发布了最新单曲《说好不哭》。
发布后,真的让一波人哭了,一群想抢鲜听的小伙伴直接泪奔。
因为 QQ 音乐直接被搞崩了!
没想到干翻 QQ 音乐的不是网易云音乐,也不是虾米音乐,而是周董!
周董成成功地凭一己之力干翻了 QQ 音乐!
那么听过周董新歌后的小伙伴都是怎么评价的呢?
这里,我们获取了 QQ 音乐的近 20W 条评论数据进行分析,看看其中有哪些有趣的东西?
数据获取
1、请求分析
在 QQ 网页版直接搜索『说好不哭』,很容易就能找到单曲页面:
说好不哭
拉到页面最下方,可以看到评论的分页查看按钮:
分页查看
按下 F12 点击第二页,在请求流中就可以看到对应的请求:
评论请求
其中可以看到两个重要参数:pagenum 和 pagesize。
将请求 copy 到 Postman 中进行测试:
Postman测试
发现可以直接获取到数据,连 Header 都不需要添加。这里尝试对请求参数进行了精简,最终只需要如下几个参数即可:
参数精简
从 Postman 中可以直接获取到对应的代码:
import requests
url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg"
querystring = {"biztype":"1","topid":"237773700","cmd":"8","pagenum":"1","pagesize":"25"}
response = requests.request("GET", url, params=querystring)
print(response.text)
这里是单页评论的获取,所有评论的获取只需递增 pagenum 即可。
2、数据解析
返回数据中有很多暂时不需要的字段,这里我们只取其中的用户名、评论时间、评论内容、点赞数。
对应如下字段:
{
"nick": "丨那壹刻永遠消失\"\"",
"praisenum": 1,
"rootcommentcontent": "越听越好听怎么回事!",
"time": 1568729836,
}
由于数据量较大 这里我们暂时将数据存放在 Excel 中,一来无须依赖外部数据库,二来可以使用 Excel 对数据进行二次处理。
数据存储代码如下:
def file_do(list_info, file_name):
# 获取文件大小
if not os.path.exists(file_name):
wb = openpyxl.Workbook()
page = wb.active
page.title = 'jay'
page.append(['昵称','时间','点赞数','评论'])
else:
wb = openpyxl.load_workbook(file_name)
page = wb.active
for info in list_info:
try:
page.append(info)
except Exception:
print(info)
wb.save(filename=file_name)
数据可视化
1、各时段的评论数
首先我们对评论按小时区间进行汇总,由于时间粒度比较小,这里对时间粒度进行了一些处理:
评价人数走势图
周董的新曲是在 9.16 号 23 点准时发布的。可以看出在发布后的一个小时内(23:00-24:00)评论数量达到了高峰,占了总评论数的一半以上。
另外看了一眼 9.16 23 点之前的评论也很有意思:
一种搬好小板凳嗑着瓜子坐等的既视感
2、大家都在说什么
词云生成的方法有很多,可以用代码生成,也可以用一些在线工具。这里我就使用了在线词云工具:WordArt,生成效果如下:
词云
周杰伦、杰伦字眼很明显,还有大量跑来『打卡』的:『好听』、『来了』、『哭了』、『爱了』,其中少不了的还有『青春』,另外『阿信』的出现估计给了很多人惊喜。
3、大家都点赞了哪些评论
我们以点赞数对评论进行了排序,排名靠前的评论是如下一些:
评论排名
另外,QQ 音乐官方也会放出精彩评论:
热心网友昀恺丶
凉城
蜗牛..
对比下可以看出和我们获取到的数据是比较一致的,只不过官方并不是按点赞个数进行排名的,看得出来这些排名靠前的大都是在回忆青春。
这些评论之所以能够得到大家的共鸣,也许他们的青春里都有一个周杰伦吧。
留言互动:你的青春里有周杰伦吗?
源码:https://github.com/hoxis/Python/tree/master/python-web-scraping/qqmusic
声明:本文系作者投稿,版权归作者所有。
【END】
Python的前景怎么样?就业薪资高吗?
https://edu.csdn.net/topic/python115?utm_source=csdn_bw
热 文 推 荐
☞
☞
☞
☞
☞
☞
☞
☞
你点的每个“在看”,我都认真当成了喜欢
Python 爬取 20 万条评论,告诉你周杰伦新歌为啥弄崩 QQ 音乐?相关推荐
- python爬取qq音乐周杰伦_Python爬取20万条评论,告诉你周杰伦为啥弄崩QQ音乐?
作者 | 哈哈浩 责编 | 伍杏玲 9 月 16 日晚间,周董在朋友圈发布了最新单曲<说好不哭>. 发布后,真的让一波人哭了,一群想抢鲜听的小伙伴直接泪奔. 因为 QQ 音乐直接被搞崩了! ...
- python爬取3万+条评论,解读猫眼评分9.5的《海王》是否值得一看?
海王 前言 2018年12月7日,本年度最后一部压轴大片<海王>如期上映,目前猫眼评分达到9.5分,靠着1.5亿美金的制作成本,以小博大,目前票房接近9亿,本文爬取了猫眼3w+条评论,多方 ...
- python爬虫网页图片显示不出来_用Python爬取20万条网页美女图片,两只眼睛 都看不过来了!...
前言 最近几天,研究了一下一直很好奇的爬虫算法.这里写一下最近几天的点点心得.下面进入正文: 你可能需要的工作环境: Python 3.6官网下载 本地下载 我们这里以sogou作为爬取的对象. 首先 ...
- 阿凡达时隔十年重映,王者归来还是炒冷饭?Python爬取上千条评论并分析
[CSDN 编者按]<阿凡达>十年后再次重映,果不其然话题量十足,可能这就是神级影片的召唤力吧.在怀旧的氛围中,我们得以重新审阅这部曾经的现象级.划时代的作品. 作者 | 刘早起 ...
- Selenium爬取36万条数据告诉你:网易云音乐热评究竟有什么规律?
网易云音乐火不火我不知道,可是评论很火,之前也见过不少的帖子抓取网易云音乐评论,今天咱们也来试试 这篇文章主要介绍了python selenium爬取网易云音乐热评,文中通过示例代码介绍的非常详细,对 ...
- 这届网友实在是太有才了!用python爬取15万条《我是余欢水》弹幕
年初时我们用数据解读了几部热度高,但评分差强人意的国产剧,而最近正午阳光带着两部新剧来了,<我是余欢水>和<清平乐>,截止到目前为止,这两部剧在豆瓣分别为7.5分和7.9分,算 ...
- Python爬取15万条《我是余欢水》弹幕,看郭京飞如何演活极丧中年人
CDA数据分析师 出品 他来了他来了,正午阳光带着新剧走来了. 年初时我们用数据解读了几部热度高,但评分差强人意的国产剧,而最近正午阳光带着两部新剧来了,<我是余欢水>和<清平乐&g ...
- Python爬取15万条《我是余欢水》弹幕,还原一个丧到极致的中年人生
▼ 更多精彩推荐,请关注我们 ▼ 作者:Mika 数据:真达 后期:泽龙 [导语]:今天我们聊聊热干面,Python技术部分可以直接看第四部分.公众号后台,回复关键字"余欢水" ...
- 小牧用Python 爬取数万条房产数据,揭秘一线城市生存压力有多大
最近各大一二线城市的房租都有上涨,究竟整体上涨到什么程度呢?我们也不得而知,于是乎笔者为了一探究竟,便用 Python 爬取了房某下的深圳租房数据.以下是本次的样本数据: 除去[不限]的数据(因为可能 ...
最新文章
- Context-----Activity,Application之间的交流使者
- 五连阳回调买入法_短线高手总结的强势股回调买入法,散户需牢记
- 如何把一个程序中 Edit 中的文本赋给另一个程序的 Edit ? - 回复 Disk_ 的问题
- Linux创建逻辑卷
- Highcharts custom renderer chart and tooltip
- ruby+selenium-webdriver一步一步完成自动化测试(6)—-生成测试报告
- petalinux设计流程
- VOA ECONOMICS REPORT - Nearly Half of US Jobs Now Held by Women
- 【BZOJ5336】[TJOI2018]party(动态规划)
- 宏先生说:口罩和额温枪的套路!
- 【Vue工程】001-Vite 创建 Vue-TypeScript 项目
- 存储公司芯天下IPO上市申请获受理---义嘉泰骄傲的合作伙伴
- VMware+CentOS7搭建私有云桌面服务
- 倍福PLC的Modbus-TCP Server入门教程
- 关于线性代数:方程组同解
- linux清理日志 hack,Linux系统的LOG日志文件及入侵后日志的清除
- php7.3新特性汇总
- python爬虫下载小说_用PYTHON爬虫简单爬取网络小说
- thinkph5 如何使用redis缓冲
- 基于 solidworks2021 的三维仿真模型转 ros URDF
热门文章
- ASP.NET页生命周期介绍:阶段,事件及其他
- 《TensorFlow 2.0深度学习算法实战教材》学习笔记(五、神经网络)
- [动态规划] leetcode 10 正则表达式匹配
- [译]R语言——Shiny框架之构建(一):1.结构——1.独立应用程序——1.应用的格式和启动
- python中的class类使用方法[探索3]
- 剑指Offer值和为S的两个数字
- flask(五) cookie 和session
- 2021年中国中级订单选择器(3至8+m)市场趋势报告、技术动态创新及2027年市场预测
- 《Python游戏趣味编程》标准IDE运行游戏代码的配置方法
- 为什么买入不了创业版_趋势波段买卖创业板ETF指数基金能轻松保险盈利