作者 | 哈哈浩

责编 | 伍杏玲

9 月 16 日晚间,周董在朋友圈发布了最新单曲《说好不哭》。

发布后,真的让一波人哭了,一群想抢鲜听的小伙伴直接泪奔。

因为 QQ 音乐直接被搞崩了!

没想到干翻 QQ 音乐的不是网易云音乐,也不是虾米音乐,而是周董!

周董成成功地凭一己之力干翻了 QQ 音乐!

那么听过周董新歌后的小伙伴都是怎么评价的呢?

这里,我们获取了 QQ 音乐的近 20W 条评论数据进行分析,看看其中有哪些有趣的东西?

数据获取

1、请求分析

在 QQ 网页版直接搜索『说好不哭』,很容易就能找到单曲页面:

说好不哭

拉到页面最下方,可以看到评论的分页查看按钮:

分页查看

按下 F12 点击第二页,在请求流中就可以看到对应的请求:

评论请求

其中可以看到两个重要参数:pagenum 和 pagesize。

将请求 copy 到 Postman 中进行测试:

Postman测试

发现可以直接获取到数据,连 Header 都不需要添加。这里尝试对请求参数进行了精简,最终只需要如下几个参数即可:

参数精简

从 Postman 中可以直接获取到对应的代码:

import requests

url ="https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg"

querystring = {"biztype":"1","topid":"237773700","cmd":"8","pagenum":"1","pagesize":"25"}

response = requests.request("GET", url, params=querystring)

print(response.text)

这里是单页评论的获取,所有评论的获取只需递增 pagenum 即可。

2、数据解析

返回数据中有很多暂时不需要的字段,这里我们只取其中的用户名、评论时间、评论内容、点赞数。

对应如下字段:

{

"nick":"丨那壹刻永遠消失\"\"",

"praisenum":1,

"rootcommentcontent":"越听越好听怎么回事!",

"time":1568729836,

}

由于数据量较大 这里我们暂时将数据存放在 Excel 中,一来无须依赖外部数据库,二来可以使用 Excel 对数据进行二次处理。

数据存储代码如下:

deffile_do(list_info, file_name):

# 获取文件大小

ifnotos.path.exists(file_name):

wb = openpyxl.Workbook()

page = wb.active

page.title ='jay'

page.append(['昵称','时间','点赞数','评论'])

else:

wb = openpyxl.load_workbook(file_name)

page = wb.active

forinfoinlist_info:

try:

page.append(info)

exceptException:

print(info)

wb.save(filename=file_name)

数据可视化

1、各时段的评论数

首先我们对评论按小时区间进行汇总,由于时间粒度比较小,这里对时间粒度进行了一些处理:

评价人数走势图

周董的新曲是在 9.16 号 23 点准时发布的。可以看出在发布后的一个小时内(23:00-24:00)评论数量达到了高峰,占了总评论数的一半以上。

另外看了一眼 9.16 23 点之前的评论也很有意思:

一种搬好小板凳嗑着瓜子坐等的既视感

2、大家都在说什么

词云生成的方法有很多,可以用代码生成,也可以用一些在线工具。这里我就使用了在线词云工具:WordArt,生成效果如下:

词云

周杰伦、杰伦字眼很明显,还有大量跑来『打卡』的:『好听』、『来了』、『哭了』、『爱了』,其中少不了的还有『青春』,另外『阿信』的出现估计给了很多人惊喜。

3、大家都点赞了哪些评论

我们以点赞数对评论进行了排序,排名靠前的评论是如下一些:

评论排名

另外,QQ 音乐官方也会放出精彩评论:

热心网友昀恺丶

凉城

蜗牛..

对比下可以看出和我们获取到的数据是比较一致的,只不过官方并不是按点赞个数进行排名的,看得出来这些排名靠前的大都是在回忆青春。

这些评论之所以能够得到大家的共鸣,也许他们的青春里都有一个周杰伦吧。

留言互动:你的青春里有周杰伦吗?

源码:https://github.com/hoxis/Python/tree/master/python-web-scraping/qqmusic

声明:本文系作者投稿,版权归作者所有。

【END】

热 文推 荐

你点的每个“在看”,我都认真当成了喜欢

python爬取qq音乐周杰伦_Python爬取20万条评论,告诉你周杰伦为啥弄崩QQ音乐?相关推荐

  1. python弹幕拼脸_利用python爬取分析《隐秘的角落》20万+条弹幕,发现了这些..

    图片源自网路 要说近期最火的国产剧,非<隐秘的角落>不可.该剧改编自紫金陈的推理小说<坏小孩>,讲述了沿海小城的三个孩子在景区游玩时,无意拍摄记录了一次谋杀,他们的冒险也由此展 ...

  2. Python 网络爬虫实战:爬取 B站《全职高手》20万条评论数据

    本周我们的目标是:B站(哔哩哔哩弹幕网 https://www.bilibili.com )视频评论数据. 我们都知道,B站有很多号称"镇站之宝"的视频,拥有着数量极其恐怖的评论和 ...

  3. 讲python讲得好的评价_分析20万条弹幕告诉你,8.9分的高分剧《隐秘的角落》到底好看在哪儿?...

    CDA数据分析师 出品作者:Mika 数据:真达 后期:泽龙 Show me data,用数据说话 今天我们聊一聊 <隐秘的角落> 点击下方视频,先睹为快: 最近这部<隐秘的角落&g ...

  4. Python 爬取 20 万条评论,告诉你周杰伦新歌为啥弄崩 QQ 音乐?

    作者 | 哈哈浩 责编 | 伍杏玲 9 月 16 日晚间,周董在朋友圈发布了最新单曲<说好不哭>. 发布后,真的让一波人哭了,一群想抢鲜听的小伙伴直接泪奔. 因为 QQ 音乐直接被搞崩了! ...

  5. 用Python爬取陈奕迅新歌《我们》10万条评论的新发现

    编程狗编程大牛技术分享平台 最近就有一部"怀旧"题材的电影,未播先火,那就是刘若英的处女作--<后来的我们>.青春,爱情,梦想,一直是"怀旧"题材的 ...

  6. 爬取京东一万条评论-python

    要求: 1 万条以上的京东手机评论爬取(爬取内容为评论 +score) 浏览器部分 为了一次爬取评论更多的手机所以在选取url的时候优先筛选相应品牌评论更多的款,以我爬取的vivo品牌为例: 1.筛选 ...

  7. 爬取网易云音乐两万条评论储存在MySQL服务器上

    爬取网易云音乐两万条评论储存在MySQL服务器上 最近在公司实习,无聊时看看别人的博客,发现平时学习写写博客是一个很好的学习方法,报平时一些自己写的代码保存下来,遇到的错误踩到的坑也拿出来分享也可也帮 ...

  8. Selenium爬取36万条数据告诉你:网易云音乐热评究竟有什么规律?

    网易云音乐火不火我不知道,可是评论很火,之前也见过不少的帖子抓取网易云音乐评论,今天咱们也来试试 这篇文章主要介绍了python selenium爬取网易云音乐热评,文中通过示例代码介绍的非常详细,对 ...

  9. 你们要的代码来了!爬了菊姐的两万条评论——详细代码解读篇

    点击上方"程序人生",选择"置顶公众号" 第一时间关注程序猿(媛)身边的故事 作者 张俊红 如需转载,请联系原作者授权. 前言 上一篇文章爬了菊姐的两万条评论, ...

最新文章

  1. 数字图像处理:(4)二阶微分在数字图像处理中的应用
  2. uniapp添加顶部导航栏并且更换图标
  3. java jpa @joincolumn 字段不为空_拥抱开源从表设计到 JPA 实现
  4. Java Scanner next()方法与示例
  5. vc2010 mysql5.7_VC2010利用MySQL++访问mysql. 及连接池示例
  6. 蚂蚁集团官宣启动上市计划,上交所、港交所表示热烈欢迎...
  7. 软件测试与质量保证习题
  8. 云服务器内存占用多少,腾讯云云服务器CPU或内存占用过高怎么办?
  9. 手机b站封面提取网站_手机b站封面自定义图片大全及获取bilibili视频封面提取网站网址...
  10. 手机号码归属地查询API
  11. GNOME Evince开源项目作者Marco因癌症离世
  12. 给在读研究生+未来要读研同学们的一封受益匪浅的信
  13. Mongodb相比MYSQL的7大优点
  14. 【看表情包学Linux】进程创建 | 进程终止 | 分叉函数 fork | 写时拷贝 | 内核数据结构缓冲池 | slab 分派器
  15. LeetCode数据库题目1-123
  16. 皮尔松相关分析_皮尔西斯符号学与生物学认知
  17. 红米路由器ac2100怎样设置ipv6_红米(Redmi)路由器AC2100手机怎么设置? | 192路由网...
  18. 用.bat文件打开程序
  19. AJAX 和 JSON学习笔记
  20. 2022中国健康展,睡眠健康,生活健康展,药食同源,大健康展

热门文章

  1. python os open_Python中的Oserror:无法打开资源,之,OSErrorcannotopenresource
  2. 神经网络的分类等位面
  3. 扫描到服务器的文件在哪个文件夹,云服务器的文件在哪个文件夹
  4. 【Paper】2020_Event-Triggered Time-Varying Formation Control for Discrete-Time Multi-Agent Systems wit
  5. 【控制】传递函数拉氏变化如何与时间域结合使用举例
  6. 人工智能成2020热搜专业,少儿编程未来可期!
  7. 使用Python增加csdn的访问量
  8. centos7 无法启动网络(service network restart)错误解决办法
  9. 善用rel=’canonical’,权重更集中(转)
  10. Django部署前准备