44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?
有个段子讲“十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗”,网易云音乐的评论区也一直都是各类文案大神的聚集地。
那么我们普通用户到底如何成为网易云音乐评论里的热评段子手?
让我来分析一下。
获取数据
其实逻辑并不复杂:
爬取歌单列表里的所有歌单url。
进入每篇歌单爬取所有歌曲url,去重。
进入每首歌曲首页爬取热评,汇总。
歌单列表是这样的: 翻页并观察它的url变化,注意下方动图,每次翻页末尾变化35。
采用requests+pyquery来爬取。
def get_list():list1 = []for i in range(0,1295,35):url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i)print('已成功采集%i页歌单\n' %(i/35+1))data = []html = restaurant(url)doc = pq(html)for i in range(1,36): # 一页35个歌单a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href')a1 = 'https://music.163.com/api' + a.replace('?','/detail?')data.append(a1)list1.extend(data)time.sleep(5+random.random())return list1
这样我们就可以获得38页每页35篇歌单,共1300+篇歌单。
下面我们需要进入每篇歌单爬取所有歌曲url,并且要注意最后“去重”,不同歌单可能包含同一首歌曲。
点开一篇歌单,注意红色圈出的id。
观察一下,我们要在每篇歌单下方获取的信息也就是红框圈出的这些,利用刚刚爬取到的歌单id和网易云音乐的api(下一篇文章细讲)可以构造出:
不方便看的话我们解析一下json。
def get_playlist(url):data = []doc = get_json(url)obj=json.loads(doc)jobs=obj['result']['tracks']for job in jobs:dic = {}dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名称dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲IDdata.append(dic)return data
这样我们就获取了所有歌单下的歌曲,记得去重。
#去重
data = data.drop_duplicates(subset=None, keep='first', inplace=True)
剩下就是获取每首歌曲的热评了,与前面获取歌曲类似,也是根据api构造,很容易就找到了。
def get_comments(url,k):data = []doc = get_json(url)obj=json.loads(doc)jobs=obj['hotComments']for job in jobs:dic = {}dic['content']=jsonpath.jsonpath(job,'$..content')[0] dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0])dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用户IDdic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0] dic['name']= kdata.append(dic)return data
汇总后就获得了44万条音乐热评数据。
数据分析
清洗填充一下。
def data_cleaning(data):cols = data.columnsfor col in cols:if data[col].dtype == 'object':data[col].fillna('缺失数据', inplace = True)else:data[col].fillna(0, inplace = True)return(data)
按照点赞数排个序。
#排序
df1['likedCount'] = df1['likedCount'].astype('int')
df_2 = df1.sort_values(by="likedCount",ascending=False)
df_2.head()
再看看哪些热评是被复制粘贴搬来搬去的。
#排序
df_line = df.groupby(['content']).count().reset_index().sort_values(by="name",ascending=False)
df_line.head()
第一个和第三个只是末尾有没有句号的区别,可以归为一类。这样的话,重复次数最多个这句话竟然重复了412次,额~~
看看上热评次数次数最多的是哪位大神?从他的身上我们能学到什么经验?
df_user = df.groupby(['userId']).count().reset_index().sort_values(by="name",ascending=False)
df_user.head()
按照 user_id 汇总一下,排序。
成功“捕获”一枚“段子手”,上热评次数高达347,我们再看看这位大神究竟都评论些什么?
df_user_max = df.loc[(df['userId'] == 101***770)]
df_user_max.head()
这位“失眠的陈先生”看来各种情话娴熟于手啊,下面就以他举例来看看如何成为网易云音乐评论里的热评段子手吧。
数据可视化
先看看这347条评论的赞数分布。
#赞数分布图
import matplotlib.pyplot as plt
data = df_user_max['likedCount']
#data.to_csv("df_user_max.csv", index_label="index_label",encoding='utf-8-sig')
plt.hist(data,100,normed=True,facecolor='g',alpha=0.9)
plt.show()
很明显,赞数并不多,大部分都在500赞之内,几百赞却能跻身热评,这也侧面说明了这些歌曲是比较小众的,看来是经常在新歌区广撒网。
我们使用len() 求出每条评论的字符串长度,再画个分布图
评论的字数集中在18—30字之间,这说明在留言时要注意字数,保险的做法是不要太长让人读不下去,也不要太短以免不够经典。
做个词云。
可以看出他的评论风格是以一首歌使他“想起”“感觉”为开头,宾语通常是“喜欢的女孩子”,也经常用"她”来指代。寄托的情感是“后悔”“悲伤”,感慨的终点是“放下”。
44万条数据能分析的当然不止这些,详情请移步。
也许我们可以通过分析规律收获点赞,成为热评网红段子手。但最终能打动人心的,依然是基于歌曲本身的真诚分享,和点出歌中蕴含的真正共鸣。
本文相关代码:
#下载链接
https://t.zsxq.com/F6UfUbA
44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?相关推荐
- 第六十七期:Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手
获取数据,其实逻辑并不复杂:爬取歌单列表里的所有歌单url.进入每篇歌单爬取所有歌曲url,去重.进入每首歌曲首页爬取热评,汇总. 作者:嗨学python来源:今日头条 获取数据 其实逻辑并不复杂: ...
- 44 万条数据揭秘:如何成为网易云音乐评论区的网红段子手?
作者 | 朱小五 责编 | 伍杏玲 有个段子讲"十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗",网易云音乐的评论区也一直都是各类文案大神的聚集地. 那么我们普通用 ...
- python爬虫网易云音乐评论最多的歌_Python爬虫44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?...
获取数据 其实逻辑并不复杂: 1.爬取歌单列表里的所有歌单url. 2.进入每篇歌单爬取所有歌曲url,去重. 3.进入每首歌曲首页爬取热评,汇总. 歌单列表是这样的: 翻页并观察它的url变化,注意 ...
- python的歌曲评论数据分析_用Python分析44万条数据,揭秘如何成为网易云音乐评论区的网红段子手...
有个段子讲"十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗",网易云音乐的评论区也一直都是各类文案大神的聚集地. 那么我们普通用户到底如何成为网易云音乐评论里的热评 ...
- 网易云音乐评论 可视化分析
之前已经用python获取了网易云音乐的评论数据,下一步的工作就是数据分析了.一般数据分析无非是采用(统计)数字.图或者表的形式来展现数据之中隐含的信息.其中图和表显然是最直观的了.所以这里我使用可视 ...
- 网易云音乐评论爬取。
欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答.求职一站式搞定! 对商业智能BI.大数据分析挖掘.机器学习,python,R等数据领域感兴趣的同学 ...
- 解密网易云音乐评论js加密参数,实现分词处理制作词云图
前言: 很多人都说网易云音乐的一条评论是一个故事, 细细一看的话, 你会发现有些评论确实很真, 很性情. 抓取网易云音乐评论主要涉及了参数的加密问题,这篇博客主要是剖析一下如何进行参数的加密以及解密剖 ...
- python爬取网易云音乐_Python 从零开始爬虫(七)——实战:网易云音乐评论爬取(附加密算法)...
前言 某宝评论区已经成功爬取了,jd的也是差不多的方法,说实话也没什么好玩的,我是看上它们分析简单,又没加密才拿来试手的.如果真的要看些有趣的评论的话,我会选择网易云音乐,里面汇聚了哲学家,小说家,s ...
- golang+es 爬取网易云音乐评论
目的和准备 目的: 为了知道自己歌单中每首歌的评论,然后通过歌曲id来检索这首歌的所有评论,并且想熟悉运用golang中的channel以及整个爬虫架构 准备: 语言:golang 编辑器: gola ...
- golang+es爬取网易云音乐评论
目的和准备 目的: 为了知道自己歌单中每首歌的评论,然后通过歌曲id来检索这首歌的所有评论,并且想熟悉运用golang中的channel以及整个爬虫架构 准备: 语言:golang 编辑器: gola ...
最新文章
- 通过regedt查看计算机密码,win10系统通过注册表设置定时更换密码提醒的处理步骤...
- centos 6.8 64B mini origin vm file
- 一款N-沟道耗尽型JFET晶体管 MPF102
- 陈老师Linux内核内存寻址导学
- Golang项目部署
- 修改pip的源repository
- 51nod 1851 俄罗斯方块(思维题)
- 打开文件对话框在xp和win7上的实现文件任意多选
- yolo v3 pytorch版本(转载)
- webstorm的 快捷键(Keymap)
- HOG+ADABOOST方式训练头肩检测模型
- qt4.8.7 2016年4月18日 error reading collection file qthelpcollection cannot load sql
- Mybatis执行流程、缓存原理以及相关面试题
- VIO综述论文:A review of visual inertial odometry from filtering and optimisation perspectives
- 3种高效的Tags标签系统数据库设计方案分享
- 俞敏洪 :阻碍你成长的,其实是你自己
- 服务器自定义防火墙,windows服务器防火墙设置自定义规则
- python完全平方数判断,Python3 完全平方数案例
- MovieClip.setMask()
- 【愚公系列】2022年01月 MinIO文件存储服务器-对象操作(Python版)
热门文章
- yapi 权限_YApi内部部署文档
- 服务器集群虚拟化区别,服务器集群与虚拟化
- VS2019使用Mini-Filter
- 前端打开.chm文件
- MP3编码之shine压缩异常解决
- Eclipse中导入项目前有红叉提示但是项目内容不报错解决办法
- 【FXCG】美国加息缩表在即,人民币仍创新高
- 虹科新品 | 需要进行高功率,大规模的测试控制?这款5A功率高密度继电器模块你一定不能错过!
- All the python knowledge that I come across
- 计算机专硕毕业论文写什么,关于学姐写硕士毕业论文的一些经验,分享给大家...