使用Python分析网易云歌曲评论信息,我发现了这些有趣的规律
前几天有个学生娃子找我帮忙做点可视化的作业,作业内容包括采集网易云音乐热评评论内容,数据量1W作业足够,然后就是做点数据分析相关的工作即可。这份大作业里边有网络爬虫,有数据分析和数据处理,还有可视化,算是一个大实验了,还需要上交实验报告。这里拿出来部分知识点,给大家分享。
首先是数据来源,来自网易云音乐热评,代码这里就不放出来了,调用了API获取的,抓取难度就少了许多,这里不在赘述了。
下面的代码主要是评论时间分布,主要是针对时间列做了数据处理,常规操作,你也对照的去以日期和月份去挖掘下有意思的事情。
import pandas as pdfrom pyecharts import Line# 读取数据df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')# 根据评论ID去重df = df.drop_duplicates('commentid')df = df.dropna# 获取时间df['time'] = [int(i.split(' ')[1].split(':')[0]) for i in df['date']]# 分组汇总date_message = df.groupby(['time'])date_com = date_message['time'].agg(['count'])date_com.reset_index(inplace=True)# 绘制走势图attr = date_com['time']v1 = date_com['count']line = Line("歌曲被爆抄袭后-评论的时间分布", title_pos='center', title_top='18', width=800, height=400)line.add("", attr, v1, is_smooth=True, is_fill=True, area_color="#000", is_xaxislabel_align=True, xaxis_min="dataMin", area_opacity=0.3, mark_point=["max"], mark_point_symbol="pin", mark_point_symbolsize=55)line.render("歌曲被爆抄袭后-评论的时间分布.html")
运行之后,得到的效果图如下所示:
可以看到评论的小伙伴喜欢在下午临近下班和晚上的时候进行评论。
代码和上面差不多,只需要更改下数据即可。
import pandas as pd# 读取数据df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')# 根据评论ID去重df = df.drop_duplicates('commentid')df = df.dropna# 分组汇总user_message = df.groupby(['userid'])user_com = user_message['userid'].agg(['count'])user_com.reset_index(inplace=True)user_com_last = user_com.sort_values('count', ascending=False)[0:10]print(user_com_last)
运行之后,得到的结果如下所示:
可以看到有忠粉,狂粉,评论数据上百,恐怖如斯。
词云这个老生常谈了,经常做,直接套用模板,改下底图即可,代码如下:
from wordcloud import WordCloudimport matplotlib.pyplot as pltimport pandas as pdimport randomimport jieba# 设置文本随机颜色def random_color_func(word=None, font_size=None, position=None, orientation=None, font_path=None, random_state=None):h, s, l = random.choice([(188, 72, 53), (253, 63, 56), (12, 78, 69)])return "hsl({}, {}%, {}%)".format(h, s, l)# 读取信息df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')# 根据评论ID去重df = df.drop_duplicates('commentid')df = df.dropnawords = pd.read_csv('chineseStopWords.txt', encoding='gbk', sep='\t', names=['stopword'])# 分词text = ''for line in df['comment']:text += ' '.join(jieba.cut(str(line), cut_all=False))# 停用词stopwords = set('')stopwords.update(words['stopword'])backgroud_Image = plt.imread('music.jpg')wc = WordCloud(background_color='white',mask=backgroud_Image,font_path='FZSTK.TTF',max_words=2000,max_font_size=250,min_font_size=15,color_func=random_color_func,prefer_horizontal=1,random_state=50,stopwords=stopwords)wc.generate_from_text(text)# img_colors = ImageColorGenerator(backgroud_Image)# 看看词频高的有哪些process_word = WordCloud.process_text(wc, text)sort = sorted(process_word.items, key=lambda e: e[1], reverse=True)print(sort[:50])plt.imshow(wc)plt.axis('off')wc.to_file("网易云音乐评论词云.jpg")print('生成词云成功!')
最后生成的词云图如下所示:
代码和上面差不多,只需要更改下数据即可,这里直接放效果图了,如下图所示:
感觉还是年轻的粉丝居多啊!
这个代码稍微复杂一些了,毕竟涉及到地图,代码如下:
import pandas as pdfrom pyecharts import Mapdef city_group(cityCode):"""城市编码"""city_map = {'11': '北京','12': '天津','31': '上海','50': '重庆','5e': '重庆','81': '香港','82': '澳门','13': '河北','14': '山西','15': '内蒙古','21': '辽宁','22': '吉林','23': '黑龙江','32': '江苏','33': '浙江','34': '安徽','35': '福建','36': '江西','37': '山东','41': '河南','42': '湖北','43': '湖南','44': '广东','45': '广西','46': '海南','51': '四川','52': '贵州','53': '云南','54': '西藏','61': '陕西','62': '甘肃','63': '青海','64': '宁夏','65': '新疆','71': '台湾','10': '其他',}cityCode = str(cityCode)return city_map[cityCode[:2]]# 读取数据df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')# 根据评论ID去重df = df.drop_duplicates('commentid')df = df.dropna# 进行省份匹配df['location'] = df['city'].apply(city_group)# 分组汇总loc_message = df.groupby(['location'])loc_com = loc_message['location'].agg(['count'])loc_com.reset_index(inplace=True)# 绘制地图value = [i for i in loc_com['count']]attr = [i for i in loc_com['location']]print(value)print(attr)map = Map("歌曲被爆抄袭后评论用户的地区分布图", title_pos='center', title_top=0)map.add("", attr, value, maptype="china", is_visualmap=True, visual_text_color="#000", is_map_symbol_show=False, visual_range=[0, 60])map.render('歌曲被爆抄袭后评论用户的地区分布图.html')
最后得到的效果图如下所示:
可以看到四川、广东省的评论数量居多。
代码和上面的差不多,这里不再赘述,直接上效果图了。
可以看到女粉丝占据了大头。
关于Python技术储备
使用Python分析网易云歌曲评论信息,我发现了这些有趣的规律相关推荐
- 使用Python分析网易云歌曲评论信息,通过可视化处理我发现了这些有趣的规律
数据来源 首先是数据来源,来自网易云音乐热评,代码这里就不放出来了,调用了API获取的,抓取难度就少了许多,这里不在赘述了. 分析过程 时间处理 下面的代码主要是评论时间分布,主要是针对时间列做了数据 ...
- 分析网易云歌曲评论分析加密的JS并且解密,并使用Python抓取歌曲评论
转载自分析网易云歌曲评论分析加密的JS并且解密,并使用Python抓取歌曲评论 - 『编程语言区』 - 吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn 原文无法显 ...
- #yyds这些技巧盘点#使用Python分析网易云歌曲信息,通过可视化处理我发现了有趣的规律评论
前言 前几天的同学娃子找我帮忙做点音乐化的作业,作业内容收集网,数据量1W作业评,然后做点数据分析相关的工作.轻松云大作业里有网络虫,还有化解,找一个大的实验了,还需要上交实验报告.这里有作业,有部分 ...
- python可视化分析网易云音乐评论_Python数据可视化:网易云音乐歌单
通过Python对网易云音乐华语歌单数据的获取,对华语歌单数据进行可视化分析. 可视化库不采用pyecharts,来点新东西. 使用matplotlib可视化库,利用这个底层库来进行可视化展示. 推荐 ...
- python爬虫网易云音乐评论最多的歌_Python爬虫44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?...
获取数据 其实逻辑并不复杂: 1.爬取歌单列表里的所有歌单url. 2.进入每篇歌单爬取所有歌曲url,去重. 3.进入每首歌曲首页爬取热评,汇总. 歌单列表是这样的: 翻页并观察它的url变化,注意 ...
- Python爬取网易云歌曲评论,做词云分析
前言 emmmm 没什么说的,想说的都在代码里 环境使用 Python 3.8 解释器 3.10 Pycharm 2021.2 专业版 selenium 3.141.0 本次要用到selenium模块 ...
- python可视化分析网易云音乐评论_网易云音乐热门评论api分析
网上有现成的例子我就扒过来了!! title: 网易云评论api分析 date: 2018-12-24 20:54:46 tags: [python] 网易云音乐是个好地方,里面各个都是人才,特别是评 ...
- python爬虫网易云音乐评论最多的歌_Python网易云音乐评论爬虫,歌曲的全部评论...
用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是接近百万或者是超过百万条.现在我就来分享一下如何爬取网易云音乐歌曲的全部评论,由于网易云音乐的评论都做了混淆加密处 ...
- python可视化分析网易云音乐评论_网易云音乐评论催泪刷屏?我用Python抓取了1008328条热评告诉你为什么!...
文/程天 版面/胡曼君 镝摘 如果再过20年,你还会记得那些年上过的网易云热评吗? 看了那么多的网易云热评,技术思维作祟,我终于也忍不住写个爬虫,用Python通过对1008328条网易云音乐热评的抓 ...
最新文章
- restclient发送json_怎么使用restclient来发送post请求参数
- 《盗墓笔记》使用的这套技术,让美术可以在场景中任意使用灯光
- JavaScript动态设置table的高度
- 为什么直接ping知乎的ip不能访问知乎的网站,而百度就可以?
- Linux 下 Mysql 区分大小写
- 易到负责人喊话:没钱!易到用车深陷欠薪危机 司机围堵总部讨说法无果
- tomcat虚拟子目录设置
- hadoop10---消息队列
- 【NOIP1999】【Luogu1020】导弹拦截
- 条款2.	最好使用C++转型操作符
- linux下configure命令详细介绍[转]
- vue动态改变css样式
- Hadoop权威指南(第三版)笔记——MapReduce
- GhostXP_SP3 PCOS技术快速装机版 5.7(优化细节 力争完美)
- 面试被问到项目架构怎么说呢?
- 爬虫--初体验(获取二级网站)
- 从PLC ,PAC ,到施耐德的自动化开放系统
- android动态化ui框架,简单实用的Android UI微博动态点赞效果
- 网络营销中词条推广的价值和注意事项
- 责任链模式-C++实现