网易云音乐用户信息爬取以及可视化

选的课程方向是爬取网易云音乐某首歌曲的用户评论内容和评论时间，观察每天哪个时间段的评论信息最多，每周哪天的评论信息最多。然后分析该歌曲的用户性别分布和年龄分布。所以首先需要通过爬虫来爬取评论信息和用户信息，然后通过可视化方法来统计该信息。

由于网易云音乐有官方的API接口，所以获取用户信息这一步就变得简单。另外可视化部分，通过pyecharts工具进行可视化操作。
网易云官方API
网易云官方API接口
pyecharts文档
pycharts中文文档

首先爬取用户信息：

    url = 'https://music.163.com/api/v1/resource/comments/R_SO_4_' + str(songid) + '?csrf_token='data = {'params': params, 'encSecKey': encSecKey}

https://music.163.com/api/v1/resource/comments/R_SO_4_
上面这部分是官方接口的基础URL，由于网易云评论是Ajax类型，所以我们去评论的界面右击检查，单击R_SO_4_’ + str(songid) + '?csrf_token=这个包，发现表单数据为

由此可知，当我们对网易云评论界面发起请求时，需要加入这部分的表单数据。对于params和encSecKey的生成来源以及构造方法，参考：
添加链接描述

通过构造URL之后，便可对其发起请求，得到json格式数据。
第一页的json格式如下：

第一页，所需要的键主要包括comments和hotcomments分别对应评论以及热门评论，除此之外我们需要获取total这个键来得知所要爬取的页数。
comments键中包括每个用户的评论信息，我们这里需要的主要是用户名成，用户内容和用户ID，分别对应这nickname，content和userId。

通过爬取，我们将得到的信息保存到xls或者csv文件中，亦或者保存到数据库当中，这里就简单使用了xlwt库来保存数据。

这里的评论时间还没有处理，暂时是通过时间戳来保存的。得到评论信息之后，通过pyecharts来可视化数据。

input={"id":id,"time":pro_times}//id为编号，pro_times为处理后的时间戳
df=pd.DataFrame(input)//转化为dataframe格式
df["time"]=pd.to_datetime(df['time'],unit="s")//将时间戳转化为具体时间
df["day"]=df['time'].dt.date//将时间规整为以天为单位
curve_day=df["id"].groupby(df["day"]).count()//统计分布line=Line("评论时间(按天)分布")
line.use_theme('dark')
line.add("",curve_day.index.values,//时间curve_day.values,//该时间对应的评论数is_fill=True,
)
line.render(r"以天为单位的评论时间分布曲线.html")

由此可以得到评论数随日期的变化：（以小时为单位同理）

爬取完用户信息之后我们需要通过之前爬取的用户ID来继续爬取用户信息，包括评论用户的性别，年龄等。

url="https://music.163.com/api/v1/user/detail/"+str(user_id)

以上为爬取用户信息的基础URL
通过爬虫得到的json数据如下：

由于json数据比较多，这里只截取了了所需的一部分，其中包括gender,birthday和city。city这部分是通过城市编码的形式来表示的，所以需要搞清楚对应的城市。

url='http://www.mca.gov.cn/article/sj/xzqh/2018/201804-12/20180810101641.html'

通过对上面的url进行爬取，得到了对应的城市编码

然后匹配了对应的城市，最终将用户的统计信息保存到xls或者csv文件。

得到用户信息之后，继续通过pyecharts来进行可视化工作。
通过使用pyecharts自带的geo，生成了热力图

配色因为是冬天就搞了个寒冰色，配色啥的真的头痛。附带RGB。
RGB编码
最后是年龄分布和性别比例：

网易云音乐用户信息爬取以及可视化相关推荐

Python网易云音乐单曲爬取
Python网易云音乐单曲爬取代码: import requests import osdef develop(path,url):song_url = urlsong_id = song_url[ ...
Python-Selenium爬虫之网易云音乐歌曲歌词爬取并保存到本地（详解分析+代码实现）
文章目录一.项目介绍二.所需技术三.网页分析 3.1 分析一级页面响应内容 3.2 分析二级页面响应内容 3.3 分析三级页面响应内容 3.4 分析四级页面响应内容四.分析小结五.代码实现 ...
网易云音乐评论爬虫:爬取全部热门歌曲及其对应的id号(附全部代码)
今天我给大家介绍一下用Python爬取网易云音乐全部歌手的热门歌曲. 由于歌手个人主页的网页源代码中还嵌入了一个子网页(框架源代码里面包含了我们需要的信息),因此我们不能使用requests库来爬取, ...
java爬取网易云歌单_GitHub - th720309/163music_spider: 网易云音乐歌单爬取
今天花了一点时间抓取了网易云音乐的热门民谣歌单,共1500热门民谣歌单,后续有时间会爬取其他分类. 下面记录一下java爬取过程.见下: 爬虫过程 1.首先抓取各个歌单的url与标题 public s ...
网易云歌单信息爬取及数据分析（1）爬虫部分
爬虫思路: 网页分为两个部分,歌单广场和歌单详情页.总体思路是先从歌单广场获取所有的URL然后去详情页进行解析. 最后的数据大概这个样子: 歌单广场: 在广场中需要实现获取所有歌单详情页的URL链接. ...
python爬取网易云音乐热评,爬取网易云音乐热评［附上音乐下载］
[Python] 纯文本查看复制代码import requests import time,os from bs4 import BeautifulSoup class Music_down: de ...
利用Python爬取基于AES对称加密算法的网易云音乐用户评论数据
本文利用Python2.7根据网易云音乐歌曲ID爬取了该歌曲的所有用户评论数据.以id是28875120的歌曲<小岁月太着急>为示例,通过Chrome的DevTools工具获取已加密评论数 ...
网易云音乐歌手歌曲、用户评论、用户信息爬取
这里以邓紫棋歌手为例,可以去网易云音乐看她的主页: 所有完整的代码在楼主的github:https://github.com/duchp/python-all/tree/master/web-craw ...
Python爬虫之网易云歌单音频爬取（解决urlretrieve爬取文件不能播放问题）
网易云歌单音频爬取写在前面:最近学习爬虫,对小说和图片都进行过简单爬取,所以打算爬取音频,但是其中遇到点问题也解决了,写下博客记录并希望对大家也有帮助. 爬取对象:对于目前主流的几个音频播放网站,我 ...

网易云音乐用户信息爬取以及可视化

网易云音乐用户信息爬取以及可视化相关推荐

最新文章

热门文章