python爬虫网易云音乐评论最多的歌_Python爬虫44万条数据揭秘：如何成为网易云音乐评论区的网红段子手？...
获取数据
其实逻辑并不复杂：
1.爬取歌单列表里的所有歌单url。
2.进入每篇歌单爬取所有歌曲url，去重。
3.进入每首歌曲首页爬取热评，汇总。
歌单列表是这样的：
翻页并观察它的url变化，注意下方动图，每次翻页末尾变化35。
采用requests+pyquery来爬取
def get_list():
list1 = []
for i in range(0,1295,35):
url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i)
print('已成功采集%i页歌单\n' %(i/35+1))
data = []
html = restaurant(url)
doc = pq(html)
for i in range(1,36): # 一页35个歌单
a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href')
a1 = 'https://music.163.com/api' + a.replace('?','/detail?')
data.append(a1)
list1.extend(data)
time.sleep(5+random.random())
return list1
这样我们就可以获得38页每页35篇歌单，共1300+篇歌单。
下面我们需要进入每篇歌单爬取所有歌曲url，并且要注意最后“去重”，不同歌单可能包含同一首歌曲。
点开一篇歌单，注意红色圈出的id。
观察一下，我们要在每篇歌单下方获取的信息也就是红框圈出的这些，利用刚刚爬取到的歌单id和网易云音乐的api可以构造出：
不方便看的话我们解析一下json。
def get_playlist(url):
data = []
doc = get_json(url)
obj=json.loads(doc)
jobs=obj['result']['tracks']
for job in jobs:
dic = {}
dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名称
dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID
data.append(dic)
return data
这样我们就获取了所有歌单下的歌曲，记得去重。
#去重
data = data.drop_duplicates(subset=None, keep='first', inplace=True)
剩下就是获取每首歌曲的热评了，与前面获取歌曲类似，也是根据api构造，很容易就找到了。
def get_comments(url,k):
data = []
doc = get_json(url)
obj=json.loads(doc)
jobs=obj['hotComments']
for job in jobs:
dic = {}
dic['content']=jsonpath.jsonpath(job,'$..content')[0]
dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0])
dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用户ID
dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名
dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0]
dic['name']= k
data.append(dic)
return data
汇总后就获得了44万条音乐热评数据。
数据分析
清洗填充一下。
def data_cleaning(data):
cols = data.columns
for col in cols:
if data[col].dtype == 'object':
data[col].fillna('缺失数据', inplace = True)
else:
data[col].fillna(0, inplace = True)
return(data)
按照点赞数排个序。
#排序
df1['likedCount'] = df1['likedCount'].astype('int')
df_2 = df1.sort_values(by="likedCount",ascending=False)
df_2.head()
再看看哪些热评是被复制粘贴搬来搬去的。
#排序
df_line = df.groupby(['content']).count().reset_index().sort_values(by="name",ascending=False)
df_line.head()
第一个和第三个只是末尾有没有句号的区别，可以归为一类。这样的话，重复次数最多个这句话竟然重复了412次，额~~
看看上热评次数次数最多的是哪位大神？从他的身上我们能学到什么经验？
df_user = df.groupby(['userId']).count().reset_index().sort_values(by="name",ascending=False)
df_user.head()
按照 user_id 汇总一下，排序。
成功“捕获”一枚“段子手”，上热评次数高达347，我们再看看这位大神究竟都评论些什么？
df_user_max = df.loc[(df['userId'] == 101***770)]
df_user_max.head()
这位“失眠的陈先生”看来各种情话娴熟于手啊，下面就以他举例来看看如何成为网易云音乐评论里的热评段子手吧。
数据可视化
先看看这347条评论的赞数分布。
#赞数分布图
import matplotlib.pyplot as plt
data = df_user_max['likedCount']
#data.to_csv("df_user_max.csv", index_label="index_label",encoding='utf-8-sig')
plt.hist(data,100,normed=True,facecolor='g',alpha=0.9)
plt.show()
很明显，赞数并不多，大部分都在500赞之内，几百赞却能跻身热评，这也侧面说明了这些歌曲是比较小众的，看来是经常在新歌区广撒网。
我们使用len() 求出每条评论的字符串长度，再画个分布图
评论的字数集中在18—30字之间，这说明在留言时要注意字数，保险的做法是不要太长让人读不下去，也不要太短以免不够经典。
做个词云。
.
python爬虫网易云音乐评论最多的歌_Python爬虫44万条数据揭秘：如何成为网易云音乐评论区的网红段子手？...相关推荐
- 第六十七期:Python爬虫44万条数据揭秘：如何成为网易音乐评论区的网红段子手
获取数据,其实逻辑并不复杂:爬取歌单列表里的所有歌单url.进入每篇歌单爬取所有歌曲url,去重.进入每首歌曲首页爬取热评,汇总. 作者:嗨学python来源:今日头条 获取数据 其实逻辑并不复杂: ...
- 44 万条数据揭秘：如何成为网易云音乐评论区的网红段子手？
作者 | 朱小五 责编 | 伍杏玲 有个段子讲"十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗",网易云音乐的评论区也一直都是各类文案大神的聚集地. 那么我们普通用 ...
- python的歌曲评论数据分析_用Python分析44万条数据，揭秘如何成为网易云音乐评论区的网红段子手...
有个段子讲"十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗",网易云音乐的评论区也一直都是各类文案大神的聚集地. 那么我们普通用户到底如何成为网易云音乐评论里的热评 ...
- 网易云音乐热评的规律，44万条数据告诉你
网易云的每日推荐里藏着你听过的歌,你听过的歌里藏着你的故事. 网易云音乐的评论里,藏着许多人的故事. 我们爬取了网易云音乐中华语歌单中48400首歌的444054条热评,来看看网易云的热门评论里,有怎 ...
- python爬虫网易云音乐评论最多的歌_Python网易云音乐评论爬虫，歌曲的全部评论...
用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是接近百万或者是超过百万条．现在我就来分享一下如何爬取网易云音乐歌曲的全部评论,由于网易云音乐的评论都做了混淆加密处 ...
- python爬取网易云评论最多的歌_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
- Selenium爬取36万条数据告诉你：网易云音乐热评究竟有什么规律？
网易云音乐火不火我不知道,可是评论很火,之前也见过不少的帖子抓取网易云音乐评论,今天咱们也来试试 这篇文章主要介绍了python selenium爬取网易云音乐热评,文中通过示例代码介绍的非常详细,对 ...
- 我们用Python分析了B站4万条数据评论，揭秘本山大叔《念诗之王》大热原因！...
来源:恋习Python 本文约2000字,建议阅读10分钟. 我们通过Python大法通过获取B站:[春晚鬼畜]赵本山:我就是念诗之王!4万条数据评论,与大家一起看看其背后火起来的原因. 1990年本 ...
- （转）Python网络爬虫实战：世纪佳缘爬取近6万条数据
又是一年双十一了,不知道从什么时候开始,双十一从"光棍节"变成了"双十一购物狂欢节",最后一个属于单身狗的节日也成功被攻陷,成为了情侣们送礼物秀恩爱的节日. 翻 ...
最新文章
- Java学习之移动文件（转）
- mybatis 中#和$的区别
- C++ vector的释放
- 【WiFi密码破解详细图文教程】ZOL仅此一份 详细介绍从CDlinux U盘启动到设置扫描破解
- LeetCode 1405. 最长快乐字符串（贪心）
- 数据结构与算法分析（六）——C++实现二叉查找树
- python urllib.parse_Python3的urllib.parse常用函数小结
- 里诺合同管理合同上传步骤_客户关系管理：合同
- UCSC 基因组浏览器配置详解
- Pandas计算同比环比指标的3种方法
- SAS9.4+sid更新
- 专注少儿成长，掌门少儿打造多维思维启蒙体验
- Telegram附近的人功能存在安全风险，可被用于探测用户位置
- 云服务器和虚拟主机的区别是什么
- 包青天人声接电话搞笑版铃声 包青天人声接电话搞笑版手机铃声...
- ECMAScript6语法检查规范错误信息说明
- IT职业教育(3)IT教育的商道
- [转]gps中的广义和狭义相对论效应
- 灵魂有香气的女子李筱懿：张弛有度做事，努力也需理智
- caffe HDF5Data 层使用及数据生成