Python爬取网易云热歌榜所有音乐及其热评
获取特定歌曲热评:
首先,我们打开网易云网页版,击排行榜,然后点击左侧云音乐热歌榜,如图:
关于如何抓取指定的歌曲的热评,参考这篇文章,很详细,对小白很友好:
手把手教你用Python爬取网易云40万+评论
下图是用上文的方法找到热评后,确认下这条确实包含着热评,hotComments就是我们要找的热门评论:
到此为止,我们如何抓取网易云音乐的热门评论已经分析完了,我们再分析一下如何获取云音乐热歌榜中所有歌曲的信息。
获取热榜全部歌曲
同样F12大法。这次选all,因为是找歌单,仔细观察,很容易定位到这个嫌犯:toplist?id=3778678
点进去看下,预览一下该请求返回的结果,哈哈,就你啦!
heads:
request headers
现在看response:
太乱了,格式化一下,然后往下翻:
这样就好找了,框框里面就是包含歌曲信息的代码。
因此,我们只需要将该请求的代码中,将包含信息的代码筛选出来。
我们在这里使用正则表达式进行数据筛选。
通过观察特点,我们可以通过两次正则表达式的筛选,将我们需要的歌曲信息提取出来。
第一次正则表达式如下:<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>
第二次正则表达式将需要的歌曲信息提取出来,我们需要歌曲的歌名和id,对应的正则表达式如下:
获取歌名:<li><a href="/song\?id=\d*?">(.*?)</a></li>
获取歌曲的id:<li><a href="/song\?id=(\d*?)">.*?</a></li>
完整代码:
#!/usr/bin/env python3
# -*- coding: utf-8 -*-import re
import urllib.request
import urllib.error
import urllib.parse
import jsondef get_all_hotSong(): # 获取热歌榜所有歌曲名称和idurl = 'http://music.163.com/discover/toplist?id=3778678' # 网易云云音乐热歌榜urlheader = { # 请求头部'User-Agent': 'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}request = urllib.request.Request(url=url, headers=header)html = urllib.request.urlopen(request).read().decode('utf8') # 打开urlhtml = str(html) # 转换成strpat1 = r'<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>' # 进行第一次筛选的正则表达式result = re.compile(pat1).findall(html) # 用正则表达式进行筛选result = result[0] # 获取tuple的第一个元素pat2 = r'<li><a href="/song\?id=\d*?">(.*?)</a></li>' # 进行歌名筛选的正则表达式pat3 = r'<li><a href="/song\?id=(\d*?)">.*?</a></li>' # 进行歌ID筛选的正则表达式hot_song_name = re.compile(pat2).findall(result) # 获取所有热门歌曲名称hot_song_id = re.compile(pat3).findall(result) # 获取所有热门歌曲对应的Idreturn hot_song_name, hot_song_iddef get_hotComments(hot_song_name, hot_song_id):url = 'http://music.163.com/weapi/v1/resource/comments/R_SO_4_' + hot_song_id + '?csrf_token=' # 歌评urlheader = { # 请求头部'User-Agent': 'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}# post请求表单数据data = {'params': 'zC7fzWBKxxsm6TZ3PiRjd056g9iGHtbtc8vjTpBXshKIboaPnUyAXKze+KNi9QiEz/IieyRnZfNztp7yvTFyBXOlVQP/JdYNZw2+GRQDg7grOR2ZjroqoOU2z0TNhy+qDHKSV8ZXOnxUF93w3DA51ADDQHB0IngL+v6N8KthdVZeZBe0d3EsUFS8ZJltNRUJ','encSecKey': '4801507e42c326dfc6b50539395a4fe417594f7cf122cf3d061d1447372ba3aa804541a8ae3b3811c081eb0f2b71827850af59af411a10a1795f7a16a5189d163bc9f67b3d1907f5e6fac652f7ef66e5a1f12d6949be851fcf4f39a0c2379580a040dc53b306d5c807bf313cc0e8f39bf7d35de691c497cda1d436b808549acc'}postdata = urllib.parse.urlencode(data).encode('utf8') # 进行编码request = urllib.request.Request(url, headers=header, data=postdata)reponse = urllib.request.urlopen(request).read().decode('utf8')json_dict = json.loads(reponse) # 获取jsonhot_commit = json_dict['hotComments'] # 获取json中的热门评论num = 0fhandle = open('./song_comments', 'a', encoding='utf-8') # 写入文件fhandle.write(hot_song_name + ':' + '\n')for item in hot_commit:num += 1fhandle.write(str(num) + '.' + item['content'] + '\n')fhandle.write('\n==============================================\n\n')fhandle.close()hot_song_name, hot_song_id = get_all_hotSong() # 获取热歌榜所有歌曲名称和idnum = 0
while num < len(hot_song_name): # 保存所有热歌榜中的热评print('正在抓取第%d首歌曲热评...' % (num + 1))get_hotComments(hot_song_name[num], hot_song_id[num])print('第%d首歌曲热评抓取成功' % (num + 1))num += 1
运行:
爬下来的:
对比:
Python爬取网易云热歌榜所有音乐及其热评相关推荐
- python爬取网易云某一歌手的音乐评论
爬取网易云音乐上某一歌手的音乐评论,许嵩为例. 一:查看网页抓包分析,首先抓取许嵩的歌曲,点击单曲抓包,我只抓取了第一页的歌曲 搜索许嵩查看获取 歌曲id.可以看出来是 post 请求获取的,参数是加 ...
- 利用python爬取网易云心爱歌单
一 cookie是什么东西? 小饼干?糖果?能吃吗? 简单来说就是你第一次用账号密码访问服务器 服务器在你本机硬盘上设置一个身份识别的会员卡(cookie) 下次再去访问的时候只要亮一下你的卡片(co ...
- python爬取网易云音乐飙升榜音乐_python爬取网易云音乐热歌榜 python爬取网易云音乐热歌榜实例代码...
想了解python爬取网易云音乐热歌榜实例代码的相关内容吗,FXL在本文为您仔细讲解python爬取网易云音乐热歌榜的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:python,网易热歌榜 ...
- python爬取网易云音乐飙升榜音乐_python爬取网易云音乐热歌榜实例代码
首先找到要下载的歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更改你要保存的目录,目录要先建立好文件夹,例如我 ...
- Python爬取网易云音乐热歌榜(爬虫)
Python爬取网易云音乐热歌榜歌曲,并下载到本地 找到要下载歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更 ...
- python爬取网易云热歌榜
Python爬取网易云音乐热歌榜歌曲,并下载到本地 找到要下载歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 #网易 ...
- python爬取网易云歌单
写在前面: 我的博客已迁移至自建服务器:博客传送门,CSDN博客暂时停止,如有机器学习方面的兴趣,欢迎来看一看. 此外目前我在gitHub上准备一些李航的<统计学习方法>的实现算法,目标将 ...
- 爬虫实战(二) 用Python爬取网易云歌单
最近,博主喜欢上了听歌,但是又苦于找不到好音乐,于是就打算到网易云的歌单中逛逛 本着 "用技术改变生活" 的想法,于是便想着写一个爬虫爬取网易云的歌单,并按播放量自动进行排序 这篇 ...
- python爬取网易云音乐热评_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
最新文章
- java英语介绍_java,英文介绍项目.doc
- ansole终端链接linux,基于Linux系统的智能家居远程控制系统设计论文.doc
- 信息技术上册教案了解计算机,信息技术上册全册教案
- python表示空类型的关键字_Python 为什么没有 void 关键字?
- atm机存款场景图_被ATM机吞掉的钱
- java通过证书获取CN_java – 从证书DN解析CN [重复]
- 用aspectJ 做了一次日志
- 百度文库需要使用下载券的文档怎么下载
- netstate 命令归纳
- android自定义键盘 下划线,TabLayout 自定义下划线
- 第十一次 Java作业
- 逆反西游无法读取服务器信息,逆反西游
- Elastic: ILM与rollover的关系
- 什么是内容电商,内容电商平台有哪些?
- 京东区块链技术实践白皮书(附下载地址)
- 熵为什么使用log?
- 删除重复文件的脚本代码
- 【9122】谈装修:项目与项目群
- #BDA#笔记#阶段一:熟悉要分析的数据
- 软件中广告插件删除方法