如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据

【一、项目目标】

获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。

由浅入深，层层递进，非常适合刚入门的同学练手。

【二、需要的库】

主要涉及的库有：requests、json、openpyxl

【三、项目实现】

1.了解 QQ 音乐网站的 robots 协议

只禁止播放列表，可以操作。

2.进入 QQ 音乐主页 https://y.qq.com/

3.输入任意歌手，比如邓紫棋

4.打开审查元素(快捷键 Ctrl+Shift+I)

5.分析网页源代码 Elements，发现无歌曲信息，无法使用 BeautifulSoup，如下图所示，结果为空。

6.点击 Network，看数据在不在 XHR(无刷新更新页

面)，我的经验是先看 Size 最大的，然后分析 Name，

查看 Preview，果然在里面！

7.点击 Headers，拿到相关参数。如下图，仔细观察

url 与 Query String Parameters 参数的关系，发现

url 中的 w 代表歌手名，p 代表页数。

8.通过 json 代码实现，首先小试牛刀，爬取第一页

的数据，url 直接复制过来。成功！

9.引入 params 参数，实现指定歌手、指定页数的查询。

注意代码url为上一步url中“？”之前的部分， params两边的参数都需要加 ’’,requests.get 添加 params，参数(也可顺便添加 headers 参数)

10. 添加存储功能，保存到本地(Excel)。也可保存为 csv 格式或存入数据库，操作类似。

【四、总结】

1.爬取 QQ 音乐比爬取豆瓣等网站稍难，所需信息不在网页源代码，需查看 XHR；

2.通过 XHR 爬取数据一般要使用 json，格式为：res = requests.get(url)json = res.json()list = json[‘’][‘’]…

3.仅供练手参考，不建议爬取太多数据，给服务器增大负载；

如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据相关推荐

如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据（第三弹）-阿里云开发者社区...
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据（第二弹）
[一.项目目标] 通过Python爬取QQ音乐数据(一)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精 ...
python音乐的数据抓取与分析_手把手教你使用Python抓取QQ音乐数据！
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
python网页爬虫循环获取_手把手教你用 Python 搞定网页爬虫
原标题:手把手教你用 Python 搞定网页爬虫编译:欧剃作为数据科学家的第一个任务,就是做网页爬取.那时候,我对使用代码从网站上获取数据这项技术完全一无所知,它偏偏又是最有逻辑性并且最容易获得的 ...
python正确的输入语句_手把手教你在python中如何使用while True语句
在学习过程中,经常能遇到采用while True的用法.下面以一个例子进行说明: 建立一个用户登录系统,用户输入用户名和密码,如果正确就可以进入系统. 1.我自己最开始的写法:d = {} #数据库字 ...
python处理时间序列非平稳_手把手教你用Python处理非平稳时间序列
简介预测一个家庭未来三个月的用电量,估计特定时期道路上的交通流量,预测一只股票在纽约证券交易所交易的价格--这些问题都有什么共同点? 它们都属于时间序列数据的范畴!如果没有"时间" ...
python热搜排行功能_手把手教你用Python+Pyecharts让微博热搜榜动起来
今天教大家如何用pyecharts制作微博热搜榜动态展示视频,先上视频看看效果: 教程主要有2部分: 一是python爬取微博热搜内容二是用pyecharts制作动态视频下面给大家详细介绍一下一 ...
python基金比较上机题_手把手教你用python选基金
买基金是上班族用零钱进行投资的正确姿势.而自己用数据来选基金比听别人推荐买什么基金要好上一百倍. 步骤如下: 1.获取网上的基金的排名信息,使用四四三三法则筛选出排名靠前的基金.2.获取网上的基金的基 ...
python链家网爬虫_手把手教你利用Python网络爬虫获取链家网的房产信息
点击上方" Python爬虫与数据挖掘 ",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤夜阑卧听风吹雨,铁马冰河入梦来 ...

如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据

如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据相关推荐

最新文章

热门文章