三方包引入

使用到了以下包：

爬虫 scrapy
网络测试 requests
数据分析 numpy和pandas
绘图 matplotlib和wordcloud

pip install scrapypip install requestspip install numpypip install pandaspip install matplotlibpip install wordcloud

爬取数据

打开QQ音乐网页版的分类歌单界面，乍一看，一分析网页源码，看到下图：

那么看来它就是使用动态填充的，那么它肯定就调用了接口，请求数据，那么就去找，在检查里的network中找啊找，最终找到了它：

然后写上代码，经过调试，终于成功了。

最后我把它保存成一个csv文件，通过播放量排序，截取前20，得到了下图

分析数据

对于这个数据的处理，就用到了numpy和pandas以及matplotlib。经过分析得出下图结果:

播放次数分析

标签分析

github地址：

https://github.com/arvinljw/SpiderNet/blob/master/qqmusic/qqmusic/spiders/qqmusic.py

转载于:https://www.cnblogs.com/dawning666/articles/9433946.html

Python对QQ音乐进行爬取并进行数据分析相关推荐

基于python的音乐数据分析_Python对QQ音乐进行爬取并进行数据分析
三方包引入使用到了以下包: 爬虫 scrapy 网络测试 requests 数据分析 numpy和pandas 绘图 matplotlib和wordcloud pip install scrapy ...
python播放在线音乐_Python爬取网易云音乐播放地址
本帖最后由 bbbbbd 于 2017-9-25 12:13 编辑 Python爬取网易云音乐播放地址运行环境:Python2.7 一.分析目标网站首先打开网易云音乐的官网,在搜索列表中随便搜索一 ...
爬虫第5课-从QQ音乐上爬取周杰伦前5页歌词
第一步:分析问题,明确目标需求就是把关卡内的代码稍作修改,将周杰伦前五页歌曲的歌词都爬取下来,结果就是全部展示打印出来. 第二步:写代码 Network - XHR-client_search - ...
python 网易云音乐评论爬取3
参考链接: 解析网易云音乐的加密方式 https://www.jianshu.com/p/069e88181488 找到参数的加密方法首先我们先看评论的加载方式,打开一首音乐的主页,然后打开开发工具 ...
python爬取网易云音乐_Python 从零开始爬虫(七)——实战：网易云音乐评论爬取（附加密算法）...
前言某宝评论区已经成功爬取了,jd的也是差不多的方法,说实话也没什么好玩的,我是看上它们分析简单,又没加密才拿来试手的.如果真的要看些有趣的评论的话,我会选择网易云音乐,里面汇聚了哲学家,小说家,s ...
利用Python网络爬虫实现对网易云音乐歌词爬取
今天小编给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下: 找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌曲ID: 调用网易云歌曲API,获取歌词: 将歌词写入文件,并存入本地 ...
酷狗音乐的爬取，基于python，从无到有完整教程-上：搭建环境及爬取原理讲解
酷狗音乐的爬取,基于python,从无到有完整教程,使用微软新edge作为虚拟浏览器搭建环境及爬取原理讲解 ⬇⬇⬇ 编码环境及工具准备: 编码工具:PyCharm 所需的库: import requ ...
酷狗音乐的爬取，基于python，从无到有完整教程-下：功能代码讲解
酷狗音乐的爬取,从无到有完整教程-下:功能代码讲解是的我又回来了,这次是代码的讲解哦. 参数项生成上一章我们提到,在包含了歌曲url,歌曲信息的请求中,有几个参数项的值是随机数就可以,但是,你仔细 ...
送书｜Python采集QQ音乐热歌榜首数据
今天给大家带来用python采集QQ音乐的热评-文末有送书哦- 我们可以看到这首歌曲的评论有10881条,不愧是榜首热歌,评论比较高. 一.初步测试我们首先使用selenium测试一下环境: fro ...

Python对QQ音乐进行爬取并进行数据分析