用Python网络爬虫来抓取网易云音乐歌词

前几天小编给大家分享了数据可视化分析，在文尾提及了网易云音乐歌词爬取，今天小编给大家分享网易云音乐歌词爬取方法。

本文的总体思路如下：

找到正确的URL，获取源码；
利用bs4解析源码，获取歌曲名和歌曲ID；
调用网易云歌曲API，获取歌词；
将歌词写入文件，并存入本地。

本文的目的是获取网易云音乐的歌词，并将歌词存入到本地文件。整体的效果图如下所示：

赵雷的歌曲

本文以民谣歌神赵雷为数据采集对象，专门采集他的歌曲歌词，其他歌手的歌词采集方式可以类推，下图展示的是《成都》歌词。

赵雷歌曲---《成都》

一般来说，网页上显示的URL就可以写在程序中，运行程序之后就可以采集到我们想要的网页源码。But在网易云音乐网站中，这条路行不通，因为网页中的URL是个假URL，真实的URL中是没有#号的。废话不多说，直接上代码。

获取网页源码

本文利用requests、bs4、json和re模块来采集网易云音乐歌词，记得在程序中添加headers和反盗链referer以模拟浏览器，防止被网站拒绝访问。这里的get_html方法专门用于获取源码，通常我们也要做异常处理，未雨绸缪。

获取到网页源码之后，分析源码，发现歌曲的名字和ID藏的很深，纵里寻她千百度，发现她在源码的294行，藏在<ul class="f-hide">标签下，如下图所示：

歌曲名和ID存在的位置

接下来我们利用美丽的汤来获取目标信息，直接上代码，如下图：

获取歌曲名和ID

此处要注意获取ID的时候需要对link进行切片处理，得到的数字便是歌曲的ID；另外，歌曲名是通过get_text()方法获取到的，最后利用zip函数将歌曲名和ID一一对应并进行返回。

得到ID之后便可以进入到内页获取歌词了，但是URL还是不给力，如下图：

歌词的URL

虽然我们可以明白的看到网页上的白纸黑字呈现的歌词信息，但是我们在该URL下却无法获取到歌词信息。小编通过抓包，找到了歌词的URL，发现其是POST请求还有一大堆看不懂的data，总之这个URL是不能为我们效力。那该点解呢？

莫慌，小编找到了网易云音乐的API，只要把歌曲的ID放在API链接上便可以获取到歌词了，代码如下：

调用网易云API并解析歌词

在API中歌词信息是以json格式加载的，所以需要利用json将其进行序列化解析出来，并配合正则表达式进行清洗歌词，如果不用正则表达式进行清洗的话，得到原始的数据如下所示（此处以赵雷的歌曲《成都》为例）：

原始数据

很明显歌词前面有歌词呈现的时间，对于我们来说其属于杂质信息，因此需要利用正则表达式进行匹配。诚然，正则表达式并不是唯一的方法，小伙伴们也可以采取切片的方式或者其他方法进行数据清洗，在此就不赘述了。

得到歌词之后便将其写入到文件中去，并存入到本地文件中，代码如下：

写入文件和程序主体部分

现在只要我们运行程序，输入歌手的ID之后，程序将自动把该歌手的所唱歌曲的歌词抓取下来，并存到本地中。如本例中赵雷的ID是6731，输入数字6731之后，赵雷的歌词将会被抓取到，如下图所示：

程序运行结果

之后我们就可以在脚本程序的同一目录下找到生成的歌词文本，歌词就被顺利的爬取下来了。

相信大家对网易云歌词爬取已经有了一定的认识了，不过easier said than down，小编建议大家动手亲自敲一下代码，在实践中你会学的更快，学的更多的。

这篇文章教会大家如何采集网易云歌词，那网易云歌曲如何采集呢？且听小编下回分解~~~

用Python网络爬虫来抓取网易云音乐歌词相关推荐

带你写爬虫（python）第二篇----抓取网易云音乐下面的评论（API方式）
抓取网易云音乐<大学无疆>的评论一直喜欢使用网易云音乐,网易云歌曲下面的评论给其加分不少,所以这一篇来写一下怎么抓取歌曲下面的评论. 准备工作目标网页:http://music.163 ...
python爬取歌词_利用Python网络爬虫抓取网易云音乐歌词
今天小编给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下: 找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌曲ID: 调用网易云歌曲API,获取歌词: 将歌词写入文件,并存入本地 ...
Python网络爬虫（三）网易云音乐热评
目录一.获取网易云歌曲的url 二.发送请求获取json 三.生成词云一.获取网易云歌曲的url 1.进入网页版网易云音乐,选择一首歌曲,进去评论区 2.接着F12进入开发者控制台(审查元素),我 ...
python爬虫网易云音乐最热评论并分析_Python3实现爬虫抓取网易云音乐的热门评论分析（图）...
这篇文章主要给大家介绍了关于Python3实战之爬虫抓取网易云音乐热评的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧. ...
python爬虫网易云音乐评论最多的歌_Python3实战之爬虫抓取网易云音乐的热门评论...
前言之前刚刚入门python爬虫,有大概半个月时间没有写python了,都快遗忘了.于是准备写个简单的爬虫练练手,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论,于是写了这个抓取 ...
python爬歌词_python爬虫抓取某易云音乐歌词，从此不在下载
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:企鹅号小编 ( 想要学习Python?Python学习 ...
python爬虫爬取音乐_利用python爬虫实现爬取网易云音乐热歌榜
利用python爬虫实现爬取网易云音乐热歌榜发布时间:2020-11-09 16:12:28 来源:亿速云阅读:102 作者:Leah 本篇文章给大家分享的是有关利用python爬虫实现爬取网易云 ...
Python3爬虫抓取网易云音乐热评实战
前一段时间刚刚入门python爬虫,有大概半个月时间没有写python了,都快遗忘了.于是准备写个简单的爬虫练练手,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论,于是写了这个抓取 ...
python音乐的数据抓取与分析_python抓取网易云音乐热评做词图数据分析
最近就有一部"怀旧"题材的电影,未播先火,那就是刘若英的处女作--<后来的我们>.青春,爱情,梦想,一直是"怀旧"题材的核心要素,虽然电影现在还未上 ...
Python抓取网易云音乐热搜榜热评
引子啊~最有个小姐姐要做微信公众号,她需要优质的句子.文章,于是我想到了网易云每首伤感歌曲下面的评论,嗯~很感人,甚至有的时候真的感觉这里就是能触及我心灵最柔软的地方,正好这几天在学习python, ...

用Python网络爬虫来抓取网易云音乐歌词

用Python网络爬虫来抓取网易云音乐歌词相关推荐

最新文章

热门文章