用Python爬取网易云音乐全部歌手信息（歌手id和歌手名字）

本文介绍用Python爬取网易云音乐全部歌手信息，歌手的id和歌手的名字。

这里我们来看一下歌手周杰伦的id号：

通过浏览器的检查元素，我们可以查看周杰伦的id号为6452。

要想爬取这些数据，就必须在使用requests库时设置好请求的头部（headers）特别是cookie。

接下来开始分析：

首先是找到网易云音乐歌手网页：

在左侧我们可以看到歌手的分类，每个分类都对应一个url的id参数，同一类歌手又通过歌手名字的首字母进行排序，对应url中的initial参数。这里以华语歌手，A打头的网页的url为例。

url='http://music.163.com/#/discover/artist/cat?id=1001&initial=65'

因此我们只需要改变网址中的id和initial参数的值便可以将网易云音乐上所有的歌手信息爬取下来。

ls1 = [1001, 1002, 1003, 2001, 2002, 2003, 6001, 6002, 6003, 7001, 7002, 7003, 4001, 4002, 4003]    # id的值
ls2 = [-1, 0, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90] # initial的值
for i in ls1:for j in ls2:url = 'http://music.163.com/discover/artist/cat?id=' + str(i) + '&initial=' + str(j)

这里我们创建两个列表来存储id和initial的值，从而构建爬取全部歌手信息的网页url。

接着我们开始设置请求的头（即headers的值），打开浏览器的开发者工具栏（鼠标右键点击检查），点击network,再点击Doc,找到原始请求返回的文件（即网址对应的文件），点击headers,里面有Request Headers,把里面的值全部设置为请求的头部的值。

下面具体来看一下请求的头部的设置，一定不能漏了cookie的值。

headers={'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN,zh;q=0.9','Connection': 'keep-alive','Cookie': '_iuqxldmzr_=32; _ntes_nnid=0e6e1606eb78758c48c3fc823c6c57dd,1527314455632; ''_ntes_nuid=0e6e1606eb78758c48c3fc823c6c57dd; __utmc=94650624; __utmz=94650624.1527314456.1.1.''utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); WM_TID=blBrSVohtue8%2B6VgDkxOkJ2G0VyAgyOY;'' JSESSIONID-WYYY=Du06y%5Csx0ddxxx8n6G6Dwk97Dhy2vuMzYDhQY8D%2BmW3vlbshKsMRxS%2BJYEnvCCh%5CKY''x2hJ5xhmAy8W%5CT%2BKqwjWnTDaOzhlQj19AuJwMttOIh5T%5C05uByqO%2FWM%2F1ZS9sqjslE2AC8YD7h7Tt0Shufi''2d077U9tlBepCx048eEImRkXDkr%3A1527321477141; __utma=94650624.1687343966.1527314456.1527314456''.1527319890.2; __utmb=94650624.3.10.1527319890','Host': 'music.163.com','Referer': 'http://music.163.com/','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/66.0.3359.181 Safari/537.36'}

最后构造一个获取这些信息的函数即可。

# 构造函数获取歌手信息
def get_artists(url):headers={'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN,zh;q=0.9','Connection': 'keep-alive','Cookie': '_iuqxldmzr_=32; _ntes_nnid=0e6e1606eb78758c48c3fc823c6c57dd,1527314455632; ''_ntes_nuid=0e6e1606eb78758c48c3fc823c6c57dd; __utmc=94650624; __utmz=94650624.1527314456.1.1.''utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); WM_TID=blBrSVohtue8%2B6VgDkxOkJ2G0VyAgyOY;'' JSESSIONID-WYYY=Du06y%5Csx0ddxxx8n6G6Dwk97Dhy2vuMzYDhQY8D%2BmW3vlbshKsMRxS%2BJYEnvCCh%5CKY''x2hJ5xhmAy8W%5CT%2BKqwjWnTDaOzhlQj19AuJwMttOIh5T%5C05uByqO%2FWM%2F1ZS9sqjslE2AC8YD7h7Tt0Shufi''2d077U9tlBepCx048eEImRkXDkr%3A1527321477141; __utma=94650624.1687343966.1527314456.1527314456''.1527319890.2; __utmb=94650624.3.10.1527319890','Host': 'music.163.com','Referer': 'http://music.163.com/','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/66.0.3359.181 Safari/537.36'}r = requests.get(url, headers=headers)csvfile = open('/home/zhiying/文档/music_163_artists(1).csv', 'a')    # 文件存储的位置writer = csv.writer(csvfile)writer.writerow(('artist_id', 'artist_name'))soup = BeautifulSoup(r.text, 'html5lib')for artist in soup.find_all('a', attrs={'class': 'nm nm-icn f-thide s-fc0'}):artist_name = artist.stringartist_id = artist['href'].replace('/artist?id=', '').strip()try:writer.writerow((artist_id, artist_name))except Exception as msg:print(msg)

至此利用Python爬取网易云音乐全部歌手信息的爬虫就完成了，这里我把信息存储成了csv 文件。来看一下结果：

大家在爬取的时候有啥问题，欢迎在评论区留言，我会及时为大家解答。

查看完整代码请上我的Github

也可以点击这里下载代码和歌手信息

2018年9月18日更新:最近发现一种新的爬取方法,具体请参考这篇文章!

欢迎大家加爬虫QQ群：565712652讨论！

用Python爬取网易云音乐全部歌手信息（歌手id和歌手名字）相关推荐

python爬取网易云音乐歌曲评论信息
网易云音乐是广大网友喜闻乐见的音乐平台,区别于别的音乐平台的最大特点,除了"它比我还懂我的音乐喜好"."小清新的界面设计"就是它独有的评论区了------各种故 ...
python爬取网易云音乐热评_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
python爬取网易云音乐飙升榜音乐_python爬取网易云音乐热歌榜 python爬取网易云音乐热歌榜实例代码...
想了解python爬取网易云音乐热歌榜实例代码的相关内容吗,FXL在本文为您仔细讲解python爬取网易云音乐热歌榜的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:python,网易热歌榜 ...
python爬取网易云音乐飙升榜音乐_python爬取网易云音乐热歌榜实例代码
首先找到要下载的歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更改你要保存的目录,目录要先建立好文件夹,例如我 ...
Python爬取网易云音乐热歌榜（爬虫）
Python爬取网易云音乐热歌榜歌曲,并下载到本地找到要下载歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更 ...
python爬取网易云音乐生成王力宏歌曲词云
python爬取网易云音乐生成王力宏歌曲词云 # -*- coding:utf-8 -*- # 网易云音乐,通过歌手id生成词云 import requests import sys,re,os fr ...
python爬取网易云音乐排行榜数据
python爬取网易云音乐排行榜歌曲及评论网易云音乐排行榜歌曲及评论爬取主要注意问题:selenium 模拟登录.iframe标签定位.页面元素提取. 在利用selenium定位元素并取值的过程中 ...
[爬虫]Python爬取网易云音乐搜索并下载歌曲!
Python爬取网易云音乐搜索并下载歌曲! 文章目录 Python爬取网易云音乐搜索并下载歌曲! 1.准备工作 2."实地"观察 3.开始码代码! 4.搜索并下载结束语 1.准备 ...
用Python爬取网易云音乐歌曲
前天给大家分享了用Python网络爬虫爬取了网易云歌词,在文尾说要爬取网易云歌曲,今天小编带大家一起来利用Python爬取网易云音乐,分分钟将网站上的音乐down到本地. 跟着小编运行过代码的筒子们将 ...
Python爬取网易云音乐歌手歌曲和歌单（爬虫）
Python爬取网易云音乐歌手歌曲和歌单是仅供学习参考 Python爬取网易云音乐网易云音乐歌手歌曲和歌单,并下载到本地 ①找到要下载歌手歌曲的链接,这里用的是: https://music.16 ...

用Python爬取网易云音乐全部歌手信息（歌手id和歌手名字）

欢迎大家加爬虫QQ群：565712652讨论！

用Python爬取网易云音乐全部歌手信息（歌手id和歌手名字）相关推荐

最新文章

热门文章