python爬取网易云音乐歌单
获取网易云音乐的某个分类下的歌单的详细页地址、歌单标题、歌单播放量、歌单贡献者、歌单索引信息等。并保存到csv文件中去。
用到的模块:requests、time、BeautifulSoup
选择不同类别的歌曲,我们发现只是url中cat位置发生变化,因此想要爬取其他分类,只需更改url即可。
这里以爬取流行类为例:
观察各个页码对应的url。
我们可以发现一些规律,每翻到下一页,url中offset增加35,我们在看最后一页:
这样我们就可以成功的拼接每一页的网址了:
for i in range(0,1295,35):url = 'https://music.163.com/discover/playlist/?cat=流行&order=hot&limit=35&offset=' + str(i)
查找歌单元素的位置:在id=“m-pl-container”的li标签下
每个li标签下有我们想要的信息:
代码:
import requests
import time
from bs4 import BeautifulSoupheaders={"user-agent":"Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 75.0.3770.100Safari / 537.36"
}for i in range(0,1295,35):url = 'https://music.163.com/discover/playlist/?cat=流行&order=hot&limit=35&offset=' + str(i)response = requests.get(url=url, headers=headers)html = response.textsoup = BeautifulSoup(html, 'html.parser')# 获取包含歌单详情页网址的标签ids = soup.select('.dec a')# 获取包含歌单索引页信息的标签lis = soup.select('#m-pl-container li')print(len(lis))for j in range(len(lis)):# 获取歌单详情页地址url = ids[j]['href']# 获取歌单标题,替换英文分割符title = ids[j]['title'].replace(',', ',')# 获取歌单播放量play = lis[j].select('.nb')[0].get_text()# 获取歌单贡献者名字user = lis[j].select('p')[1].select('a')[0].get_text()# 输出歌单索引页信息print(url, title, play, user)# 将信息写入CSV文件中with open('playlist.csv', 'a+', encoding='utf-8') as f:f.write(url + ',' + title + ',' + play + ',' + user + '\n')time.sleep(2)
运行结果:
python爬取网易云音乐歌单相关推荐
- 看我如何用 Python 爬取网易云音乐歌单
此货很干,跟上脚步!!! Cookie cookie是什么东西? 小饼干?能吃吗? 简单来说就是你第一次用账号密码访问服务器 服务器在你本机硬盘上设置一个身份识别的会员卡(cookie) 下次再去访问 ...
- 如何用 Python 爬取网易云音乐歌单
点击⬆️方"逆锋起笔",公众号回复 编程资源领取大佬们推荐的学习资料 作者:我不是秃头哆唻咪 (侵删) https://blog.csdn.net/weixin_44864260/ ...
- 如何用Python爬取网易云音乐歌单
此货很干,跟上脚步!!! Cookie cookie是什么东西? 小饼干?能吃吗? 简单来说就是你第一次用账号密码访问服务器 服务器在你本机硬盘上设置一个身份识别的会员卡(cookie) 下次再去访问 ...
- PHP爬虫音乐,PHP 爬虫———爬取网易云音乐歌单
爬取网易云音乐歌单 PHP + QueryList + Puppeteer + Nodejs 使用 Composer 安装库 如果你之前没有接触过Composer,强烈建议你学习一下.Composer ...
- 用python爬取网易云音乐歌单列表
本文分为两个部分:基础知识和正文,其中基础知识包括什么正则表达式以及Beautifulsoup4的使用. 一.正则表达式 正则表达式用于字符串查找.合法性检查以及作为程序员的工具箱使用. 字符串查找: ...
- Python爬取网易云音乐歌单内所有歌曲
一.目标: 下载网易云音乐热门歌单 二.用到的模块: requests,multiprocessing,re. 三.步骤: (1)页面分析:首先打开网易云音乐,选择热门歌单,可以看到以下歌单列表,然后 ...
- python爬取网易云音乐歌单_【python】爬取并批量下载网易云歌单,嗨翻暑假!
[Python] 纯文本查看 复制代码# 利用 Selenium 抓取淘宝商品并用 PyQuery 解析得到商品的图片.名称.价格.购买人数. # 店铺名称.店铺所在地信息,并将其保存到MongoDB ...
- 利用python爬取网易云心爱歌单
一 cookie是什么东西? 小饼干?糖果?能吃吗? 简单来说就是你第一次用账号密码访问服务器 服务器在你本机硬盘上设置一个身份识别的会员卡(cookie) 下次再去访问的时候只要亮一下你的卡片(co ...
- Python数据分析之定制化网易云音乐歌单
最近朋友圈刷疯了的几件事: 圣诞节骗我艾特微信官方戴红帽 老的跟树皮似的骗我晒18岁皂片 明明开挂却骗我自己玩的跳一跳 网易云听歌报告告诉我最爱tfboy 支付宝关键词鄙视我太穷丢它脸 个人特别喜欢听 ...
最新文章
- 《40期》 我们要把世纪末日变成重生日
- 2018 计蒜之道 初赛 第四场
- CUDA:利用Pytorch查看自己电脑上CUDA版本及其相关信息
- 编写python程序一年365天_编写第一个Python程序
- Web前端培训分享:前端开源平台介绍
- kerberos 下运行spark 报错 Requested user hdfs is banned
- php 下载表格文件在哪里,PHPExcel强大之处在哪里?
- 预训练网络的特征提取方法(VGG16)
- work summary(1)
- php技术聊天室源码,PHP聊天室_WebSocket技术实战
- android删除短信权限,android删除短信(绕过权限)
- [置顶]史上最详细最全的Linux上安装Oracle的教程-centos7-humf
- 平面设计师资格证怎么考
- c语言中pair的头文件,C++中使用pair是否一定要包含头文件utility
- kali kda安装 linux_linux安装usb打印机(HP LaserJet 1020)驱动
- 关键词展现量低时怎么办?
- 离散数学:赵钱孙李,派谁出国?编程实现
- 服务器无法重命名 请确定磁盘未满或未被写保护而且文件夹未被使,请确定磁盘未满或未被写保护而且文件未被使用 解决办法...
- 蓝牙协议栈 电话免提协议HFP(Hands-Free)关闭手机的回声消除EC(Echo canceling),噪音减弱NR(noise reduction)
- 墨西哥认可的认证机构有哪些