Python爬虫实战,Request+urllib模块,批量下载爬取飙歌榜所有音乐文件
前言
今天给大家介绍的是Python爬取飙歌榜所有音频数据并保存本地,在这里给需要的小伙伴们代码,并且给出一点小心得。
首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文
本数据爬取的人会很多,所以我们需要考虑更换代理IP和随机更换请求头的方式来对音乐数据进行爬取。
在每次进行爬虫代码的编写之前,我们的第一步也是最重要的一步就是分析我们的网页。
通过分析我们发现在爬取过程中速度比较慢,所以我们还可以通过禁用谷歌浏览器图片、JavaScript等方式提升爬虫爬取速度。
开发工具
Python版本: 3.8
相关模块:
requests模块
re模块
urllib模块
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
思路分析
浏览器中打开我们要爬取的页面
按F12进入开发者工具,查看我们想要的音乐数据在哪里
这里我们需要页面数据就可以了
代码实现
# 存放音乐文件的文件夹
folder = r'F:\music'
if not isdir(folder):mkdir(folder)# 音乐飙升榜地址
url = 'https://music.163.com/discover/toplist?id=3779629'
# 模拟Chrome浏览器
headers = {'User-Agent': 'Chrome/88.0.4324.190'}
req = Request(url, headers=headers)
# 读取网页源代码
with urlopen(req) as fp:content = fp.read().decode()# 正则表达式,提取音乐id和名字
pattern = r'<li><a href="/song\?id=(.+?)">(.+?)</a></li>'
for music_id, music_name in findall(pattern, content):music_file = rf'{folder}\{music_name}.mp3'if isfile(music_file):print(f'文件已存在,跳过...{music_name}')continue# 下载地址download_url = rf'https://music.163.com/song/media/outer/url?id={music_id}'req = Request(download_url, headers=headers)# 读取网络音乐文件数据,写入本地文件with urlopen(req) as fp:content = fp.read()with open(music_file, 'wb') as fp:fp.write(content)print(f'下载完成...{music_name}')
结果展示
最后
为了感谢读者们,我想把我最近收藏的一些编程干货分享给大家,回馈每一个读者,希望能帮到你们。
里面有适合小白新手的Python实战教程给到大家~
快来和小鱼一起成长进步吧!
① 100+多本PythonPDF(主流和经典的书籍应该都有了)
② Python标准库(最全中文版)
③ 爬虫项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
Python爬虫实战,Request+urllib模块,批量下载爬取飙歌榜所有音乐文件相关推荐
- Python爬虫实战使用scrapy与selenium来爬取数据
系列文章目录 实战使用scrapy与selenium来爬取数据 文章目录 系列文章目录 前言 一.前期准备 二.思路与运行程序 1.思路 2.运行程序 三.代码 1.代码下载 2.部分代码 总结 前言 ...
- Python爬虫实战(十一) B站热门信息爬取(窗口版)| Tkinter实现GUI交互式界面
目录 一.主页面设计 1.1 Tkinter基本介绍 1.2 设计布局 二.查询功能实现 2.1 分区字典构建 2.2 输入日期处理 2.3 书写爬虫函数 三.全部代码 更多信息查询(2021-2-1 ...
- Python爬虫实战(六) 天猫(淘宝)评论爬取与分析实战
目录 一.天猫(淘宝)爬取地址对比 二.防爬技巧 三.数据分析 代码更新12.19,均可爬取(若爬取失效,请先检查cookie的有效性) 一.天猫(淘宝)爬取地址对比 天猫评论抓包json数据如下,在 ...
- Python爬虫实战(三):定时爬取数据存入SqlServer
目录
- Python爬虫之scrapy框架360全网图片爬取
Python爬虫之scrapy框架360全网图片爬取 在这里先祝贺大家程序员节快乐,在此我也有一个好消息送给大家,本人已开通了微信公众号,我会把资源放在公众号上,还请大家小手动一动,关注过微信公众号, ...
- Python爬虫实例 wallhaven网站高清壁纸爬取。
文章目录 Python爬虫实例 wallhaven网站高清壁纸爬取 一.数据请求 1.分析网页源码 2.全网页获取 二.数据处理 1.提取原图所在网页链接 2.获取高清图片地址及title 三.下载图 ...
- Python爬虫系列之抖音热门视频爬取
Python爬虫系列之抖音热门视频爬取 主要使用requests库以及手机抓包工具去分析接口 该demo仅供参考,已经失效,需要抖音2019年5月最新所有接口请点击这里获取 抖音资源获取接口文档请点击 ...
- python爬虫--Scrapy框架--Scrapy+selenium实现动态爬取
python爬虫–Scrapy框架–Scrapy+selenium实现动态爬取 前言 本文基于数据分析竞赛爬虫阶段,对使用scrapy + selenium进行政策文本爬虫进行记录.用于个人爬虫学习记 ...
- Python爬虫:最牛逼的 selenium爬取方式!
Python爬虫:最牛逼的 selenium爬取方式! 作为一个男人 在最高光的时刻 这是小编准备的python爬虫学习资料,加群:700341555即可免费获取! Python爬虫:最牛逼的 sel ...
最新文章
- Nagios—服务和性能监控
- mac os x 添加 用户 所属 组
- python中什么是算法_python自动开发之(算法)第二十七天
- java 类的高级特性_java程序-类的高级特性
- 查询链接服务器信息,如何通过 SQL Server 链接服务器和分布式查询使用 Excel
- 段码液晶屏笔段电压范围_液晶屏逻辑板和屏坏判断及检修
- 软件工程(2019)第二次作业
- php论坛如何加评论表情,DEDECMS会员评论时添加多个表情
- windowslinux服务器性能对比,Windows/Linux服务器的选择与对比
- win7和xp,哪个才是你的选择?
- 美国要贩卖网民隐私:最大成人网站出手反击
- 流体力学及其工程应用
- MATLAB函数文件的使用
- C# 驱动级模拟键盘输入
- 我曾经在课间给学生讲过的金庸小说片段
- 如何用HTML和css实现拼图,打造自己的html5拼图小游戏
- 基于CentOS7系统环境下的Snort3安装指南
- 关于isEmpty(),null,“”的理解
- 一键解决重复性设计工作
- 景深决定照相机什么特性_2018年自考《摄影基础》复习试题及答案
热门文章
- Python笔记:网络爬虫之模拟人人网登录及获取数据的过程详解
- 实时级嵌入式系统半实物仿真测试平台技术指标
- 算法系列教程02 - 从罗素悖论到图灵机
- 基于LPC的对时协议
- Java接口的修饰符
- Qt QPainter 调用setRenderHint(QPainter::Antialiasing, true)什么意思 QGraphicsView的该函数
- MySql java.sql.SQLException: sql injection violation, part alway false condition not allow异常简单处理方式
- Molar mass(计算分子量)字符转化
- DMA简单理解和分享
- android registerreceiver() 参数,android-registerReceiver无法正常工作