前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

本次目标

爬取酷狗音乐全站排行榜歌曲

目标地址

https://www.kugou.com/yy/html/rank.html?from=homepage

环境

Python3.6.5

pycharm

爬虫代码

调入工具

import requests
import re
import parsel

请求网站

headers = {'authority': 'wwwapi.kugou.com','cookie': 'kg_mid=ac3836df72c523f46a85d8a5fd90fe59; kg_dfid=3ve7aQ2XyGmN0yE3uv3WcaHs; Hm_lvt_aedee6983d4cfc62f509129360d6bb3d=1600260110,1602312707; kg_dfid_collect=d41d8cd98f00b204e9800998ecf8427e; kg_mid_temp=ac3836df72c523f46a85d8a5fd90fe59; Hm_lpvt_aedee6983d4cfc62f509129360d6bb3d=1602312738','referer': 'https://www.kugou.com/song/','user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
}
url = 'https://www.kugou.com/yy/html/rank.html'
response = requests.get(url=url, headers=headers)

解析网站数据

def func(url):response = requests.get(url=url, headers=headers)response.encode = response.apparent_encodinghashs = re.findall('"Hash":"(.*?)"', response.text, re.S)album_ids = re.findall('"album_id":(.*?),"', response.text, re.S)FileNames = re.findall('"FileName":"(.*?)"', response.text, re.S)data = zip(hashs, album_ids, FileNames)for i in data:hash = i[0]album_ids = i[1]FileName = i[2].encode('utf-8').decode('unicode_escape')# print(hash, album_ids, FileName)download_url = 'https://wwwapi.kugou.com/yy/index.php'params = {'r': 'play/getdata','callback': 'jQuery19107150201841602037_1602314563329','hash': '{}'.format(hash),'album_id': '{}'.format(album_ids),'dfid': '3ve7aQ2XyGmN0yE3uv3WcaHs','mid': 'ac3836df72c523f46a85d8a5fd90fe59','platid': '4','_': '1602312793005',}for i in html_data:page_url = i[0]name = i[1]print(page_url)func(page_url)print('==========================正在爬取{}歌曲========================'.format(name))

保存数据

def download(url, title):filename = '保存地址' + title + '.mp3'response = requests.get(url=url, headers=headers)with open(filename, mode='wb') as f:f.write(response.content)print(title)

运行代码，效果如下图

Python爬虫案例：爬取酷狗音乐全排行榜歌曲相关推荐

Python爬虫之爬取酷狗音乐歌曲
Python爬虫之爬取酷狗音乐歌曲 1.安装第三方库在Python的语言库中, 分为Python标准库和Python的第三方库. Python标准库是在你安装Python的时候已经包含在了安装目录下 ...
python爬虫：爬取酷狗音乐榜单中的音乐信息并存储到MySQL（附源码）
目录具体思路代码部分获取歌曲名称和歌手获取歌曲播放页的url 获取音乐下载地址将获取到的音乐信息添加到MySQL中完整代码获取酷狗音乐榜单中的音乐信息,这里我以"网络红歌榜&q ...
【Python爬虫】爬取酷狗TOP500的数据
该文利用Requests和BeautifulSoup第三方库,爬去酷狗网榜单中酷狗TOP500的信息. 首先分析页面:https://www.kugou.com/yy/rank/home/1-8888 ...
爬取酷狗音乐Top100_排行榜
酷狗音乐: https://www.kugou.com/ (1)我们爬取的是这里, url : https://www.kugou.com/yy/rank/home/2-8888.html 通过观察 ...
python爬虫（爬取酷狗排行榜并保存到本地）
目录了解什么是爬虫安装相关的库分析爬取的网页写出代码一:了解什么是爬虫爬虫专业来讲就是一个探测机器,又被称为网络蜘蛛或网络机器人,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本, ...
使用scrapy 爬取酷狗音乐歌手及歌曲名并存入mongodb中
备注还没来得及写,共爬取八千多的歌手,每名歌手平均三十首歌曲算,大概二十多万首歌曲 run.py 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 ...
Python爬虫入门——2. 2爬取酷狗音乐top1-500歌曲信息
有了第一个程序的基础,我们现在来爬取酷狗音乐top500的歌曲信息.连接http://www.kugou.com/yy/rank/home/1-8888.html 我们第一个程序只爬取了一个页面的数据 ...
Python爬虫爬取酷狗音乐TOP500
Python大作业内容简介: 用Python来爬取酷狗音乐TOP500的歌曲信息,统计这500首歌曲中出现的所有歌手,并做可视化处理生成词云实验代码: import time import req ...
Java爬虫系列之实战：爬取酷狗音乐网 TOP500 的歌曲(附源码)
在前面分享的两篇随笔中分别介绍了HttpClient和Jsoup以及简单的代码案例: Java爬虫系列二:使用HttpClient抓取页面HTML Java爬虫系列三:使用Jsoup解析HTML 今天 ...

Python爬虫案例：爬取酷狗音乐全排行榜歌曲

前言

本次目标

环境

爬虫代码

Python爬虫案例：爬取酷狗音乐全排行榜歌曲相关推荐

最新文章

热门文章