Python抓取网易云音乐热搜榜热评
引子
准备
开始
分析测试
初探
探果
再探
#使用正则表达式匹配正文响应reg1 = r'<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>'result_contain_songs_ul = re.compile(reg1).findall(r.text)result_contain_songs_ul = result_contain_songs_ul[0]reg2 = r'<li><a href="/song\?id=\d*?">(.*?)</a></li>'reg3 = r'<li><a href="/song\?id=(\d*?)">.*?</a></li>'hot_songs_name = re.compile(reg2).findall(result_contain_songs_ul)hot_songs_id = re.compile(reg3).findall(result_contain_songs_ul)
链接的请求标头
探果
代码
import re
import requests
import jsondef get_all_hotsongs():"""抓热搜榜所有歌曲"""url = 'http://music.163.com/discover/toplist?id=3778678'headers = {'Cookie':'__e_=1515461191756; _ntes_nnid=af802a7dd2cafc9fef605185da6e73fb,1515461190617; _ntes_nuid=af802a7dd2cafc9fef605185da6e73fb; JSESSIONID-WYYY=HMyeRdf98eDm%2Bi%5CRnK9iB%5ChcSODhA%2Bh4jx5t3z20hhwTRsOCWhBS5Cpn%2B5j%5CVfMIu0i4bQY9sky%5CsvMmHhuwud2cDNbFRD%2FHhWHE61VhovnFrKWXfDAp%5CqO%2B6cEc%2B%2BIXGz83mwrGS78Goo%2BWgsyJb37Oaqr0IehSp288xn5DhgC3Cobe%3A1515585307035; _iuqxldmzr_=32; __utma=94650624.61181594.1515583507.1515583507.1515583507.1; __utmc=94650624; __utmz=94650624.1515583507.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmb=94650624.4.10.1515583507','Host':'music.163.com','Refere':'http://music.163.com/','Upgrade-Insecure-Requests':'1','User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}r = requests.get(url,headers=headers)#使用正则表达式匹配正文响应reg1 = r'<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>'result_contain_songs_ul = re.compile(reg1).findall(r.text)result_contain_songs_ul = result_contain_songs_ul[0]reg2 = r'<li><a href="/song\?id=\d*?">(.*?)</a></li>'reg3 = r'<li><a href="/song\?id=(\d*?)">.*?</a></li>'hot_songs_name = re.compile(reg2).findall(result_contain_songs_ul)hot_songs_id = re.compile(reg3).findall(result_contain_songs_ul)#返回歌曲名 歌曲idreturn hot_songs_name,hot_songs_iddef get_hotcommnets(hot_songs_name,hot_songs_id):"""抓热搜榜歌曲热评"""url = 'http://music.163.com/weapi/v1/resource/comments/R_SO_4_'+hot_songs_id+'?csrf_token='headers = {'Host':'music.163.com','Proxy-Connection':'keep-alive','Origin':'http://music.163.com','User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)','Content-Type':'application/x-www-form-urlencoded','Accept':'*/*','Referer':'http://music.163.com/song?id='+hot_songs_id+'','Accept-Encoding':'gzip, deflate','Accept-Language':'zh,zh-TW;q=0.9,en-US;q=0.8,en;q=0.7','Cookie':'__e_=1515461191756; _ntes_nnid=af802a7dd2cafc9fef605185da6e73fb,1515461190617; _ntes_nuid=af802a7dd2cafc9fef605185da6e73fb; _iuqxldmzr_=32; __utmc=94650624; __utmz=94650624.1515628584.2.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; JSESSIONID-WYYY=TO%2BtUvrTWONNwB%2BgzDpfjFDiggKiS%2FfpMYNam%2BWGooHNka%2BwMhdsT%5CY%2Fn%2FpSMJwo4skFIK1T%2FNjd95lbGHWMQr5d5qcMRPB9SVKWK8UuBs1OGugZ4lFwipwjwWbCepSw%5CjWv31i1Qt%5CWWwtrFzzktj8CdCzniAw%5CgFCElUJnsQygY0MA%3A1515635604215; __utma=94650624.61181594.1515583507.1515630648.1515633862.4; __utmb=94650624.2.10.1515633862'}data = {'params':'cG5yxYo1s0E9Eqv4QWJLM0fdPiJr0+GfKwqcGPulhOtGJ16gEBopaMhe6XeVNKDigMlpCaV7vrDNQLIOPIaTpAjlcJv+hjdCek6nL0ODfHt9ZEmtkTmU4r/+SA6Vno+o+c4EaPvhghNUXRMdVM/LltKvVanwOSvVhcqUPw9qij1d1akcxweLOWf1hKh2/q/m','encSecKey':'a6c21ac04a44dca0e68174f9dfa85537a2694ecf7b43bdcd46a90836209a3d68008b430b54751bc0f56b12b6da38a265afcef1edbf687d70d1eb853144e920fea28e19a8c6145b7bad33e40d077e8a689b4bf67b367db815278af4ef227b02d85e609007106b7fc4a547bf96a1b90b0eda85bca6cc79ca6fc6559d00060d4184'}#postdata = data.encode('utf-8')response = requests.post(url,data=data,headers=headers)#print(response.text)#格式化响应正文hotComments热评节点hotcomments = json.loads(response.text)['hotComments']#print(hotcomments)#遍历热评内容 保存到当前目录文本num = 0with open('./song_comments.txt','a',encoding='utf-8') as f:f.write('《'+hot_songs_name+'》:'+'\n')for i in hotcomments:num+=1#print(str(num))f.write(str(num)+'.'+i['content']+'\n')#f.write(i['content']+'\n')f.write('\n====================================================\n\n')#调用方法 获得歌曲名 歌曲id
hot_songs_name,hot_songs_id = get_all_hotsongs()
#print(len(hot_songs_name))#循环遍历抓取所有热搜热评
num = 0
while num < len(hot_songs_name):print('正在抓取网易云音乐热搜榜第%d首歌曲热评...'%(num+1))get_hotcommnets(hot_songs_name[num],hot_songs_id[num])print('第%d首歌曲热评抓取成功'%(num+1))num+=1#print(hot_songs_name[0],hot_songs_id[0])
#get_hotcommnets(hot_songs_name[0],hot_songs_id[0])
Python抓取网易云音乐热搜榜热评相关推荐
- python爬取网易云音乐排行榜歌单热评(完整版)
完整版的爬取网易云音乐的排行榜单,和推荐榜单,热评 直接上代码,代码写的很清楚 为了防止被封我们先做个随机获取User_Agent """随机获取请求头"&qu ...
- 使用Python抓取网易云音乐所有歌手信息
思路 1. 构造请求页面的URL 每个页面由歌手分类和歌手名字的大写字母值构成,比如,"http://music.163.com/discover/artist/cat?id=1001&am ...
- python爬取网易云音乐百强榜单
#引用第三方库,re,requests库 import requests #用来提取 import re #用来正则 #对网页进行提取,把里面的信息提取出来 def html(url):try:#看到 ...
- python爬虫网易云音乐最热评论并分析_Python3实现爬虫抓取网易云音乐的热门评论分析(图)...
这篇文章主要给大家介绍了关于Python3实战之爬虫抓取网易云音乐热评的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧. ...
- python音乐的数据抓取与分析_python抓取网易云音乐热评做词图数据分析
最近就有一部"怀旧"题材的电影,未播先火,那就是刘若英的处女作--<后来的我们>.青春,爱情,梦想,一直是"怀旧"题材的核心要素,虽然电影现在还未上 ...
- python爬虫网易云音乐评论最多的歌_Python3实战之爬虫抓取网易云音乐的热门评论...
前言 之前刚刚入门python爬虫,有大概半个月时间没有写python了,都快遗忘了.于是准备写个简单的爬虫练练手,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论,于是写了这个抓取 ...
- python爬取网易云音乐飙升榜音乐_python爬取网易云音乐热歌榜 python爬取网易云音乐热歌榜实例代码...
想了解python爬取网易云音乐热歌榜实例代码的相关内容吗,FXL在本文为您仔细讲解python爬取网易云音乐热歌榜的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:python,网易热歌榜 ...
- python爬取网易云音乐飙升榜音乐_python爬取网易云音乐热歌榜实例代码
首先找到要下载的歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更改你要保存的目录,目录要先建立好文件夹,例如我 ...
- Python3爬虫抓取网易云音乐热评实战
前一段时间刚刚入门python爬虫,有大概半个月时间没有写python了,都快遗忘了.于是准备写个简单的爬虫练练手,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论,于是写了这个抓取 ...
最新文章
- uplay服务器未响应,《看门狗:军团》存在崩溃丢失存档BUG 育碧正在修复
- 2.1 DNS服务介绍和安装
- optee的RPC设计(模型)详解
- WebRTC 的音频处理流水线
- 2639-Bone Collector II (01背包之第k优解)
- mysql语言和php语言_MySQL如何与PHP编程语言一起使用?
- 免装版_一款好用的便签工具 桌面便签免安装版
- APP推广的八大“邪恶”方法?做好产品才是王道!
- es文件搜索不到win7服务器,ES文件浏览器Win7局域网共享错误解决方案
- win服务器系统下的软路由,如何用Windows 2000 Server充当软路由
- 第三方账号登录功能接入完全流程
- Java集合——(通俗易懂)
- Python 淘宝商品价格爬取(requests库+正则表达式)
- 微软学术搜索新特征暴光
- 微型计算机原理与接口技术(慕课版),微机原理与接口技术(温淑焕)
- java中super用来定义父类,定义子类必须使用的关键字是 在java中子类若要继承父类,需要使用的关键字是什么...
- mysql zimbra_记一次zimbra服务器故障导致mysql起不来问题
- 消除计算机上的静电有哪些方法,电脑静电如何消除详解【图文介绍】
- lenovo计算机鼠标不动了,联想笔记本鼠标突然失灵无法使用的解决方法
- 陕西苹果提货卡 礼品卡做好了吗?
热门文章
- VC(Visual Studio C++)虚拟键VK值列表
- centos网络显示已连接但无法打开网页
- 160个crackme 024详细题解(动态指令)
- 使用VSCode中遇到的问题
- python里float什么意思_Python中的float是什么意思,小白求答?
- java计算机毕业设计智慧防疫上报系统服务端源码+数据库+系统+lw文档
- JS禁用页面某区域不可选中文字、及修复导致行内编辑出现某单元格不可输入的问题
- 如何有效地帮助新人融入项目中
- python 最新版本(V3.8.8_32bit)安装教程
- 前端 - 屏幕尺寸,分辨率,像素,PPI 解析汇总