利用API爬取QQ音乐评论

Python爬取QQ音乐单曲

爬虫步骤
1.爬虫准备
python安装了request模块，Chrome浏览器，明确目标，本次爬取的是QQ音乐《你不要担心》的前十页评论及对应的用户。
2.爬虫分析
首先我们打开（QQ音乐网页），然后搜索你不要担心，点击第一个结果进入歌曲的详情页（你不要担心——李迪），歌曲评论在详情页下方。然后我们打开 QQ 音乐的 robots.txt，看看是否禁止我们爬取，内容如下：
看上去只是禁止爬取 playlist 相关的信息，我们爬取歌曲评论应该问题不大。
点击 Network 中的 XHR 过滤其他类型的请求，得到我们想要的API链接。

评论数据就在 comment 下的 commentlist 中，commentlist 中的每一项都有 nick、avatarurl、rootcommentcontent等数据。我们可以确认评论的数据就是通过它获取的。

3.编写代码

import requests
import time
#请求头
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36'}
lasthotcommentid = ''
#加快爬取速度
pagesize = '15'
# 前十页
for pagenum in range(10):params = {"g_tk_new_20200303":"5381""g_tk":"5381","loginUin":"0","hostUin":"0","format":"json","inCharset":"utf8","outCharset":"GB2312","notice":"0","platform":"yqq.json","needNewCode":"0","cid":"205360772","reqtype":"2","biztype":"1","topid":"105689469","cmd":"8","needmusiccrit":"0","pagenum":pagenum,"pagesize":pagesize,"lasthotcommentid":lasthotcommentid,"domain":"qq.com","ct":"24","cv":"10101010"
}res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg',headers=headers,params=params)data = res.json()for item in data['comment']['commentlist']:print('{}:{}'.format(item['nick'],item['rootcommentcontent']))lasthotcommentid = data['comment']['commentlist'][-1]['commentid']#防止爬取太快被封time.sleep(2)

4.爬虫结果

利用API爬取QQ音乐评论相关推荐

python爬取qq音乐评论_爬虫：QQ音乐评论
QQ音乐评论有些小伙伴反馈,对于爬虫的完整流程,还是不清楚,这边就按顺序,给大家梳理一下反爬首先查看一下,我们要爬取的网页,是否反爬(各种侵害人家服务器的事情,我们不能干) QQ音乐网址:htt ...
python爬取QQ音乐评论信息
QQ音乐评论爬取分析 1.随便选个音乐 2. g_tk函数介绍 3. topid 4. python 代码 5. 结果 1.随便选个音乐 https://y.qq.com/n/yqq/song/003 ...
python爬取qq音乐评论_教你用Python爬去QQ音乐评论
有态度地学习去年夏天,好像于我而言,重要的事就是毕业来临,从此踏上了搬砖之路,从学校到职场,之间身份的转变,让我又多了一份责任.当然还有一段感情经历,现在回头去看,只能说且行且珍惜,或许以后未必能再 ...
爬取qq音乐评论完整代码
import requests,openpyxl wb=openpyxl.Workbook() #创建工作薄 sheet=wb.active #获取工作薄的活动表 sheet.title='resta ...
【Python爬虫实战】使用Selenium爬取QQ音乐歌曲及评论信息
本文对使用到的技术仅做简单的介绍,若想了解更多,请前往相应的官网网站进行学习. 本文适合对爬虫相关知识接触不多的新手,主要是普及Selenium如何做爬虫,大佬请跳过. 1.Selenium简单介绍 ...
爬取qq音乐的评论并生成词云——以《听妈妈的话》为例
爬取qq音乐的评论并生成词云我们选取的是歌曲的周杰伦的听妈妈的话先看效果图首先,我们进去qq音乐找到这首歌网易云出来挨打 https://y.qq.com/n/yqq/song/002hXD ...
练习---爬取QQ音乐某首歌的评论，并存入Excel表中---以《消愁》为例
import requests from bs4 import BeautifulSoup import json import xlwt#存储成Excel表格的函数 def save_excel(c ...
爬虫入门——爬取QQ音乐某一歌手前五首歌曲信息及相关评论
文章目录前言一.查看信息二.代码实现总结前言 python课作业请使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手(可以是任意歌手)最受欢迎的前5首歌曲的歌词.流派.歌 ...
【python】实验2项目2：使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手（陈奕迅）
请使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手(可以是任意歌手)最受欢迎的前5首歌曲的歌词.流派.歌曲发行时间.评论条数.评论时间.评论点赞次数.评论内容具体(每一首歌的评论& ...
Python网络爬虫数据采集实战：Scrapy框架爬取QQ音乐存入MongoDB
通过前七章的学习,相信大家对整个爬虫有了一个比较全貌的了解 ,其中分别涉及四个案例:静态网页爬取.动态Ajax网页爬取.Selenium浏览器模拟爬取和Fillder今日头条app爬取,基本 ...

利用API爬取QQ音乐评论

Python爬取QQ音乐单曲

利用API爬取QQ音乐评论相关推荐

最新文章

热门文章