python爬取qq音乐评论_教你用Python爬去QQ音乐评论
有态度地学习
去年夏天,好像于我而言,重要的事就是毕业来临,从此踏上了搬砖之路,从学校到职场,之间身份的转变,让我又多了一份责任。当然还有一段感情经历,现在回头去看,只能说且行且珍惜,或许以后未必能再遇见!
本次爬取的是QQ音乐的评论信息,作为一名基本不看评论的人,真的羞愧难当。不过音乐嘛,听听就不错啦,哪有闲情雅致去看,又或是去评,毕竟文化水平有限,想想就脑瓜疼。
通过这次爬取,学习了数据库MySQL,因为之前都是在windows上操作,而这回需要在Mac上操作,所以就在Mac上安装了MySQL以及MySQL的管理工具Sequel Pro,最后也是安装成功,数据库连接也没有问题。
接下来创建数据库,表格及主键信息。
import pymysql
# 创建数据库
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306)
cursor = db.cursor()
cursor.execute("CREATE DATABASE QQ_Music DEFAULT CHARACTER SET utf8mb4")
db.close()
import pymysql
# 创建表格, 设置主键
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music')
cursor = db.cursor()
sql = 'CREATE TABLE IF NOT EXISTS comments (nike VARCHAR(255) NOT NULL, comment VARCHAR(255) NOT NULL, praisenum INT NOT NULL, comment_id VARCHAR(255) NOT NULL, time VARCHAR(255) NOT NULL, PRIMARY KEY (comment))'
cursor.execute(sql)
db.close()
针对QQ音乐中去年夏天的网页进行分析,查看了所有评论的尾页,发现时间缩水了,因为热评中有一条评论的时间7月12号,而所有评论最后一页的时间却是7月16号。很明显,所有评论并不是货真价实的所有评论,不知这算不算QQ音乐的BUG。
还有一个就是直接点击最后一页的时候,并不能直接返回真正的信息,需要从最后一页往前翻,到了真正的信息页时,然后再往后翻,才能得到最后一页的真正信息。
同样是Ajax请求,确认网址后,分析一下请求头,发现主要是三个参数发生变化:jsoncallback
pagenum
lasthotcommentid
pagenum不难理解,就是页数。jsoncallback经过实验后,发现并不会影响请求,所以设置时无需改动,lasthotcommentid的值对应的是上一页最后一个评论者的ID,所以需要随时改动。
即改变pagenum,lasthotcommentid的值,就可成功实现请求。
爬取代码如下:
import re
import json
import time
import pymysql
import requests
URL = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?'
HEADERS = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
PARAMS = {
'g_tk': '5381',
'jsonpCallback': 'jsoncallback4823183319594757',
'loginUin': '0',
'hostUin': '0',
'format': 'jsonp',
'inCharset': 'utf8',
'outCharset': 'GB2312',
'notice': '0',
'platform': 'yqq',
'needNewCode': '0',
'cid': '205360772',
'reqtype': '2',
'biztype': '1',
'topid': '213910991',
'cmd': '8',
'needmusiccrit': '0',
'pagenum': '0',
'pagesize': '25',
'lasthotcommentid': '',
'callback': 'jsoncallback4823183319594757',
'domain': 'qq.com',
'ct': '24',
'cv': '101010',
}
LAST_COMMENT_ID = ''
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music', charset='utf8mb4')
cursor = db.cursor()
def get_html(url, headers, params=None, tries=3):
try:
response = requests.get(url=url, headers=headers, params=params)
response.raise_for_status()
response.encoding = 'utf-8'
except requests.HTTPError:
print("connect failed")
if tries > 0:
print("reconnect...")
last_url = url
get_html(last_url, headers, tries-1)
else:
print("3 times failure")
return None
return response
def paras_html(html):
data = {}
content = json.loads(html[29:-3])
for item in content['comment']['commentlist']:
data["nike"] = item.get("nick")
data["comment"] = re.sub(r"\\n", " ", item.get("rootcommentcontent"))
data["comment"] = (re.sub(r"\n", " ", data["comment"]))[0:255]
data["praisenum"] = item.get("praisenum")
data["comment_id"] = item.get("commentid")
data["time"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(item.get("time"))))
yield data
def to_mysql(data):
table = 'comments'
keys = ', '.join(data.keys())
values = ', '.join(['%s'] * len(data))
sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values)
update = ','.join([" {key} = %s".format(key=key) for key in data])
sql += update
try:
if cursor.execute(sql, tuple(data.values())*2):
print('Successful')
except:
print('Failed')
db.rollback()
db.commit()
def main():
first_Links = []
three_Links = []
count = 0
global LAST_COMMENT_ID
for page in range(1045):
if page % 5 == 0:
time.sleep(2)
PARAMS['lastcommentid'] = LAST_COMMENT_ID
PARAMS['pagenum'] = page
if first_Links:
if count >= 3:
three_Links.append(first_Links.pop())
continue
count += 1
response = get_html(first_Links.pop(), HEADERS)
else:
count = 0
response = get_html(URL, HEADERS, PARAMS)
if response:
try:
for item in paras_html(response.text):
to_mysql(item)
print("Successful", response.url)
LAST_COMMENT_ID = item['comment_id']
except TypeError:
print(response.url)
first_Links.append(response.url)
cursor.close()
db.close()
print(three_Links)
if __name__ == '__main__':
main()
最后成功获取评论信息
这里有一个问题,因为请求头是一直变化的,所以可能会错过一些评论页,导致评论获取不完全,这里只需多运行几次代码,或者在主程序加个循环即可,注意要设置下延迟,之后基本上能获取大部分的评论。
推荐阅读:
python爬取qq音乐评论_教你用Python爬去QQ音乐评论相关推荐
- python爬取大众点评数据_利用Node.js制作爬取大众点评的爬虫
前言 Node.js天生支持并发,但是对于习惯了顺序编程的人,一开始会对Node.js不适应,比如,变量作用域是函数块式的(与C.Java不一样):for循环体({})内引用i的值实际上是循环结束之后 ...
- python爬取qq群成员_教你用python爬取自己加入的QQ群成员名单
本次实验环境: 操作系统:Mac OS 开发语言:python 3.6 IDE:jupyter notebook(建议使用) 浏览器:Chrome(版本75.0.3770.100) 需要用到的库:se ...
- python爬取微博恶评_详解用python写网络爬虫-爬取新浪微博评论
新浪微博需要登录才能爬取,这里使用m.weibo.cn这个移动端网站即可实现简化操作,用这个访问可以直接得到的微博id. 分析新浪微博的评论获取方式得知,其采用动态加载.所以使用json模块解析jso ...
- python爬取有道词典_利用Python3和Charles爬取有道词典,生成翻译exe单文件
感觉挺好玩的,所以就转了,但我也做了定制化. 原文: 一.用Charles爬取数据(Windows用Fiddler也差不多) Charles是一个多平台的抓包工具,可以很方便的抓取http和https ...
- java爬取网页并保存_第九讲:Python爬取网页图片并保存到本地
上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地. 思路如下: 我们本次要爬取的是昵图网首页的图片. 1.首先分析我们要爬取的网页的代码结构,每个网页 ...
- python爬取今日头条专栏_[python3]今日头条图片爬取
前言 代码设计流程,先模拟ajax发送搜索"街拍美女",提取返回json里面的article_url,再访问article_url,提取article_url响应的图片url,访问 ...
- python爬取有道词典_利用Python3和Charles爬取有道词典
一.用Charles爬取数据 Charles是一个多平台的抓包工具,可以很方便的抓取http和https数据. 1.抓取数据 抓取数据前我们首先要清楚,由于有道词典的翻译使用的是post请求,所以我们 ...
- python爬取百度地图数据_百度地图POI数据爬取
利用百度地图开发者中心中的web API获取城市POI数据,后期会写出完整的多种参数详细数据获取教程.本次只写出了根据关键词和目的地的数据获取程序. 将爬取下来的数据保存到本地csv文件. 百度API ...
- python爬取bilibili数据_python基础教程之selenium+phantomjs爬取bilibili
selenium+phantomjs爬取bilibili 首先我们要下载phantomjs 你可以到 http://phantomjs.org/download.html 这里去下载 下载完之后解压到 ...
最新文章
- JS最流行Rust最受喜爱Clojure最赚钱,PHP:那我走?|2021年全球开发者报告
- 深入理解分布式技术 - 实践分库分表
- oracle adg的特点是什么,Oracle12c ADG新特性
- 谷歌提议更改Istio指导委员会
- Maven 依赖中 scope 详解
- linux串口tx缓冲区大小,[Linux C]自己写的串口缓冲区
- centos6.9下rpm方式安装mysql后mysql服务无法启动
- 模型评估与选择(后篇)-代价曲线
- mongodb 什么比mysql快_MongoDB为什么比mysql效率高
- 让你快速了解外汇EA
- 分布式光伏运维服务器,分布式光伏电站专业运维管理
- Deepin系统安装docker
- 程序猿进化 - 在拉钩子1024对APE节讲座计划
- 低代码助力制造型企业——工时管理系统
- 从零学前端第一讲:前端开发是什么?给初学者有什么建议?
- 二分类资料校准曲线calibration curve的绘制
- 强势解析eBay BASE模式、去哪儿及蘑菇街分布式架构
- 按键精灵_字符点阵制作
- 领导驾驶舱大数据平台的实施流程
- 计算机辅助程序英语,计算机辅助学习英语单词分组的设计
热门文章
- Lora模块一对一和一对多
- TCA9548A iic地址扩展器件 树莓派JAVA版教程
- java Flink使用addSink方法保存流到mysql数据库中
- 解决sklearn.metrics指标报错ValueError: Target is multiclass but average=‘binary‘. Please choose anothe...
- 使用selenium爬取csdn博客
- 西奥服务器修改楼层参数,西奥FOVF梯调试介绍.doc
- linux的ky3关闭防火墙,ky3-8
- VueGoogleMaps在vue中的使用
- java框架之Quartz-任务调度整合Spring
- Ping突然出现请求超时的问题