前言

利用Python爬取QQ音乐评论。废话不多说。

让我们愉快地开始吧~

开发工具

Python版本： 3.6.4

相关模块：

requests模块；

re模块；

pymysql模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

通过这次爬取，学习了数据库MySQL，因为之前都是在windows上操作，而这回需要在Mac上操作，所以就在Mac上安装了MySQL以及MySQL的管理工具Sequel Pro，最后也是安装成功，数据库连接也没有问题。

接下来创建数据库，表格及主键信息。

import pymysql
# 创建数据库
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306)
cursor = db.cursor()
cursor.execute("CREATE DATABASE QQ_Music DEFAULT CHARACTER SET utf8mb4")
db.close()

import pymysql
# 创建表格, 设置主键
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music')
cursor = db.cursor()
sql = 'CREATE TABLE IF NOT EXISTS comments (nike VARCHAR(255) NOT NULL, comment VARCHAR(255) NOT NULL, praisenum INT NOT NULL, comment_id VARCHAR(255) NOT NULL, time VARCHAR(255) NOT NULL, PRIMARY KEY (comment))'
cursor.execute(sql)
db.close()

针对QQ音乐中去年夏天的网页进行分析，查看了所有评论的尾页，发现时间缩水了，因为热评中有一条评论的时间7月12号，而所有评论最后一页的时间却是7月16号。很明显，所有评论并不是货真价实的所有评论，不知这算不算QQ音乐的BUG。

还有一个就是直接点击最后一页的时候，并不能直接返回真正的信息，需要从最后一页往前翻，到了真正的信息页时，然后再往后翻，才能得到最后一页的真正信息。

同样是Ajax请求，确认网址后，分析一下请求头，发现主要是三个参数发生变化：jsoncallback

pagenum

lasthotcommentid

pagenum不难理解，就是页数。jsoncallback经过实验后，发现并不会影响请求，所以设置时无需改动，lasthotcommentid的值对应的是上一页最后一个评论者的ID，所以需要随时改动。

即改变pagenum，lasthotcommentid的值，就可成功实现请求。

部分代码

import re
import json
import time
import pymysql
import requestsURL = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?'HEADERS = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}PARAMS = {'g_tk': '5381','jsonpCallback': 'jsoncallback4823183319594757','loginUin': '0','hostUin': '0','format': 'jsonp','inCharset': 'utf8','outCharset': 'GB2312','notice': '0','platform': 'yqq','needNewCode': '0','cid': '205360772','reqtype': '2','biztype': '1','topid': '213910991','cmd': '8','needmusiccrit': '0','pagenum': '0','pagesize': '25','lasthotcommentid': '','callback': 'jsoncallback4823183319594757','domain': 'qq.com','ct': '24','cv': '101010',
}LAST_COMMENT_ID = ''db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306,  db='QQ_Music', charset='utf8mb4')
cursor = db.cursor()def get_html(url, headers, params=None, tries=3):try:response = requests.get(url=url, headers=headers, params=params)response.raise_for_status()response.encoding = 'utf-8'except requests.HTTPError:print("connect failed")if tries > 0:print("reconnect...")last_url = urlget_html(last_url, headers, tries-1)else:print("3 times failure")return Nonereturn responsedef paras_html(html):data = {}content = json.loads(html[29:-3])for item in content['comment']['commentlist']:data["nike"] = item.get("nick")data["comment"] = re.sub(r"\\n", " ", item.get("rootcommentcontent"))data["comment"] = (re.sub(r"\n", " ", data["comment"]))[0:255]data["praisenum"] = item.get("praisenum")data["comment_id"] = item.get("commentid")data["time"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(item.get("time"))))yield datadef to_mysql(data):table = 'comments'keys = ', '.join(data.keys())values = ', '.join(['%s'] * len(data))sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values)update = ','.join([" {key} = %s".format(key=key) for key in data])sql += updatetry:if cursor.execute(sql, tuple(data.values())*2):print('Successful')except:print('Failed')db.rollback()db.commit()if __name__ == '__main__':main()

最后成功获取评论信息

Python爬虫实战，pymysql模块，Python实现抓取QQ音乐评论相关推荐

Python爬虫实战（4）：抓取淘宝MM照片
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺
其实本文的初衷是为了获取淘宝的非匿名旺旺,在淘宝详情页的最下方有相关评论,含有非匿名旺旺号,快一年了淘宝都没有修复这个. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语 ...
Python爬虫实战（1）：抓取毒舌电影最新推送
update:6/11/2017 由于毒舌电影公众号被关闭账号,源码已失效,可参考并调整相关参数以适配网站上其他公众号文章的抓取,望周知. ~~~~~~~~~~~ 作为一个电影爱好者," ...
Python爬虫实战：手机APP数据抓取分析！谁说不能爬取app数据的？
大多数手机APP里面返回的是json格式数据,或者一堆加密过的数据 .这里以超级课程表APP为例,使用python抓取超级课程表里用户发的话题.主要是练习python爬取app的一些方式和技巧. 1. ...
Python爬虫实战（二）：抓取京东苹果手机评价
目录 1. 网站分析 2. 示例代码 3. 注意事项 1. 网站分析本文实现的爬虫是抓取京东商城指定苹果手机的评论信息.使用 requests 抓取手机评论 API 信息,然后通过 json 模块的 ...
python爬取app播放的视频,Python爬虫工程师必学——App数据抓取实战视频教程
爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统数据抓取.本课程主要为同学讲解如何用python实现App数据抓取,课程从开发环境搭建,App爬虫必备利器详解,项目实战,到最后的多App ...
Python爬虫 | 斗图网表情包抓取
Python爬虫 | 斗图网表情包抓取 1.数据来源分析 2.制作div_list 3.发起请求 4.保存图片 5.批量获取 6.完整代码声明 1.数据来源分析打开斗图吧的主页,发现网址非常有 ...
Python爬虫如何去抓取qq音乐的歌手数据？
自从学会爬虫之后是不是有一种我什么都想爬一下的冲动?今天小千就来教大家如何去抓取qq音乐的歌手数据,项目实操多练习能更快提升自己哦. 今天的项目目标就是获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的 ...
手把手教你入侵网站修改数据_手把手教你使用Python抓取QQ音乐数据（第四弹）...
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
手把手教你使用Python抓取QQ音乐数据！
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...

Python爬虫实战，pymysql模块，Python实现抓取QQ音乐评论

前言

开发工具

环境搭建

部分代码

Python爬虫实战，pymysql模块，Python实现抓取QQ音乐评论相关推荐

最新文章

热门文章