【超详细】QQ空间说说爬取教程(看看你的女神在想什么~
【超详细】QQ空间说说爬取教程
文章目录
- 【超详细】QQ空间说说爬取教程
- 环境
- selenium模拟登录
- 说说内容获取
- 破解g_tk
- 说说的评论获取
- 说说的点赞人获取
- url参数构成
- 好友列表获取
- 数据库的存储
- 如何加速
- ps
暑假闲来无事,研究了一下QQ空间的爬取,以下是一些记录
环境
- 系统: win10
- 语言: python3.7
- 浏览器: Chrome
- 数据库: mysql 8.0
selenium模拟登录
QQ空间的反爬做的相对较好,而且由于好友权限的原因,我们要先登录后再进行说说等信息的获取
selenium是获取登录cookies的一大利器,非常方便
在空间的登陆界面可以观察到,登录的窗口与背景窗口是分开的,所以我们需要先切换frame
切换窗口后定位到账号密码登录
元素的位置后点击
使用send_keys
函数把账号和密码写入对应位置后定位登录
元素后点击,这里使用自带的get_cookies
函数获取到cookies,但是这个cookies需要过滤一下,具体操作看以下代码
代码为类的部分节选,完整代码在最后,未声明的变量皆为类的成员变量
def login_func(self,z):browser = webdriver.Chrome()browser.maximize_window()browser.get(self.login_url)time.sleep(1.2)browser.switch_to.frame('login_frame')browser.find_element_by_id('switcher_plogin').click()time.sleep(1)browser.find_element_by_id('u').send_keys(self.number)browser.find_element_by_id('p').send_keys(self.password)time.sleep(1)browser.find_element_by_id('login_button').click()time.sleep(1)cookies_list = browser.get_cookies()for cookie in cookies_list:if 'name' in cookie and 'value' in cookie:self.cookies[cookie['name']] = cookie['value']# print(self.cookies)with open('cookie_dict_{}.txt'.format(z),'w') as f: # 这里是为了一次性多刷几次cookies建立一个cookies池,便于加快爬虫速度,后面再提json.dump(self.cookies,f)# browser.close()
说说内容获取
在打开开发者工具后,在众多XHR对象中发现emotion_cgi……
里面的msglist
即是说说的内容
这里的msglist
是个列表,里面有0-20条不等的说说,可能跟空间发的说说的形式问题相关,至多不超过20条
稍微猜测一下这里的参数的含义,一眼明了的我就不说了,我不清楚的也没有肆意揣度
cmtnum 转发数
commentlist 评论列表,里面是每条说说的评论内容
conlist 内容的一个列表,里面有两个参数,一个是内容一个不知道有啥作用,取内容的话直接取下面的content也是一样的
created_time 说说发表的时间戳
isEditable 是否编辑过
lbs 位置信息
name 你给的备注,没备注就是昵称
pic 如果发的说说有图片则在这个键下面,但是如果没有图片则没有这个键
pictotal 图片数量,没有图片则没有这个键
rt_sum 猜测是转发数量
source_appid 说说来自的app标识
source_name 说说来自的设备名称
source_url 说说来自的网址
tid 这个是每个说说独一无二的标识,可能是根据某些变量使用特定的算法得出的,直接使用即可
uin 该说说的作者QQ
当然如果是转发的说说,这里还会多别的一些键值,我这里未对转发说说进行处理,只是单纯地取出该QQ转发时发送的内容,有兴趣的朋友可以加以改进
下面我们看一下这个内容的获取网址构成
在Headers
选项中可以看网址的构成参数
经过尝试发现,uin
后面对应目标QQ号,sort
可能对应排序方式,我采取的默认值0,pos
这是个关键参数,其改变决定了返回数据的范围,num
是返回的说说数量,我选用的是默认值,不知道增大会有什么变化,读者可以尝试
最后一个关键参数是g_tk
,这是个加密参数,有了这个才能正确登录
破解g_tk
经过网上的搜索发现是js,破解的方法见下图
随意点开一个人的空间,进行如下操作
搜索g_tk=
后面的关键词
找到对应的函数,这里的函数读一下之后将其转成对应的python
语言即可
def get_g_tk(self):p_skey = self.cookies['p_skey']t = 5381for i in p_skey:t += (t<<5) + ord(i)return t & 2147483647
说说的评论获取
这里没什么好说的,数据返回是跟说说一起的,在commentlist
的键里面,里面的键值对和外面的类似,这里就不赘述了,值得一提的是,外面的cmtnum
返回的评论数是指单独的回复数量,也就是跟楼的评论数量不被统计,跟楼的评论在每条父评论的里面,对应键list_3
说说的点赞人获取
框内可以点击,点击后出现
同时右边出现一个
这里对应的内容为
is_dolike 我是否点赞了
like_uin_info 点赞这条说说的朋友的信息(除我以外
total_number 总共的点赞数量
每位点赞好友里面还有一些信息,我这里就没有赘述,那些键值都看得懂
url参数构成
那么还需要知道的就是url的构成,老方法,先看headers
那tid在哪里呢
之前的msglist
里每条说说底下对应都存在一条tid
,这里就是它的用武之地了!
好友列表获取
我在网上看到过很多个版本
我自己也都尝试了一下,以下的版本获取到的好友信息与QQ好友是最一致的
进入自己的空间后在设置中点权限设置
找到对应的项,friendlist
里面即是,但是只有50条,如果你点开了xxx个QQ好友
并向下滚动后查看url构成
就会发现
offset
偏移量用来查看更多的好友
如果是最后一页,返回的字典中的键end
的值为1
数据库的存储
由于对数据库的使用不是十分熟练,这里单纯只是为了存一下,有很多弊端,例如图片的存储
而且用的很丑陋,这段代码可以忽略
def check_exist(self,uid):cursor = self.conn.cursor()cursor.execute("show databases")content = [i[0] for i in cursor.fetchall()]if uid not in content:cursor.execute('create database `{}`;'.format(uid))cursor.execute('use `{}`;'.format(uid))msg = '''create table msg(id text,name char(100),content TEXT,createtime timestamp,tid char(32),location char(32),posx int(20),posy int(20),comment_num int(11),like_num int(11),pic_url TEXT,pic_num int,source_appid char(32),source_name char(32),is_tran char,trans_num char(32),trans_content TEXT);'''cursor.execute(msg)cmt = '''create table comment(tid char(32),id text,name char(100),content TEXT,createtime timestamp,reply TEXT)'''cursor.execute(cmt)like_table='''create table like_table(tid char(32),id text,name char(100),addr char(32),constellation char(32),gender char(4),if_qq_friend int(1),if_special_care int(1),is_special_vip int(1),portrait TEXT)'''cursor.execute(like_table)self.conn.commit()return 1else:return 0
如何加速
采取的是线程池,开多个线程同时跑
由于说说内容和点赞人的信息是两个请求,所以这之间需要一个暂停,否则很容易被拒绝请求
但是这样的方法还是有些问题的,尽管线程数增加了,同时爬取了多个空间,但是由于一个空间只是一个cookies,相当于一个空间还是单线程
后来修改了一下,搭了一个cookies池,15个线程爬同一个空间,速度明显加快,大约是2分钟600条说说,也就是1200+次访问,这还是在每次请求后暂停2-3s后的结果,由于测试的时候我的网络并不稳定,所以这个结果并不是最好结果,但即使是在网络不稳定的情况下,爬虫依旧十分稳定,并且只要cookies池够大,线程数就可以增加,效率自然也就会往上提
但是最新版本还没有提供多人同时爬取(代码还没写好,暂时鸽一下,有空改
最后啰嗦一句,如果是新号,频繁登录会被认定为异常,在午夜12点之后频繁登录也会被认定为异常,白天就很正常
ps
被拒绝访问的好友会被记录,但是这部分的数据库我是单独创建的,代码如下(不完整,自己补全
cursor.execute('create database `deny`;')
cursor.execute('use `deny`;')
s = '''
create table deny_friends
(
id text,
name text
)
'''
cursor.execute(s)
以下是源码地址
github源码地址
如果你觉得以上内容对你有所帮助,希望你能为我点个赞鼓励创作!谢谢~
【超详细】QQ空间说说爬取教程(看看你的女神在想什么~相关推荐
- 【Python爬虫实例学习篇】——5、【超详细记录】从爬取微博评论数据(免登陆)到生成词云
[Python爬虫实例学习篇]--5.[超详细记录]从爬取微博评论数据(免登陆)到生成词云 个人博客地址:ht/tps://www.asyu17.cn/ 精彩部分提醒: (1)微博评论页详情链接为一个 ...
- python爬取陌生人的qq空间_Python爬取QQ空间好友说说并生成词云(超详细)
前言 先看效果图: 思路 1.确认访问的URL 2.模拟登录你的QQ号 3.判断好友空间是否加了权限,切换到说说的frame,爬取当前页面数据,下拉滚动条,翻页继续获取 爬取的内容写入本地TXT文件中 ...
- 超详细解析python爬虫爬取京东图片
超详细图片爬虫实战 实例讲解(京东商城手机图片爬取) 1.创建一个文件夹来存放你爬取的图片 2.第一部分代码分析 3.第二部分代码分析 完整的代码如下所示: 升级版代码: 爬取过程中首先你需要观察在手 ...
- python 爬陌生人qq空间_Python爬取qq空间说说
#coding:utf-8 #!/usr/bin/python3 from selenium import webdriver import time import re import importl ...
- 测试你最关心的QQ好友并爬取空间留言
前言 每个人都有幼稚.单纯的过去,而陪伴我们90后最多的非QQ莫属!那些年动不动就喜欢给别人留言,给自己留言,然后分手后通通全删?哈哈,别看了,你肯定有这样的经历.楼主也是个多愁善感的人,喜欢自己给自 ...
- url获取网站信息不包含网页源文件内的标签_超详细的网站内部seo优化教程
很多人把seo分为站内和站外,也有人把seo分为搜索需求覆盖,收录,排序,展现和数据分析,结果是一样的,看待seo的角度有所不同.网站内部即站内seo优化教程主要从站内讲解如何做seo.另外,一篇文章 ...
- 华硕笔记本电脑计算机专业,超详细华硕笔记本电脑重装系统图文教程
原标题:超详细华硕笔记本电脑重装系统图文教程 重装系统难吗?不难,难的是你不愿意尝试迈出第一步.今天给大家分享的是超详细华硕笔记本电脑重装系统图文教程,通过使用小白一键重装系统工具可以让我们快速的了解 ...
- win10图标变白纸_超详细的纯净版win10安装教程,手把手教你学会,小白秒变大神!...
最近很多用户问怎么安装纯净版的win10系统,那么今天针对这个问题,和大家分享一下超详细的纯净版win10安装教程,手把手教学,大伙们赶紧收藏哦! 如何安装?这一完整教程分为4个部分: 准备工作→系统 ...
- QQ群信息爬取-------抓包破解接口(2)
QQ群信息爬取-------使用模拟登陆(1) 这个比之前的爬取效率更高,爬取的网站https://qun.qq.com/member.html,简单说一下思路 首先首先使用模拟登陆获取cookie ...
- 超详细|ChatGPT辅助论文降重教程100%降至13%
超详细|ChatGPT辅助论文降重教程100%降至13% 1. ChatGPT指令 1.1 同义词替换 1.2 同义词替换+改变语序 1.3 扩充字段 1.4 学术化内容 1.5 扩充+删减字段+学术 ...
最新文章
- 单链表-删除单链表L中第一个值为x的结点(双指针法)
- unity3d EasyTouch滑动屏幕移动相机观看场景
- ubuntu中安装hadoop集群
- Python 命令行参数
- python读取配置文件 分段_Python3读写ini配置文件的示例
- 表的插入、更新、删除、合并操作_17_按照条件删除表中记录
- ansible(5)——使用通配符操作ansible命令
- .NET中生成动态验证码
- docker查找镜像_5 款非常好用的开源 Docker 工具,get一波~
- 解密诡异并发问题的幕后黑手:可见性问题
- thymeleaf的属性优先级
- 【数据库中间件】分布式组件 - ClusterDB-Client
- 二进制样式的字符串与byte数组互转函数示例
- python_四元数/旋转矩阵/欧拉角之间的相互变换(简单易用版)
- wps linux 哪个版本好用吗,WPS Linux版与国产统一操作系统UOS完成适配:体验追上Wintel...
- html阿里矢量图标库,矢量图标素材库_阿里巴巴矢量图标库的使用
- 证监会行业分类代码对照表(2001+2012年)
- python处理nc文件时,遇到不同的产品中经度坐标的排序不一致
- 英语语法之后缀决定词性
- 7-1 自动售货机 (30 分)