python爬取加密qq空间_Python爬取qq空间说说
#coding:utf-8
#!/usr/bin/python3
from selenium import webdriver
import time
import re
import importlib2
import sys
importlib2.reload(sys)
def startSpider():
driver = webdriver.Chrome('/Users/zachary/zachary/chromedriver.exe') #这个是chormedriver的地址
driver.get('https://qzone.qq.com/')
driver.switch_to.frame('login_frame')
driver.find_element_by_id('switcher_plogin').click()
driver.find_element_by_id('u').clear()
driver.find_element_by_id('u').send_keys('QQ号') #这里填写你的QQ号
driver.find_element_by_id('p').clear()
driver.find_element_by_id('p').send_keys('QQ密码') #这里填写你的QQ密码
driver.find_element_by_id('login_button').click()
time.sleep(2)
#设置爬取内容保存路径
f = open('/Users/zachary/Documents/shuoshuo.txt','w')
#---------------获得g_qzonetoken 和 gtk
html = driver.page_source
'''g_qzonetoken=re.search('window\.g_qzonetoken = \(function\(\)\{ try\{return (.*?);\} catch\(e\)',html)#从网页源码中提取g_qzonetoken'''
g_qzonetoken = "e794139a284d6ea9e0b26826e541b55df37d0667a3544f534de25aebdb64628d3ab75e1d7104bbb22a"
cookie = {}#初始化cookie字典
for elem in driver.get_cookies():#取cookies
cookie[elem['name']] = elem['value']
gtk=getGTK(cookie)#通过getGTK函数计算gtk
#print(g_qzonetoken)
#print(gtk)
#--------------获得好友列表 注意下面的链接
driver.get('https://user.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_hat_get.cgi?hat_seed=1&uin=你的QQ号fupdate=1&g_tk='+str(gtk)+'&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))
friend_list = driver.page_source
friend_list = str( friend_list )
abtract_pattern = re.compile('\"(.\d*)\":\{\\n"realname":"(.*?)"}',re.S)
QQ_name_list = re.findall(abtract_pattern,str(friend_list)) #数组
print(QQ_name_list)
numList=dict()# numList => (QQnum:QQname) #列表
for i in QQ_name_list:
numList[str(i[0])]=str(i[1])
begin = 0
last_source = ""
tag = 1
first = 0
firstTime=""
#如果要爬取自己的说说,手动添加自己的qq号
#numList['你的qq号']='你的名字'
#print(numList)
for key in numList.keys():
QQnum = key
QQname = numList[QQnum]
if QQnum == "好友qq号": #根据qq号查找指定好友说说
count = 1
begin = 0
while tag==1 :
#-------------进入好友说说页面 #'+QQnum+' '+str(begin)+'
#print("Begin:"+str(begin))
driver.get('https://user.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin='+QQnum+'&ftype=0&sort=0&pos='+str(begin)+'&num=40&replynum=200&g_tk='+str(gtk)+'&callback=_preloadCallback&code_version=1&format=jsonp&need_private_comment=1&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))
try:
msg_list_json = driver.page_source
except:
begin = begin + 40
continue
msg_list_json = str(msg_list_json)
if last_source==msg_list_json :
break
else:
last_source=msg_list_json
#检测是否没有权限访问
abtract_pattern = re.compile(',"message":"(.*?)","name":',re.S)
message = re.findall(abtract_pattern,str(msg_list_json))
if message!=[]:
if str(message[0])=='对不起,主人设置了保密,您没有权限查看':#对不起,主人设置了保密,您没有权限查看
break
#print(msg_list_json)
#解析JSON
#webDriver没有现成的JSON解析器,所以采用获取源码的方式,然后使用正则表达式获取具体细节
msg_list_json = msg_list_json.split("msglist")[1]#拆分json,缩小范围,也能加快解析速度
msg_list_json = msg_list_json.split("smoothpolicy")[0]
msg_list_json = msg_list_json.split("commentlist")[1:]
#说说动态分4种:1、文字说说(或带有配图的文字说说)
# 2、只有图片的说说
# 3、转发,并配有文字
# 4、转发,不配文字
for text in msg_list_json:
# 1、先检查说说,用户是否发送了文字,如果没有文字,正则表达式匹配无效
abtract_pattern = re.compile('\}\],"content":"(.*?)","createTime":"(.*?)","created_time":(.*?),"',re.S)
msg_time = re.findall(abtract_pattern,str(text))
if msg_time!=[]:
# 2、如果作者说说有文字,那么检查是否有转发内容
msg = str(msg_time[0][0])
sendTime = str(msg_time[0][1])
abtract_pattern = re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)
text = text.split("created_time")[1]
msg_time2 = re.findall(abtract_pattern,str(text))
#合并发送内容 格式:评论+转发内容
if msg_time2!=[]:
msg = msg +" 转发内容:"+str(msg_time2[0][0])
else:
# 3、说说内容为空,检查是否为 =>只有图片的说说 or 转发,不配文字
#获取正文发送时间 (发送时间分为:正文发送时间 or 转发时间)
abtract_pattern = re.compile('"conlist":null,"content":"","createTime":"(.*?)",',re.S)
msgNull_time = re.findall(abtract_pattern,str(text))
if msgNull_time!=[]:
#如果有正文发送时间,那么就是这条说说仅含有图片 =>只有图片的说说
msg = "图片"
sendTime = str(msgNull_time[0])
else:
#如果没有正文发送时间,那么就是说这条说为 =>转发,不配文字
abtract_pattern = re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)
msg_time = re.findall(abtract_pattern,str(text))
msg =" 转发内容:"+str(msg_time[0][0])
sendTime = str(msg_time[0][1])
#写入本地文件
#f.write('{},{},{},{}\n'.format(str(QQname),str(QQnum),sendTime,msg))
print(str(count)+" : "+str(QQname)+" : "+str(QQnum)+" : "+sendTime+" : "+msg)
count = count + 1
begin = begin + 40
def getGTK(cookie):
hashes = 5381
for letter in cookie['p_skey']:
hashes += (hashes << 5) + ord(letter)
return hashes & 0x7fffffff
startSpider()
print("爬取结束")
python爬取加密qq空间_Python爬取qq空间说说相关推荐
- python 爬陌生人qq空间_Python爬取qq空间说说
#coding:utf-8 #!/usr/bin/python3 from selenium import webdriver import time import re import importl ...
- python听歌识曲爬虫_Python爬取网易云音乐热门评论的搜索结果-阿里云开发者社区...
网易云音乐评论爬虫(三):爬取歌曲的全部评论 用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是接近百万或者是超过百万条.现在我就来分享一下如何爬取网易云音乐歌曲的 ...
- python 数据分析 书籍推荐 知乎_Python 爬取知乎 9674 个问答,揭秘最受欢迎的 98 本书!...
原标题:Python 爬取知乎 9674 个问答,揭秘最受欢迎的 98 本书! 作者 | Yura 责编 | 胡巍巍 高尔基这话有没有道理我不知道, 咱也不敢问, 主要是现在也问不了. 那对我来说,读 ...
- python爬取虎扑评论_Python爬取NBA虎扑球员数据
虎扑是一个认真而有趣的社区,每天有众多JRs在虎扑分享自己对篮球.足球.游戏电竞.运动装备.影视.汽车.数码.情感等一切人和事的见解,热闹.真实.有温度. 受害者地址 https://nba.hupu ...
- python知乎爬虫收藏夹_Python爬取知乎问题收藏夹 爬虫入门
简介 知乎的网站是比较好爬的,没有复杂的反爬手段,适合初学爬虫的人作为练习 因为刚刚入门python,所以只是先把知乎上热门问题的一些主要信息保存到数据库中,待以后使用这些信息进行数据分析,爬取的网页 ...
- python爬取音乐并保存_Python爬取网易云音乐上评论火爆的歌曲
前言 网易云音乐这款音乐APP本人比较喜欢,用户量也比较大,而网易云音乐之所以用户众多和它的歌曲评论功能密不可分,很多歌曲的评论非常有意思,其中也不乏很多感人的评论.但是,网易云音乐并没有提供热评排行 ...
- python百度贴吧 发帖时间_python爬取贴吧帖子
一.介绍 我们常遇到一些很长的贴吧连载帖子想存到本地再看 此文就是运用python爬取指定百度贴吧的帖子并存到本地满足需求 环境:python2.7 目标网页:[长篇连载]剑网3的正史和野史--从头开 ...
- python爬取b站用户_python爬取b站排行榜
爬取b站排行榜并存到mysql中 目的 b站是我平时看得最多的一个网站,最近接到了一个爬虫的课设.首先要选择一个网站,并对其进行爬取,最后将该网站的数据存储并使其可视化. 网站的结构 目标网站:bil ...
- python访问陌生人qq空间_Python爬虫获取QQ空间信息(上)
开发工具 Python版本:3.6.4 相关模块: requests模块: selenium模块: lxml模块: 以及一些Python自带的模块. 环境搭建 安装Python并添加到环境变量,pip ...
- python访问陌生人qq空间_python程序记录QQ空间条说说的访问详情
3.[代码]主要代码文件 #!python # coding=utf-8 import qqlib, getpass, json, time, sys, codecs reload(sys) sys. ...
最新文章
- 亲测好用!如何快速访问github网站?
- java rop_Java命令行界面(第23部分):Rop
- 如何选择合适的BI工具
- 分子动力学模拟AMBER参数意义
- 渗透测试基础总结(脚本小子)
- python web 开发从入门到精通 pdf_Python Web开发从入门到精通
- wuli大excel
- 《Spring Boot极简教程》附录2 编程的本质
- java -基于反射和XML,将XML内的数据输出
- 人工智能的落地及未来的发展
- python实现RSA数字签名(纯算法实现)
- 批量重命名,文件夹重命名的五种方式分享
- python爬取网页返回响应中出现百度安全验证的解决办法
- php 汉语转换拼音
- 关于CSS九宫格展示图片写法
- 5、CYC-GPS接收机
- 解决AD中pcb原件移动提示绿色报错问题
- 微服务架构设计实践之七:业务架构
- 手淘商家累计活跃粉丝破百亿 电商进入“拼粉”时代
- 普通人“微创业”实例
热门文章
- 数据库中违反外键约束的情况
- 基于STM32的MLX90614人体红外测温枪
- C++ 后端开发工程师的技术栈整理
- 弱水三千,只取一瓢,当图像搜索遇见PostgreSQL(Haar wavelet)
- ORACLE局域网连接
- Unicode 字符编码表|汉字Unicode编码的区间为:0x4E00→0x9FA5(转)
- 【学习笔记】维基百科中文数据处理(NLP)
- 计算机替换字体怎么操作,字体管家怎么换字体 电脑更换字体的教程介绍
- 2021年氧化工艺报名考试及氧化工艺模拟试题
- mysql 查询优化实验报告_数据库优化查询实验报告.docx