用python爬取qq空间内容_Python爬取qq空间说说的实例代码

具体代码如下所示：

#coding:utf-8

#!/usr/bin/python3

from selenium import webdriver

import time

import re

import importlib2

import sys

importlib2.reload(sys)

def startSpider():

driver = webdriver.Chrome('/Users/zachary/zachary/chromedriver.exe') #这个是chormedriver的地址

driver.get('https://qzone.qq.com/')

driver.switch_to.frame('login_frame')

driver.find_element_by_id('switcher_plogin').click()

driver.find_element_by_id('u').clear()

driver.find_element_by_id('u').send_keys('QQ号') #这里填写你的QQ号

driver.find_element_by_id('p').clear()

driver.find_element_by_id('p').send_keys('QQ密码') #这里填写你的QQ密码

driver.find_element_by_id('login_button').click()

time.sleep(2)

#设置爬取内容保存路径

f = open('/Users/zachary/Documents/shuoshuo.txt','w')

#---------------获得g_qzonetoken 和 gtk

html = driver.page_source

'''g_qzonetoken=re.search('window\.g_qzonetoken = \(function\(\)\{ try\{return (.*?);\} catch\(e\)',html)#从网页源码中提取g_qzonetoken'''

g_qzonetoken = "e794139a284d6ea9e0b26826e541b55df37d0667a3544f534de25aebdb64628d3ab75e1d7104bbb22a"

cookie = {}#初始化cookie字典

for elem in driver.get_cookies():#取cookies

cookie[elem['name']] = elem['value']

gtk=getGTK(cookie)#通过getGTK函数计算gtk

#print(g_qzonetoken)

#print(gtk)

#--------------获得好友列表注意下面的链接

driver.get('https://user.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_hat_get.cgi?hat_seed=1&uin=你的QQ号fupdate=1&g_tk='+str(gtk)+'&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))

friend_list = driver.page_source

friend_list = str( friend_list )

abtract_pattern = re.compile('\"(.\d*)\":\{\\n"realname":"(.*?)"}',re.S)

QQ_name_list = re.findall(abtract_pattern,str(friend_list)) #数组

print(QQ_name_list)

numList=dict()# numList => (QQnum:QQname) #列表

for i in QQ_name_list:

numList[str(i[0])]=str(i[1])

begin = 0

last_source = ""

tag = 1

first = 0

firstTime=""

#如果要爬取自己的说说，手动添加自己的qq号

#numList['你的qq号']='你的名字'

#print(numList)

for key in numList.keys():

QQnum = key

QQname = numList[QQnum]

if QQnum == "好友qq号": #根据qq号查找指定好友说说

count = 1

begin = 0

while tag==1 :

#-------------进入好友说说页面 #'+QQnum+' '+str(begin)+'

#print("Begin:"+str(begin))

driver.get('https://user.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin='+QQnum+'&ftype=0&sort=0&pos='+str(begin)+'&num=40&replynum=200&g_tk='+str(gtk)+'&callback=_preloadCallback&code_version=1&format=jsonp&need_private_comment=1&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))

try:

msg_list_json = driver.page_source

except:

begin = begin + 40

continue

msg_list_json = str(msg_list_json)

if last_source==msg_list_json :

break

else:

last_source=msg_list_json

#检测是否没有权限访问

abtract_pattern = re.compile(',"message":"(.*?)","name":',re.S)

message = re.findall(abtract_pattern,str(msg_list_json))

if message!=[]:

if str(message[0])=='对不起,主人设置了保密,您没有权限查看':#对不起,主人设置了保密,您没有权限查看

break

#print(msg_list_json)

#解析JSON

#webDriver没有现成的JSON解析器，所以采用获取源码的方式，然后使用正则表达式获取具体细节

msg_list_json = msg_list_json.split("msglist")[1]#拆分json，缩小范围，也能加快解析速度

msg_list_json = msg_list_json.split("smoothpolicy")[0]

msg_list_json = msg_list_json.split("commentlist")[1:]

#说说动态分4种：1、文字说说（或带有配图的文字说说）

# 2、只有图片的说说

# 3、转发，并配有文字

# 4、转发，不配文字

for text in msg_list_json:

# 1、先检查说说，用户是否发送了文字，如果没有文字，正则表达式匹配无效

abtract_pattern = re.compile('\}\],"content":"(.*?)","createTime":"(.*?)","created_time":(.*?),"',re.S)

msg_time = re.findall(abtract_pattern,str(text))

if msg_time!=[]:

# 2、如果作者说说有文字，那么检查是否有转发内容

msg = str(msg_time[0][0])

sendTime = str(msg_time[0][1])

abtract_pattern = re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)

text = text.split("created_time")[1]

msg_time2 = re.findall(abtract_pattern,str(text))

#合并发送内容格式：评论+转发内容

if msg_time2!=[]:

msg = msg +" 转发内容:"+str(msg_time2[0][0])

else:

# 3、说说内容为空，检查是否为 =>只有图片的说说 or 转发，不配文字

#获取正文发送时间（发送时间分为：正文发送时间 or 转发时间）

abtract_pattern = re.compile('"conlist":null,"content":"","createTime":"(.*?)",',re.S)

msgNull_time = re.findall(abtract_pattern,str(text))

if msgNull_time!=[]:

#如果有正文发送时间，那么就是这条说说仅含有图片 =>只有图片的说说

msg = "图片"

sendTime = str(msgNull_time[0])

else:

#如果没有正文发送时间，那么就是说这条说为 =>转发，不配文字

abtract_pattern = re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)

msg_time = re.findall(abtract_pattern,str(text))

msg =" 转发内容:"+str(msg_time[0][0])

sendTime = str(msg_time[0][1])

#写入本地文件

#f.write('{},{},{},{}\n'.format(str(QQname),str(QQnum),sendTime,msg))

print(str(count)+" : "+str(QQname)+" : "+str(QQnum)+" : "+sendTime+" : "+msg)

count = count + 1

begin = begin + 40

def getGTK(cookie):

hashes = 5381

for letter in cookie['p_skey']:

hashes += (hashes << 5) + ord(letter)

return hashes & 0x7fffffff

startSpider()

print("爬取结束")

总结

以上所述是小编给大家介绍的Python爬取qq空间说说的实例代码，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

用python爬取qq空间内容_Python爬取qq空间说说的实例代码相关推荐

python输出奇数数字序位_python对输出的奇数偶数排序实例代码
我们从小学的时候就学习了奇数偶数,知道整数可以分成奇数和偶数两大类,能被2整除的数叫做偶数,不能被2整除的数叫做奇数.在我们python编程中,会遇到很多数字和代码,有的时候会很乱,不好操作. 在遇到 ...
python监控文件或目录大小_python监控文件或目录的变化(实例代码)
本节主要内容: python监控一个文件或目录的变化,如果有变化,把文件上传备份至备份主机,并且还要监控上传过程是否有问题等. 根据此需求,编写如下脚本实现这个功能: 代码示例: #!/usr/bin ...
python粘贴代码到word_Python复制Word内容并使用格式设字体与大小实例代码
简介网上流传的部分可以百度关键词"Python"和"word"后查看文章学习,以下内容为个人实践,修正了不能运行出错的情况. 代码示例 import win3 ...
pythonword字体_Python复制Word内容并使用格式设字体与大小实例代码
简介网上流传的部分可以百度关键词"Python"和"word"后查看文章学习,以下内容为个人实践,修正了不能运行出错的情况. 代码示例 import win3 ...
python搜索网页特定区域内容_Python爬取练习：指定百度搜索的内容并提取网页的标题内容...
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章源于白菜学python ,作者小白菜刚接触Python的新手.小白,可以复制下面的链接去 ...
python爬取论坛付费内容_Python进阶量化交易专栏场外篇20-爬虫抓取股票论坛帖子...
欢迎大家订阅<教你用 Python 进阶量化交易>专栏!为了能够提供给大家更轻松的学习过程,笔者在专栏内容之外已陆续推出一些手记来辅助同学们学习本专栏内容,目前推出的扩展篇链接如下: 为了 ...
python爬取微博恶评_python爬取微博评论的实例讲解
python爬虫是程序员们一定会掌握的知识,练习python爬虫时,很多人会选择爬取微博练手.python爬虫微博根据微博存在于不同媒介上,所爬取的难度有差异,无论是python新入手的小白,还是已经 ...
清除string内容_python爬取哔哩哔哩网页弹幕内容,并将爬取的内容以五角星的形式显示出来...
转载:03 爬虫实例-获取网页弹幕内容思路: 向哔哩哔哩网站发送请求请求成功后,解析爬取的弹幕内容保存到一个文件中读取文件并分析弹幕内容中词组或文字出现的频率将这些词组或文字组成五角星图形组 ...
python 数据分析书籍推荐知乎_Python 爬取知乎 9674 个问答，揭秘最受欢迎的 98 本书！...
原标题:Python 爬取知乎 9674 个问答,揭秘最受欢迎的 98 本书! 作者 | Yura 责编 | 胡巍巍高尔基这话有没有道理我不知道, 咱也不敢问, 主要是现在也问不了. 那对我来说,读 ...
python beautiful soup 标签完全相同_Python爬取Python教程并制作成pdf
欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练.PDF电子文档.面试集锦.学习资料等. 想要把教程变成PDF有三步: 1.先生成空html ...

用python爬取qq空间内容_Python爬取qq空间说说的实例代码

用python爬取qq空间内容_Python爬取qq空间说说的实例代码相关推荐

最新文章

热门文章