一.selenium爬取好友QQ空间日志说说

#coding:utf-8from selenium import webdriver
import time,os
import xlrd,xlwt
from xlutils.copy import copy
#使用selenium#使用selenium的隐藏PhantimJS浏览器登陆账号后对内容获取#注意frame与iframe的格式框切换#driver = webdriver.PhantomJS(executable_path="E:\\mac\\id\\phantomjs-2.1.1-windows\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe")driver=webdriver.Chrome()
#driver.set_preference('network.proxy.type', 1)#driver.set_preference('network.proxy.http', '127.0.0.1')#driver.set_preference('network.proxy.http_port', 17890)driver.maximize_window()def get_shuoshuo(qq,path):testexist(path)try:driver.set_page_load_timeout(10)driver.get('http://user.qzone.qq.com/{}/311'.format(qq))time.sleep(3)except:print u'网页启动异常，请重新打开'time.sleep(2)driver.quit()try:driver.find_element_by_id('login_div')except:print u"非好友无法进入空间无权限抓取内容"driver.quit()else:#登录QQ空间driver.switch_to.frame('login_frame')driver.find_element_by_id('switcher_plogin').click()driver.find_element_by_id('u').clear()#选择用户名框driver.find_element_by_id('u').send_keys('#####') #输入个人登录账号driver.find_element_by_id('p').clear()driver.find_element_by_id('p').send_keys('#####') #输入个人登录密码driver.find_element_by_id('login_button').click()time.sleep(3)driver.implicitly_wait(3)try:driver.find_element_by_id('QM_OwnerInfo_Icon')except:print u'空间加载异常，请重新打开'time.sleep(2)driver.quit()else:driver.switch_to.frame('app_canvas_frame')#    last_page=driver.find_element_by_css_selector('.mod_pagenav')#    page_num=re.findall('\d+',last_page.text)[-1]next_page='page'page=1try:while next_page:content = driver.find_elements_by_css_selector('.content')stime = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')for con,sti in zip(content,stime):data = {'time':sti.text,'shuos':con.text}write_data(data['time'],data['shuos'],path)next_page=driver.find_element_by_link_text(u'下一页')page=page+1print u'正在抓取第%d页面内容······'%pagenext_page.click()time.sleep(3)driver.implicitly_wait(3)driver.quit()except:print u'抓取到%d页面结束'%pagedriver.quit()def  testexist(path):if not os.path.exists(path):w= xlwt.Workbook()w.add_sheet('Sheet1')w.save(path)else:os.remove(path)w= xlwt.Workbook()w.add_sheet('Sheet1')w.save(path)def write_data(data1,data2,path):f=xlrd.open_workbook(path)sheet=f.sheet_by_name('Sheet1')src=copy(f)row=sheet.nrowssrc.get_sheet(0).write(row,0,data1)src.get_sheet(0).write(row,1,data2)src.save(path)if __name__ == '__main__':# work_path=raw_input(u'请输入存储数据路径--excle表格类型')2571278041work_path='E:\\0930\\WWWW.csv'get_shuoshuo('######',work_path)#输入好友QQ号

一.selenium爬取好友QQ空间日志说说相关推荐

python爬取好友qq空间_python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库...
title: python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库准备阶段在正式开始在前需要先准备好做爬虫的工具,本例使用chrome无头浏览器进行爬取 ...
在线python爬取好友qq空间_Python3.6获取QQ空间全部好友列表
首先要处理的是gtk算法:从上次分析以来代码并没有变登录QQ空间后搜索gtk字符串,在三个js中出现了 /* |xGv00|e5808eb94a2bdffe3aae60cd22c5efe2 */ d ...
爬取好友QQ空间的说说（增强版及使用过程中的困难总结）
之前从网上下载了源码,在拿同学练手时,发现全是一堆广告说说,经查找是由于原来的代码采用的是识别可点击的"下一页"来进行翻页,而我那个同学曾转发过一个叫"下一个" ...
python爬取加密qq空间_使用python+selenium爬取qq空间好友动态
使用python+selenium爬取qq空间好友动态分析过程如下: 要想用selenium登陆qq空间,必须点击账号密码登陆按钮然后再填写账号密码登陆. 1.PNG 点击账号密码按钮后跳转到如下页 ...
python爬取加密qq空间_python3爬虫爬取QQ好友空间说说
开发环境Win10 python 3.6.3 pycharm 2018.1 第三方库csv requests pymysql selenium 无头浏览器 PhantomJS 主要思路通过QQ邮箱导出 ...
python爬取加密qq空间_python3.7 爬取QQ空间好友
1 from urllib importparse2 from selenium importwebdriver3 importrequests4 importjson5 from json impo ...
selenium爬取QQ空间
这几天在看<从零开始学python网络爬虫>中的模拟浏览器篇,对其中的爬取好友说说比较感兴趣,不过书中只是爬取每个好友第一页说说,因此我稍微改进了下(发书名是尊重作者,不过个人认为这本书讲 ...
python selenium爬取QQ空间说说
准备工作安装selenium, pyquery, json模块. 使用的是火狐浏览器,所以还要安装geckodriver, 下载好后,把geckodirver.exe文件放在python.exe同一 ...
python3 使用selenium爬取QQ空间说说信息
使用PhantomJS,事先需要下载PhantomJS from selenium import webdriver import time#使用selenium driver = webdriver ...

一.selenium爬取好友QQ空间日志说说

一.selenium爬取好友QQ空间日志说说相关推荐

最新文章

热门文章