python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库

准备阶段

    在正式开始在前需要先准备好做爬虫的工具，本例使用chrome无头浏览器进行爬取工作，也可使用其他浏览器，程序中的其他可替代工具在此之后不再一一赘述，有一些不明白的地方可以自行百度有错误的地方欢迎大家指正，大家共同学习共同进步！！

需要用到的库:

pymongo

selenium

csv

time

爬虫思路分析

从csv文件读取好友qq号码构造url链接

使用chrome + selenium登录QQ，选择账号密码的等率方式

爬取好友说说的发表的时间信息

把爬取到的信息存储在mongodb中

从qq邮箱获取好友列表，存储为csv文件

    打开qq邮箱选择通讯录 > 工具 > 导出联系人文件选择部分好友文件导出，保存为csv文件，之
后便于从csv文件读取好友qq号

观察源码，选择适当的筛选方法

写入数据库

爬虫代码如下：

'''python#导入程序需要的库
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import csv
import pymongo#链接数据库
client = pymongo.MongoClient('localhost',27017)
#创建数据库和数据集合
net_speader = client['net_speader']
qq_data = net_speader['qq_data']chrome_options = Options()
#选择无头chrome，并设置窗口最大化
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.maximize_window()#定义获取信息的函数
def get_info(qq):#声明变量global time#请求url隐式等待15sdriver.get('https://user.qzone.qq.com/{}/311'.format(qq))driver.implicitly_wait(15)#判断页面是否需要登陆，通过查找是否有ID为login_div的div标签来进行判断try:driver.find_element_by_id('login_div')a = Trueexcept:a = False#如果需要登陆则切换到需要登陆的框架进行登陆if a == True:driver.switch_to.frame('login_frame')driver.find_element_by_id('switcher_plogin').click()driver.find_element_by_id('u').clear()driver.find_element_by_id('u').send_keys('你的qq号码')driver.find_element_by_id('p').clear()driver.find_element_by_id('p').send_keys('你的qq号密码')driver.find_element_by_id('login_button').click()time.sleep(5)driver.implicitly_wait(3)#通过查找是否有ID为QM_OwnerInfo_Icon的div标签来判断是否有权限访问好友的qq空间try:driver.find_element_by_id('QM_OwnerInfo_Icon')b = Trueexcept:b = False#如果可以访问则切换到好友说说框架进行数据的爬取和储存if b == True:driver.switch_to.frame('app_canvas_frame')contents = driver.find_elements_by_css_selector('.content')times = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')for content,time in zip(contents,times):data = {'time':time.text,'content':content.text}print(data)qq_data.insert_one(data)
#主程序入口，通过csv库读取通讯录文件，存入列表
if __name__ == '__main__':qq_lists = []fp = open(r'W:\text\qqmail.csv',encoding='gb18030',errors='ignore')reader = csv.DictReader(fp)for row in reader:qq_lists.append(row['qqmail'].split('@')[0])fp.close()print(qq_lists)for i in qq_lists:get_info(i)'''

python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库相关推荐

python爬取好友qq空间_python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库...
title: python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库准备阶段在正式开始在前需要先准备好做爬虫的工具,本例使用chrome无头浏览器进行爬取 ...
python爬取加密qq空间_使用python+selenium爬取qq空间好友动态
使用python+selenium爬取qq空间好友动态分析过程如下: 要想用selenium登陆qq空间,必须点击账号密码登陆按钮然后再填写账号密码登陆. 1.PNG 点击账号密码按钮后跳转到如下页 ...
python爬取QQ空间好友说说并生成词云
最近自己玩爬虫玩得很嗨.想到爬QQ空间主要是因为在看网课的时候有不少人刷弹幕要去爬前女友空间..咳咳,虽然我没有前女友,但是这不失为一个有趣的练手机会.(爬完之后发现不会留下访客记录!确实很适合爬前女 ...
python爬取陌生人的qq空间_Python爬取QQ空间好友说说并生成词云(超详细)
前言先看效果图: 思路 1.确认访问的URL 2.模拟登录你的QQ号 3.判断好友空间是否加了权限,切换到说说的frame,爬取当前页面数据,下拉滚动条,翻页继续获取爬取的内容写入本地TXT文件中 ...
【python爬虫】爬取QQ空间说说
前言虽然扒qq空间不是很地道,但咱还是干干吧--正好也是闲来无事,我这个应该不会被别人发现 tao) 技术路线 selenium + beautifulsoup + pyautogui + echa ...
python爬虫：爬取动态网页并将信息存入MySQL数据库
目标网站 http://www.neeq.com.cn/disclosure/supervise.html 爬取网页该部分内容网页分析查看网页源代码发现没有表格部分内容,对网页请求进行分析 F12 ...
python爬取加密qq空间_python3.7 爬取QQ空间好友
1 from urllib importparse2 from selenium importwebdriver3 importrequests4 importjson5 from json impo ...
php取qq空间说说id,Python爬取qq空间说说的实例代码
具体代码如下所示: #coding:utf-8 #!/usr/bin/python3 from selenium import webdriver import time import re impo ...
python + selenium多进程爬取淘宝搜索页数据
python + selenium多进程爬取淘宝搜索页数据 1. 功能描述按照给定的关键词,在淘宝搜索对应的产品,然后爬取搜索结果中产品的信息,包括:标题,价格,销量,产地等信息,存入mongodb ...

python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库

python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库

准备阶段

需要用到的库:

爬虫思路分析

从qq邮箱获取好友列表，存储为csv文件

观察源码，选择适当的筛选方法

写入数据库

爬虫代码如下：

python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库相关推荐

最新文章

热门文章