[python爬虫] Selenium切换窗口句柄及调用Chrome浏览器

因为我的博客是根据我每个阶段自己做的事情而写的，所以前言可能有点跑题，但它更有利于让我回忆这个阶段自己的所作所为。这篇文章主要介绍Selenium爬虫获取当前窗口句柄、切换窗口句柄以及调用Chrome浏览器几个知识点，其中获取当前句柄的方法是非常重要的一个知识点，只有真正遇到的时候才能体会到它的强大。
最近课程比较多，写博客的内容也比较杂，包括网站搭建、HTML设计、计算机图形学、Python数据挖掘、Flash动画等。同时，这周也有老师让我帮忙写几个爬虫，自己进一步理解了爬虫的好处：一方面，人文课题如果运用计算机相关编程知识，确实能够解决很多问题并提升效率；另一方面，我爬虫主要使用Selenium、BeautifulSoup和Scrapy，其中Selenium能够结合浏览器解决登录验证码、扫二维码、效果预览、自动测试等问题；BeautifulSoup的优势是速度，两种方法都是通过分析DOM树结构实现的。
希望这篇文章对你有所帮助，如果有错误或不足之处，还请海涵~更多爬虫主题参考我的专栏： http://blog.csdn.net/column/details/eastmount-spider.html

一. 调用Chrome浏览器

首先，假设通过Firefox()浏览器定向爬取CSDN首页导航栏信息，审查元素代码如下图所示，在div class="menu"路径的ul、li、a下，同时可以定位ul class="clearfix"。

代码如下所示：

# coding=utf-8
import os
from selenium import webdriver#PhantomJS无界面浏览器
##driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")  #打开火狐浏览器
driver = webdriver.Firefox()
url = "http://www.csdn.net/"
driver.get(url)#xpath路径定位导航栏
elem_dh = driver.find_elements_by_xpath("//div[@class='menu']/ul/li/a")
for elem in elem_dh:print elem.text                    #获取正文print elem.get_attribute('href')   #获取属性值

然后转换成chrome浏览器，只需要在"C:\Program Files (x86)\Google\Chrome\Application\"路径下放置个chromedriver.exe驱动，再进行调用即可，代码如下所示：

# coding=utf-8
import os
from selenium import webdriver#PhantomJS无界面浏览器
##driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")  #打开火狐浏览器
#driver = webdriver.Firefox()#谷歌浏览器
chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = webdriver.Chrome(chromedriver)#WebDriverException: Message: unknown error: session deleted because of page crashurl = "http://www.csdn.net/"
driver.get(url)#xpath路径定位导航栏
elem_dh = driver.find_elements_by_xpath("//div[@class='menu']/ul/li/a")
for elem in elem_dh:print elem.text                    #获取正文print elem.get_attribute('href')   #获取属性值print '\n'

运行结果如下图所示：

>>> ================================ RESTART ================================
>>>
极客头条
http://geek.csdn.net/
知识库
http://lib.csdn.net/
学院
http://edu.csdn.net/
论坛
http://bbs.csdn.net/
博客
http://blog.csdn.net/
下载
http://download.csdn.net/
问答
http://ask.csdn.net/
商城
http://mall.csdn.net/
ITeye
http://www.iteye.com/
CODE
https://code.csdn.net/
活动
http://huiyi.csdn.net/
CTO
http://cto.csdn.net/
外包
http://www.csto.com/
程序员
http://special.csdncms.csdn.net/programmer-covers
APP
http://www.csdn.net/app
>>>

二. 获取当前句柄并切换窗口句柄

在使用Selenium爬取知识过程，通常会遇到_blank弹出新窗体，或窗体是弹出的那种情况，而且有的需要登录，如：新浪微博、微信公众号、京东等，使用webdriver.Firefox()重新打开新窗体是无法加载已有信息的。这时候就需要通过获取当前句柄再进行窗口切换。
这里使用该方法实现获取CSDN导航栏的每条导航的标题信息，因为它是_blank弹出新窗体。需要注意每次窗口句柄移动都需要重新定位它们的主窗体。
核心代码：

#获取当前窗口句柄
now_handle = driver.current_window_handle
print now_handle #获取所有窗口句柄
all_handles = driver.window_handles
for handle in all_handles:if handle!=now_handle:#输出待选择的窗口句柄print handledriver.switch_to_window(handle)time.sleep(1)#具体操作elem_bt = driver.find_element_by_xpath("...")driver.close() #关闭当前窗口#输出主窗口句柄
print now_handle
driver.switch_to_window(now_handle) #返回主窗口

如下图所示：<a href="xxxx" target="_blank">极客头条</a>

实例代码如下所示，它会依次打开每个导航栏，在爬取关闭。

# coding=utf-8
import os
import time
from selenium import webdriver#By：Eastmoun 2016-11-21 凌晨4:26#打开火狐浏览器
driver = webdriver.Firefox()
url = "http://www.csdn.net/"
driver.get(url)#xpath路径定位导航栏
elem_dh = driver.find_elements_by_xpath("//div[@class='menu']/ul/li/a")#获取当前窗口句柄
now_handle = driver.current_window_handle
print now_handle#循环获取界面
for elem in elem_dh:print elem.text                    #获取正文print elem.get_attribute('href')   #获取属性值#点击进入新的界面 _blank弹出elem.click()#获取所有窗口句柄all_handles = driver.window_handles#弹出两个界面,跳转到不是主窗体界面for handle in all_handles:if handle!=now_handle:   #输出待选择的窗口句柄print handledriver.switch_to_window(handle)time.sleep(1)print u'弹出界面信息'print driver.current_urlprint driver.title#获取登录连接信息elem_sub = driver.find_element_by_xpath("//ul[@class='btns']/li/a")print elem_sub.textprint elem_sub.get_attribute('href')print ''#关闭当前窗口driver.close()#输出主窗口句柄print now_handledriver.switch_to_window(now_handle) #返回主窗口 开始下一个跳转

输出结果如下所示：

>>> ================================ RESTART ================================
>>>
{833ee0ee-c408-432a-ab54-1222a22f580c}
极客头条
http://geek.csdn.net/
{50e7dfc6-72d8-4577-99ca-47344a068528}
弹出界面信息
http://geek.csdn.net/
最新最热 - 极客头条 - CSDN.NET
登录
https://passport.csdn.net/account/login?ref=toolbar{833ee0ee-c408-432a-ab54-1222a22f580c}
知识库
http://lib.csdn.net/
{4501a3d1-8ab3-4a5e-984b-ace648494f94}
弹出界面信息
http://lib.csdn.net/
知识库 - 你身边的技术百科全书 - CSDN
登录
https://passport.csdn.net/account/login?ref=toolbar{833ee0ee-c408-432a-ab54-1222a22f580c}
学院
http://edu.csdn.net/
{4525da42-fd77-4f04-b2f9-1687d75c1e19}
弹出界面信息
http://edu.csdn.net/
CSDN学院 - CSDN.NET
登录
https://passport.csdn.net/account/login?ref=toolbar{833ee0ee-c408-432a-ab54-1222a22f580c}
论坛
http://bbs.csdn.net/
{c24493c1-c937-4a90-85a1-e11f7be870c4}
弹出界面信息
http://bbs.csdn.net/home
CSDN论坛首页 - CSDN.NET-CSDN论坛-CSDN.NET-中国最大的IT技术社区
登录
https://passport.csdn.net/account/login?ref=toolbar{833ee0ee-c408-432a-ab54-1222a22f580c}
博客
http://blog.csdn.net/
{a4686eae-b437-4b97-97a2-160024359ade}
弹出界面信息
http://blog.csdn.net/
博客频道 - CSDN.NET
登录
https://passport.csdn.net/account/login?ref=toolbar{833ee0ee-c408-432a-ab54-1222a22f580c}
下载
http://download.csdn.net/
{42cf058e-e093-4619-beae-4454aaba29a3}
弹出界面信息
http://download.csdn.net/
下载频道 - CSDN.NET
登录
https://passport.csdn.net/account/login?ref=toolbar{833ee0ee-c408-432a-ab54-1222a22f580c}
问答
http://ask.csdn.net/
{cb0633e2-45a5-406d-9aaa-79ea994e1f6a}
弹出界面信息
http://ask.csdn.net/
编程技术问答-CSDN问答频道
登录
https://passport.csdn.net/account/login?ref=toolbar{833ee0ee-c408-432a-ab54-1222a22f580c}
商城
http://mall.csdn.net/
{126f85af-d5e4-4d40-a89e-6fbb575a972b}
弹出界面信息
http://mall.csdn.net/
CSDN商城
登录
https://passport.csdn.net/account/login?ref=toolbar

PS：这段代码主要是让你熟悉获取当前窗体及切换窗体，真正爬虫用到的时候是非常方便的，而且必须要使用。

三. 一段代码在线笔记

下面这段代码是我的在线笔记，由于代码非常有用，所以我隐藏了些东西，但绝对好用，而且是结合上面的内容。同时，在登录过程中，我建议大家time.sleep()函数暂停，输入验证码、扫描二维码都是可行的。

# -*- coding: utf-8 -*-
# By: Eastmount 2016-11-21 凌晨4点半from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import os#模拟登陆
chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = webdriver.Chrome(chromedriver)
now_handle = driver.current_window_handle #获取当前窗口句柄#driver = webdriver.Firefox()
#暂停10秒手动输入网址
time.sleep(3)   #用户名 密码
driver.get("xxxxxxxxxxx")
elem_user = driver.find_element_by_id("account")
elem_user.send_keys("******")
elem_pwd = driver.find_element_by_id("pwd")
elem_pwd.send_keys("******")
elem_pwd.send_keys(Keys.RETURN)
#暂定60秒扫二维码 跳转到定向页面
time.sleep(60)  #登录用户管理 获取相关标签
print driver.current_url
elem_user = driver.find_elements_by_xpath("//td[@class='table_cell user']/div/a[1]")
now_handle = driver.current_window_handle #获取当前窗口句柄
print now_handle   #输出当前获取的窗口句柄#单击操作
for elem in elem_user:print '########################################'print elem.text#点击进入查看详细用户elem.click()"""NoSuchElementException: Message: no such element因为总是获取当前句柄 故找不到相关的界面，需要窗口句柄转换"""all_handles = driver.window_handles #获取所有窗口句柄for handle in all_handles:if handle!=now_handle:#输出待选择的窗口句柄print handledriver.switch_to_window(handle)time.sleep(1)#点击"图文消息"elem_tw = driver.find_element_by_xpath("//li[@class='tab_nav tab_appmsg width5']/a")#elem_tw = driver.find_element_by_xpath("//div[@class='tab_navs_wrp']/ul/li/a")print elem_tw.textprint elem_tw.get_attribute("href")elem_tw.click()time.sleep(1)#点击 '从素材库中选择'按钮elem_sc = driver.find_element_by_xpath("//span[@class='create_access']/a")print elem_sc.textprint elem_sc.get_attribute("href")elem_sc.click()time.sleep(1)#点击素材 '11-14 星期二中奖名单' 注意是id#elem_dj = driver.find_element_by_xpath("//div[@class='edit_mask appmsg_mask']")#elem_dj = driver.find_element_by_xpath("//div[@id='appmsg503811334']/div/div[2]")elem_dj = driver.find_element_by_xpath("//div[@id='appmsg503811334']")print elem_dj.textprint elem_dj.get_attribute("href")elem_dj.click()time.sleep(1)#SyntaxError: Failed to execute 'evaluate' on 'Document': The string#'//div[@class='appmsg503811334']/div/' is not a valid XPath expression.#WebDriverException: Message: unknown error: Element is not clickable#at point (473, 361). Other element would receive the click:#<div class="appmsg_content">...</div>#获取'确定按钮'elem_bt = driver.find_element_by_xpath("//div[@class='dialog_ft']/span[1]/button")print elem_bt.textprint elem_bt.get_attribute("class")elem_bt.click()time.sleep(1)#点击 '发送'elem_fs = driver.find_element_by_xpath("//span[@id='js_submit']/button")print elem_fs.textprint elem_fs.get_attribute("class")elem_fs.click()time.sleep(1)#关闭当前窗口driver.close() #输出主窗口句柄print now_handledriver.switch_to_window(now_handle) #返回主窗口#breakprint '\n\n'#暂停换页
#登录用户管理 获取相关标签
print '********************************************'
print '********************************************'
print u'换页操作1'
#elem_next = driver.find_elements_by_xpath("//a[@class='btn page_next']")
#elem_next.click()time.sleep(10)
elem_user = driver.find_elements_by_xpath("//td[@class='table_cell user']/div/a[1]")
now_handle = driver.current_window_handle #获取当前窗口句柄
print now_handle   #输出当前获取的窗口句柄#单击操作
for elem in elem_user:print '########################################'print elem.text#点击进入查看详细用户elem.click()all_handles = driver.window_handles #获取所有窗口句柄for handle in all_handles:if handle!=now_handle:#输出待选择的窗口句柄print handledriver.switch_to_window(handle)time.sleep(1)#点击"图文消息"elem_tw = driver.find_element_by_xpath("//li[@class='tab_nav tab_appmsg width5']/a")print elem_tw.textprint elem_tw.get_attribute("href")elem_tw.click()time.sleep(1)#点击 '从素材库中选择'按钮elem_sc = driver.find_element_by_xpath("//span[@class='create_access']/a")print elem_sc.textprint elem_sc.get_attribute("href")elem_sc.click()time.sleep(1)#点击素材 注意是idelem_dj = driver.find_element_by_xpath("//div[@id='appmsg503811334']")print elem_dj.textprint elem_dj.get_attribute("href")elem_dj.click()time.sleep(1)#获取'确定按钮'elem_bt = driver.find_element_by_xpath("//div[@class='dialog_ft']/span[1]/button")print elem_bt.textprint elem_bt.get_attribute("class")elem_bt.click()time.sleep(1)#点击 '发送'elem_fs = driver.find_element_by_xpath("//span[@id='js_submit']/button")print elem_fs.textprint elem_fs.get_attribute("class")elem_fs.click()time.sleep(1)driver.close() #关闭当前窗口#输出主窗口句柄print now_handledriver.switch_to_window(now_handle) #返回主窗口#breakprint '\n\n'

最后希望这篇文章对你有所帮助，因为第三部分代码涉密，消除了些东西，但原理和方法更重要，希望你也能灵活应用。同时明天评估专家就来了，虽然干活到2点，但还是想写一篇文章，记录最近两天研究的东西，很重要的一个知识点。继续享受博客和教学吧，同时期待我最近欣赏的某个人吧！杨老师加油~
(By:Eastmount 2016-11-21 凌晨4点半 http://blog.csdn.net/eastmount/ )