Python Selenium 概要

学习selenium自动化测试框架在爬虫中的应用，selenium能够大幅降低爬虫的编写难度，但是也同样会大幅降低爬虫的爬取速度。在逼不得已的情况下我们可以使用selenium进行爬虫的编写。

了解selenium的工作原理；
了解selenium以及chromedriver的安装；
掌握标签对象click点击以及send_keys输入；

1、selenium运行效果展示
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很容易完成之前编写的爬虫，接下来我们就来看一下selenium的运行效果。

1.1 chrome 浏览器的运行效果
在下载好chromedriver以及安装好selenium模块后，执行下列代码并观察运行的过程。

from selenium import webdriver# 如果driver没有添加到环境变量，则需要将driver的绝对路径赋值给executable_ath参数
#driver = webdriver.Chrome(executable_path='/home/worker/Desktop/drover/chromedriver')# 如果driver添加了环境变量则不需要设置executable_path
driver = webdriver.Chrome()# 向一个url发起请求
driver.get("http://www.itcast.cn/")# 把网页保存为图片,69版本的谷歌浏览器将无非使用截图功能
# driver.save_screenshot("itcast.png")# 打印网页标题
print(driver.title)# 退出模拟浏览器
driver.quit() # --一定要退出！不退出会有残留进程！

1.2 phantomjs 无界面浏览器的运行效果
PhantomJS是一个基于Webkit的“无界面”（headless）浏览器，它会把网站加载到内存并执行页面上的JavaScript.

from selenium import  webdriver# 指定driver的绝对路径
driver = webdriver.PhantomJS(executable_path='/home/worker/Desktop/driver/phantoomjs')
# driver = webdriver.Chrome(executable_path='/home/worker/Desktop/driver/chromedriver')# 向一个url发起请求
driver.get("http://www.itcast.cn/")# 把网页保存为图片
driver.save_screenshot("itcast.png")# 退出模拟浏览器
driver.quit()

1.3 无头浏览器与有头浏览器的使用场景

通常在开发过程中我们需要查看运行过程中的各种情况所以通常使用有头浏览器；
在项目完成进程部署的时候，通常平台采用的系统多少服务器版的操作系统，服务器的操作系统必须使用无头浏览器才能正常运行。

2、selenium 的作用和工作原理

利用浏览器原生的API，封装成一套更加面向对象的Selenium WebDriver API,直接操作浏览器页面里的元素，甚至操作浏览器本身（截屏，窗口大小，启动，关闭，安装插件，配置证书之类的）

webdriver本质是一个web-server,对外提供webapi,其中封装了浏览器的各种功能；
不同的浏览器使用各自不同的webdriver；

3、selenium的安装以及简单使用
我们以谷歌浏览器的chromedriver为例。

3.1 在Python 虚拟环境中安装selenium模块

pip/pip3 install selenium

3.2 下载版本符合的webdriver
以chrome谷歌来历为例

1）、查看谷歌来历的版本

1)、访问 http://npm.taobao.org/mirrors/chromedriver/，点击进入不同版本的chromedriver下载页面；

2)、下载对应版本

解压压缩包后获取python代码可以调用的谷歌浏览器的webdriver可执行文件
windows为chromedriver.exe;
linux和macos为chromedriver;
3)、chromedriver环境的配置
windows环境下需要将chromedriver.exe所在目录设置为path环境变量中的路径；
linux/mac环境下，将chromedriver所在目录设置到系统的PATH环境值中

4、selenium的简单使用

import time
from selenium import  webdriver# 通过指定chromedriver的路径来实例化driver对象，chromedriver放在当前目录
# driver = webdriver.Chrome(exeecutable_path='./chromedriver')
# chromedriver已经添加环境变量
driver = webdriver.Chrome()# 控制浏览器访问url地址
driver.get("https://www.baidu.com/")# 百度搜索框中搜索Python
driver.find_element_by_id('kw').send_keys('python')
# 点击‘百度搜索'
driver.find_element_by_id('su').click()time.sleep(6)# 退出浏览器
driver.quit()

webdriver.Chrome(executable_path=’./chromedriver’)中executable参数指定的是下载好的chromedriver文件的路径；
driver.find_element_by_id(‘kw’).send_keys(‘python’)定位id属性值是’kw’的标签，并向其中输入字符串’python’；
driver.find_element_by_id(‘su’).click()定位id属性值是su的标签，并点击
click函数的作用是：触发标签的js的click事件；

Python Selenium 概要相关推荐

python+selenium实战之无限评论
目录概要 1.登录模块 2.生成评论 3.主要内容 4.源代码汇总(可直接运行) 建议先看摘要,了解大体项目内容,配好相应环境, 登录模块内容记得改成你自己的账号和密码,然后直接看源代码汇总,在 ...
Python+selenium+firefox模拟登录微博并爬取数据（1
1:环境python3.5,最新 firefox,selenium-3.14.0. 本来准备用无界面的,但是感觉效果不好看出来所以先用有界面的浏览器来做.分几次来慢慢写.这节先配置好环境. 2:安装: ...
教你两种python selenium保存图片的方法
大家好,本篇文章主要讲的是python selenium保存图片最好的两种方法,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下 selenium爬取页面时经常遇到要保存图片的需求,通常的做法是 ...
mac 搭建python+selenium+chromedriver环境
mac 搭建python+selenium+chromedriver环境有关配置默认python3,请查看:https://blog.csdn.net/qq_35098526/article/det ...
Python + Selenium 自动发布文章（二）：简书
Python + Selenium 自动发布文章系列: Python + Selenium 自动发布文章(一):开源中国 Python + Selenium 自动发布文章(二):简书 Python + ...
Python selenium根据class定位页面元素，xpath定位
Python selenium根据class定位页面元素在日常的网页源码中,我们基于元素的id去定位是最万无一失的,id在单个页面中是不会重复的.但是实际工作中,很多前端开发人员并未给每个元素都编写 ...
Python selenium巧用Javascript脚本注入解决按钮点选问题
Python selenium巧用Javascript脚本注入解决按钮点选问题参考文章: (1)Python selenium巧用Javascript脚本注入解决按钮点选问题 (2)https:// ...
python自动化办公都能做什么菜-python+selenium自动化（一）之环境搭建
一.环境选择 python版本:python3.7(64位)下载地址:https://www.python.org/downloads/ (推荐使用官方下载) selenium版本:selenium3 ...
零基础学python需要多久-零基础学python大概要多久
Python是目前公认的全球5大流行语言之一,从云计算.大数据到人工智能,Python无处不在,同时Python被誉为神奇的"胶水语言",因为它能够轻易地操作其他程序,轻易地包装使 ...

Python Selenium 概要

Python Selenium 概要相关推荐

最新文章

热门文章