python Chrome + selenium自动化测试与python爬虫获取网页数据
一、使用Python+selenium+Chrome 报错:
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 78
说明,这个chrom驱动支持78版本
谷歌浏览器版本
进入驱动网址:http://npm.taobao.org/mirrors/chromedriver/,下载对应版本的谷歌驱动
下载后放在与python解析器同一文件夹下面
重新运行程序,运行成功!!!
二、实例测试:
使用python selenium自动化测试模块结合python爬虫获取网页数据。
使用谷歌浏览器模拟打开https://www.hao123.com/网页,浏览器点击百度衔接,模拟输入python进行百度搜索,在关闭子网页,最后在https://www.hao123.com/网页获取精选新闻信息。
1.python控制谷歌浏览器
main.py
"""=== coding: UTF8 ==="""
from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
import time"""
========================================
主函数功能测试
========================================
"""
if __name__ == '__main__':web = Chrome()web.get("https://www.hao123.com/")# 谷歌浏览器模拟人工点击“百度”衔接web.find_element_by_xpath('//*[@id="userCommonSites"]/ul/li[1]/div/a').click()time.sleep(1)# 变更selenium窗口视角,切换到子窗口,-1代表在网页标签页最后一个网页web.switch_to.window(web.window_handles[-1])# 谷歌浏览器模拟人工输入“python”,进行百度搜索web.find_element_by_xpath('//*[@id="kw"]').send_keys("python", Keys.ENTER)time.sleep(1)# 关闭子窗口web.close()# 变更selenium窗口视角,回到原来的窗口web.switch_to.window(web.window_handles[-1])# 提取精选新闻内容a_list = web.find_elements_by_xpath('//*[@id="topzixun-over"]/div/div[2]/p')for a in a_list:print(a.find_element_by_xpath('./a[1]').text)# 关闭窗口web.close()# 对于嵌入的视频窗口,切换到iframe窗口# iframe = web.find_elements_by_xpath('......')# web.switch_to.frame(iframe)# 切换到原画面# web.switch_to.default_content()
2.python使谷歌浏览器在后台运行,爬取数据(即无头浏览器)
main.py
"""=== coding: UTF8 ==="""
from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import time"""
========================================
主函数功能测试
========================================
"""
if __name__ == '__main__':# 准备好参数配置(使谷歌浏览器在后台运行,即无头浏览器)opt = Options()opt.add_argument("--headless")opt.add_argument("--disbale-gpu")# 把参数配置到谷歌浏览器中web = Chrome(options=opt)web.get("https://www.hao123.com/")# 谷歌浏览器模拟人工点击“百度”衔接web.find_element_by_xpath('//*[@id="userCommonSites"]/ul/li[1]/div/a').click()time.sleep(1)# 变更selenium窗口视角,切换到子窗口,-1代表在网页标签页最后一个网页web.switch_to.window(web.window_handles[-1])# 谷歌浏览器模拟人工输入“python”,进行百度搜索web.find_element_by_xpath('//*[@id="kw"]').send_keys("python", Keys.ENTER)time.sleep(1)# 关闭子窗口web.close()# 变更selenium窗口视角,回到原来的窗口web.switch_to.window(web.window_handles[-1])# 提取精选新闻内容a_list = web.find_elements_by_xpath('//*[@id="topzixun-over"]/div/div[2]/p')for a in a_list:print(a.find_element_by_xpath('./a[1]').text)# 关闭窗口web.close()# 对于嵌入的视频窗口,切换到iframe窗口# iframe = web.find_elements_by_xpath('......')# web.switch_to.frame(iframe)# 切换到原画面# web.switch_to.default_content()
关注公众号,获取更多资料
python Chrome + selenium自动化测试与python爬虫获取网页数据相关推荐
- 用python通过selenium自动化测试抓取天猫店铺数据
用python通过selenium自动化测试抓取天猫店铺数据 运行的环境在win10,软件用的是vscode.大家平常在抓取天猫店铺的时候登陆后会需要验证,我的方法是通过谷歌插件跳过天猫的登陆. 首先 ...
- python爬虫获取基金数据2
用sklearn分析基金数据<1> python爬虫获取基金数据<2> 数据预处理:数据清洗.生成样本数据<3> 用sklearn训练样本数据<4> 用 ...
- python+pycharm+selenium自动化测试环境搭建步骤
python+pycharm+selenium自动化测试环境搭建步骤 原文链接:https://blog.csdn.net/weixin_51429941/article/details/116850 ...
- Python爬虫获取网页编码格式
Python爬虫获取网页编码格式 网页编码格式是每个网页规定的本页面文字的编码方式,其中比较流行的是ascii, gbk, utf-8, iso等.观察许多网页的编码格式都是在meta标签的conte ...
- Java爬虫获取网页表格数据
//Java爬虫获取网页表格数据 public class Pachong implements Runnable { public void run() { String Rpt_date = nu ...
- pythonselenium教学视频_从零开始学Selenium自动化测试(基于Python视频教学版)
本书基于Python语言,系统地介绍Selenium 3自动化测试的相关知识体系及应用.书中的大部分知识点都匹配了相应的案例,便于读者进行实践.本书各章案例清晰易懂,并可独立运行,便于不同需求的读者学 ...
- 淘宝 自动上下架 批量操作 python+chrome+selenium
开发环境:python27+chrome+selenium 首先配置好环境,需要的库是selenium,pip安装下即可 然后是chrome浏览器,对应chromedriver.exe 按照自己的 ...
- Python爬虫--获取网页图片两步走:美女图片+王者荣耀皮肤
文章目录 一.目标 1.实现当前页面的图片爬取: 2.实现二级网页下的图片爬取并分别存储 二.实现截图 二.代码 1.美女图片 2.王者荣耀皮肤 指导博客(阿里嘎多!) 一.目标 1.实现当前页面的图 ...
- python下载图片并保存_Python爬虫获取图片并下载保存至本地的实例
1.抓取煎蛋网上的图片. 2.代码如下: import urllib.request import os #to open the url def url_open(url): req=urllib. ...
最新文章
- NDK JNI方式读写Android系统的demo(二)
- Android下载图片路径问题
- php oracle count,调用Count列php mysql
- 从web.xml谈谈SpringMVC集成spring的初始化流程及SpringBoot集成SpringMVC
- 云服务器可以安装操作系统么,云服务器安装操作系统吗
- [转]docker入门(利用docker部署web应用)
- The user specified as a definer (#39;root#39;@#39;%#39;) does not exist
- Ubuntu18.04安装OpenPCDet及配置spconv
- Shine.js实现动态阴影效果
- Maple绘图小技巧1
- 论文阅读汇总(4)-【篇数:50】
- 内部 CA 证书管理
- GitHub的注册与使用
- tinymce 富文本限制字数 超出不显示
- 【有限元分析】在ANSYS经典版中划分网格后,如何查看单元数和节点数
- 概率统计·参数估计【矩估计、极大似然估计、无偏性、有效性、相合性】
- Servlet重定向和转发
- 调用Java API发送传真
- Java对List中的中文属性按照拼音排序
- html css 常用标签,CSS/HTML 常用标签集合