【Selenium下】——全栈开发——如桃花来
目录索引
- ==获取元素信息:==
获取单个文本和属性:
- *获取文本:*
- *获取属性:*
获取多个文本和属性值:
- ==等待:==
显示等待:
time等待:
- ==EC:==
常见方法:
- ==前进后退:==
- ==选项卡管理:==
打开窗口:
窗口切换:
查看所有窗口id:
实例演示:
- ==Cookies:==
获取服务器设置在本地的cookies:
设置cookies:
清除cookies:
- ==iframe:==
- `selenium-iframe`
获取元素信息:
获取单个文本和属性:
获取文本:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import timebrowser = webdriver.Chrome()
url = "https://www.bilibili.com/"
browser.get(url)
find_input = browser.find_element(By.XPATH,'//*[@id="i_cecream"]/div[2]/div[1]/div[3]') #获取哔哩哔哩上面的分类框
print(find_input.text)
呈现效果:
获取属性:
语法:
get_attribute("属性名")
#代码继承上方
print(find_input.get_attribute("class"))
呈现效果:
获取多个文本和属性值:
browser = webdriver.Chrome()
url = "https://www.bilibili.com/"
browser.get(url)
find_inputs = browser.find_elements(By.XPATH,'//*[@id="i_cecream"]/div[2]/div[1]/div[3]/div[1]/a') #获取哔哩哔哩上面的分类框
for i in find_inputs:print(i.text)print(i.get_attribute("href"))
呈现效果:
等待:
- 等待特定元素出现后做某事
- 通常用于等待某个页面元素加载完毕后进行后续操作,避免出现异常
- 等待的先后常常会影响你最后能否爬取到正确的数据
显示等待:
明确要等待某个元素出现,等不到就一直等。如果在规定的时间内都没找到,那么报错
browser = webdriver.Chrome()
url = "https://www.bilibili.com/"
browser.get(url)
# wait = WebDriverWait(browser,2)
wait = WebDriverWait(browser,0.001)
result = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="i_cecream"]/div[2]/main/div[2]/div/div[1]/div[5]/div/div[2]/a/div/div[1]/picture/img'))) #传入的是一个元组
find_inputs = browser.find_elements(By.XPATH,'//*[@id="i_cecream"]/div[2]/div[1]/div[3]/div[1]/a') #获取哔哩哔哩上面的分类框
print(result)
time等待:
直接使用time模块睡眠即可,简单又方便
EC:
导包:from selenium.webdriver.support import expected_conditions as EC
常见方法:
- title_is 标题是某内容
- title_contains 标题包含某内容
- presence_of_element_located 元素加载出,传入定位元组,如(By.ID, 'p')
- visibility_of_element_located 元素可见,传入定位元组
- visibility_of 可见,传入元素对象
- presence_of_all_elements_located 所有元素加载出
- text_to_be_present_in_element 某个元素文本包含某文字
- text_to_be_present_in_element_value 某个元素值包含某文字
- frame_to_be_available_and_switch_to_it frame加载并切换
- invisibility_of_element_located 元素不可见
- element_to_be_clickable 元素可点击
- staleness_of 判断一个元素是否仍在DOM,可判断页面是否已经刷新
- element_to_be_selected 元素可选择,传元素对象
- element_located_to_be_selected 元素可选择,传入定位元组
- element_selection_state_to_be 传入元素对象以及状态,相等返回True,否则返回False
- element_located_selection_state_to_be 传入定位元组以及状态,相等返回True,否则返回False
alert_is_present 是否出现Alert
前进后退:
控制浏览器前进页面或者后退界面,效果跟这两个箭头差不多
语法:
browser.back() #后退页面
browser.forward() #前进页面
#举个例子:
browser = webdriver.Chrome()
url1 = "https://www.bilibili.com/"
url2 = "https://www.zhihu.com/signin?next=%2F"
url3 = "https://www.baidu.com/s?ie=UTF-8&wd=%E7%99%BE%E5%BA%A6"
browser.get(url1)
browser.get(url2)
browser.get(url3)
browser.back() #后退页面
time.sleep(2)
browser.forward() #前进页面
time.sleep(2)
browser.close()
选项卡管理:
- 只有切换到当前窗口时,才能操作当前窗口(比如翻页、获取源代码等等)
- 番外:execute_script()函数常常用来运行js代码,浏览器的交互
- 除了第一个打开的窗口id为0,其他都是不按顺序打开窗口的。
打开窗口:
语法:
window.open()
窗口切换:
语法:
switch_to_window(窗口id)
查看所有窗口id:
语法:
window_handles
实例演示:
import time
from selenium import webdriverbrowser = webdriver.Chrome()browser.get('https://www.baidu.com') # 选项卡0 窗口0
time.sleep(1)
browser.execute_script('window.open()') # 选项卡1 窗口1
time.sleep(1)
browser.execute_script('window.open()') # 选项卡2 窗口2
time.sleep(1)
browser.execute_script("window.open()") #选项卡3 窗口3
IDS = browser.window_handles # 查看当前浏览器所有窗口IDbrowser.switch_to.window(browser.window_handles[1]) # 浏览器对象加载选项卡1 切换到窗口1
browser.get('https://www.taobao.com') # 窗口1 打开淘宝
time.sleep(2)
browser.switch_to.window(browser.window_handles[0]) # 浏览器对象加载选项卡0 切换到窗口0
browser.get('https://www.mi.com/') # 窗口0 打开小米官网
time.sleep(2)
browser.switch_to.window(browser.window_handles[2]) # 浏览器对象加载选项卡2 切换到窗口2
browser.get('https://jd.com')
time.sleep(2)
#再新开一个选项卡,然后获取新选项卡的源代码
browser.switch_to.window(browser.window_handles[3]) #空白页面
browser.get('https://www.baidu.com')
print(browser.page_source)
print("*"*80)
browser.switch_to.window(browser.window_handles[0])
print(browser.page_source)
- 通过windows.open()打开的网页一开始都是空白的,注意这个时候我们打开的选项卡尽管是无序的,但是我们通过给指定的选项卡请求对应网址,其实就相当于绑定了他的窗口id,实际上显示的id顺序是混乱的。但是我们设定给选项卡1一个请求网址,给选项卡2一个请求网址,到时候我们对网址的操作只要转换1、2就可以了,不用再管网页的顺序。
Cookies:
获取服务器设置在本地的cookies:
cookies = browser.get_cookies()
print(cookies)
设置cookies:
# 设置 cookies 请求站点时携带的cookie信息
browser.add_cookie({'name': 'zhangsan', 'domain': 'abcd123', 'value': 'hellozhang'})
print(browser.get_cookies()) # 查看设置成功的cookies信息
清除cookies:
# 清除cookies
browser.delete_all_cookies() # 删除所有cookie
print(browser.get_cookies())
iframe:
selenium-iframe
网页中嵌套了网页,相当于在总网页之中,放了一些小网页。要对小网页进行操作的话。先切换到iframe
,然后再执行其他操作
切换到要处理的Frame
browser.switch_to.frame(frame节点对象)
在Frame中定位页面元素并进行操作
【Selenium下】——全栈开发——如桃花来相关推荐
- python 全栈开发,Day136(爬虫系列之第3章-Selenium模块)
python 全栈开发,Day136(爬虫系列之第3章-Selenium模块) 一.Selenium 简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直 ...
- 读书笔记《Spring Boot+Vue全栈开发实战》(下)
本书将带你全面了解Spring Boot基础与实践,带领读者一步步进入 Spring Boot 的世界. 前言 第九章 Spring Boot缓存 第十章 Spring Boot安全管理 第十一章 S ...
- 扶贫干部拍胸脯认证,AI开发者上手零门槛,百度打造 “云智一体”全栈开发杀手锏...
"我可以拍着胸脯说识别准确率很高."扶贫干部刘乐这样评价他在使用百度EasyDL平台助力扶贫的效果,他是陕西省汉中市扶贫信息中心副主任,也是一名热爱编程的程序员. 在近期百度智能云 ...
- mybatis mapper.xml dtd_全栈开发踩坑之路4-用MyBatis实现服务
1.前言 上一篇文章介绍了如何设计后端的Mysql数据库:Alex Wang:全栈开发踩坑之路3-MySql数据库设计,本文介绍如何用MyBatis实现后端服务. 本后端项目的Github地址(撰写中 ...
- 预告:Javascript全栈开发的系列文章
自从一年前发布了Vuejs小书的电子书,也有些日子没有碰过它们了,现在因为项目的缘故,需要使用JavaScript全栈开发.所以,我得把这个全栈环境搭建起来. 说起来搭建JS全栈开发环境,设计到的东西 ...
- 《JavaScript快速全栈开发》作者Azat Mardanov:现在是拥抱Node技术栈的最佳时机
非商业转载请注明作译者.出处,并保留本文的原始链接:http://www.ituring.com.cn/article/195742 Azat Mardanov是一位有着12年开发经验的资深软件工程师 ...
- 从编程小白到全栈开发:基于框架开发服务端
上文中,我们了解了关于服务器端的一些概念知识,尤其是HTTP协议相关的最基本知识点,今天我想跟大家分享一下在平时正真的开发中,是如何来利用和体现这些内容的. 还记得我在<从编程小白到全栈开发:改 ...
- python利器手机版-将安卓手机打造成你的python全栈开发利器
超神利器- 相信多数安卓用户都使用过Qpython这款移动端的Python编辑器吧?之前我也研究过一阵子这个工具,但因为一次简单的爬虫让我对它失望之极.Qpython不支持lxml这个模块,然而pyt ...
- spring boot + vue + element-ui全栈开发入门——基于Electron桌面应用开发
前言 Electron是由Github开发,用HTML,CSS和JavaScript来构建跨平台桌面应用程序的一个开源库. Electron通过将Chromium和Node.js合并到同一个运行时环 ...
最新文章
- celery源码分析-Task的初始化与发送任务
- R语言中的dnorm(),pnorm(),qnorm(),rnorm()的解释
- 从采样到结果报告,未来的核酸检测要实现「无人化」
- python ftp 550错误:
- 网站推广专员浅析关键词筛选决定网站推广的排名与流量
- ubuntu服务器mysql管理 第一弹
- 风暴航路的地图编号_砖厂风暴航路已倒闭,新的搬砖圣地诞生
- java+脚本+压枪,我的世界钓鱼脚本代码csgo压枪
- aqs clh java_Java并发包源码学习之AQS框架(二)CLH lock queue和自旋锁
- python科学计算之Pandas使用(二)
- linux下使用ffmpeg下载m3u8视频
- 原创 | 最近程序员频繁被抓,如何避免面向监狱编程?!
- uint8_t范围_uint8_t / uint16_t / uint32_t /uint64_t 是什么数据类型 - 大总结
- Rename_suffix
- 飞桨博士会第十一期回顾:人工智能与生命科学的硬核碰撞
- 公司禁用QQ,破解方法(洋葱tor 安装配置)
- 青龙面板登陆去除二次验证
- python连乘函数_(Python3) 连加 连乘 代码
- iOS开发 -- 一个被苹果下架的App,终于恢复上架
- WEB 免费打印控件推荐
热门文章
- 亲测:大蒜的用处止咳用法
- java word 纸张大小_Java 设置 Word 页边距, 页面大小, 页面方向, 页面边框
- 谈一谈HTML中table、tr、td标签的width和height
- slice切片底层原理
- 基于mono.ceil对c#进行注入垃圾代码,混淆代码,IL代码注入
- Linux + ProxyPool 搭建属于爬虫代理IP池
- 青少年python系列 26.turtle库绘制一个四叶草
- YOLOv7训练自己的VOC数据集
- ansible-playbook基于角色一键交付wordpress+zrlog+phpmyadmin项目
- IP电话机与一般电话机的区别是什么