selenium等待定位标签加载完再执行

遇到的问题描述

我们经常会碰到用selenium操作页面上某个元素的时候，需要等待页面加载完成后，才能操作。否则页面上的元素不存在，会抛出异常。

比如：

一个动态网页使用了ajax的异步加载，我们需要等待元素加载完成后，才能操作这个元素

（事实上，现在我们遇到的所有想要爬取的网站都或多或少的使用了各种各样的动态技术加载局部元素来提升访问效率）

selenium 中提供了非常简单，智能的方法，来判断元素是否存在.

最直接的方法就是

强制等待:sleep()：

import time
sleep(5)  #等待5秒

缺点不言而喻，对程序不友好，影响脚本运行效率，占用服务器资源

隐式等待:implicitly_wait()

driver.implicitly_wait(10) #隐式等待10秒

由webdriver提供的方法，一旦设置，这个隐式等待会在WebDriver对象实例的整个生命周期起作用，它不针对某一个元素，是全局元素等待，即在定位元素时，需要等待页面全部元素加载完成，才会执行下一个语句。如果超出了设置时间的则抛出异常。

缺点：当页面某些js无法加载，但是想找的元素已经出来了，它还是会继续等待，直到页面加载完成（浏览器标签左上角圈圈不再转），才会执行下一句。某些情况下会影响脚本执行速度。

测试代码

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import osurl = "file:///E:/code/py_project/untitled/testHtml.html"def fun_1(URL):browner = webdriver.Chrome()browner.get(URL)browner.find_element_by_id("testBtn").click()browner.implicitly_wait(10)  # 隐式等待10秒WebElement = browner.find_element_by_class_name("red_box")my_js = 'arguments[0].style.width = "200px";arguments[0].style.height = "200px"'browner.execute_script(my_js, WebElement)os.system("pause")fun_1(url)

显式等待:WebDriverWait(driver, timeout, poll_frequency, ignored_exceptions)

driver：浏览器驱动
timeout：最长超时时间，默认以秒为单位
poll_frequency：检测的间隔步长，默认为0.5s
ignored_exceptions：超时后的抛出的异常信息，默认抛出NoSuchElementExeception异常。

与until()或者until_not()方法结合使用

WebDriverWait(driver,10).until(method，message="")
调用该方法提供的驱动程序作为参数，直到返回值为TrueWebDriverWait(driver,10).until_not(method，message="")
调用该方法提供的驱动程序作为参数，直到返回值为False

在设置时间（10s）内，等待后面的条件发生。如果超过设置时间未发生，则抛出异常。在等待期间，每隔一定时间（默认0.5秒)，调用until或until_not里的方法，直到它返回True或False.

测试代码：

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import osurl = "file:///E:/code/py_project/untitled/testHtml.html"def fun_1(URL):browner = webdriver.Chrome()browner.get(URL)browner.find_element_by_id("testBtn").click()# 设置隐式等待# browner.implicitly_wait(10)  # 隐式等待10秒# 设置显示等待 - 1wait = WebDriverWait(browner, 10, 0.5)# 使用匿名函数wait.until(lambda diver: browner.find_element_by_class_name('red_box'))# 等到这个元素加载完毕再操作就不会报错WebElement = browner.find_element_by_class_name("red_box")my_js = 'arguments[0].style.width = "200px";arguments[0].style.height = "200px"'browner.execute_script(my_js, WebElement)os.system("pause")fun_1(url)

WebDriverWait与expected_conditions结合使用

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import Bywait = WebDriverWait(driver,10,0.5)
element =waite.until(EC.presence_of_element_located((By.ID,"kw"),message="")

测试代码：

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import osurl = "file:///E:/code/py_project/untitled/testHtml.html"def fun_1(URL):browner = webdriver.Chrome()browner.get(URL)browner.find_element_by_id("testBtn").click()wait = WebDriverWait(browner, 10, 0.5)wait.until(EC.presence_of_element_located((By.CLASS_NAME, "red_box")))# 等到这个元素加载完毕再操作就不会报错WebElement = browner.find_element_by_class_name("red_box")my_js = 'arguments[0].style.width = "200px";arguments[0].style.height = "200px"'browner.execute_script(my_js, WebElement)os.system("pause")fun_1(url)

expected_conditions类提供的预期条件判断的方法

方法	说明
title_is	判断当前页面的 title 是否完全等于（==）预期字符串，返回布尔值
title_contains	判断当前页面的 title 是否包含预期字符串，返回布尔值
presence_of_element_located	判断某个元素是否被加到了 dom 树里，并不代表该元素一定可见
visibility_of_element_located	判断元素是否可见（可见代表元素非隐藏，并且元素宽和高都不等于 0）
visibility_of	同上一方法，只是上一方法参数为locator，这个方法参数是定位后的元素
presence_of_all_elements_located	判断是否至少有 1 个元素存在于 dom 树中。举例：如果页面上有 n 个元素的 class 都是’wp’，那么只要有 1 个元素存在，这个方法就返回 True
text_to_be_present_in_element	判断某个元素中的 text 是否包含了预期的字符串
text_to_be_present_in_element_value	判断某个元素中的 value 属性是否包含了预期的字符串
frame_to_be_available_and_switch_to_it	判断该 frame 是否可以 switch进去，如果可以的话，返回 True 并且 switch 进去，否则返回 False
invisibility_of_element_located	判断某个元素中是否不存在于dom树或不可见
element_to_be_clickable	判断某个元素中是否可见并且可点击
staleness_of	等某个元素从 dom 树中移除，注意，这个方法也是返回 True或 False
element_to_be_selected	判断某个元素是否被选中了,一般用在下拉列表
element_selection_state_to_be	判断某个元素的选中状态是否符合预期
element_located_selection_state_to_be	跟上面的方法作用一样，只是上面的方法传入定位到的 element，而这个方法传入 locator
alert_is_present	判断页面上是否存在 alert

显示等待,自定义等待条件

#设置等待
wait = WebDriverWait(driver,10,0.5)
#使用匿名函数
wait.until(lambda diver:driver.find_element_by_id('kw'))