v2-bdcdaf5e8af6c23cfebc6f44bbb02543_b.jpg

一、前言

由于requests模块是一个不完全模拟浏览器行为的模块,只能爬取到网页的HTML文档信息,无法解析和执行CSS、JavaScript代码,因此需要我们做人为判断;

selenium模块本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器;由于selenium解析执行了CSS、JavaScript所以相对requests它的性能是低下的;

二、selenium基本使用

import time from selenium import webdriver#驱动浏览器 from selenium.webdriver import ActionChains #滑动 from selenium.webdriver.common.by import By #选择器 from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys #键盘按键操作 from selenium.webdriver.support import expected_conditions as EC #等待所有标签加载完毕 from selenium.webdriver.support.wait import WebDriverWait #等待页面加载完毕 寻找某些元素 browser=webdriver.Chrome() #调用Chrome 驱动,生成浏览器对象 wait=WebDriverWait(browser,10) #设置selenium等待浏览器加载完毕的最大等待时间 try: browser.get('https://www.baidu.com/') baidu_input_tag=browser.find_element_by_id("kw") #寻找到百度页面的id='kw'的标签 key=baidu_input_tag.send_keys('张根') #在标签中输入'张根' baidu_button_tag=browser.find_element_by_id('su') #寻找到百度页面id='su'的标签 baidu_button_tag.click() #点击 wait.until(EC.presence_of_element_located((By.ID,'4'))) #等待百度页面 ID='4'的标签完毕,最大等待10秒 ''' 请求相关: browser.get('url') 响应相关: print(browser.page_source) #显示网页源码 print(browser.current_url) #获取当前url print(browser.get_cookies()) #获取当前网页cokies ''' finally: time.sleep(5) browser.close() #关闭浏览器

三、selenium选择器

模拟浏览器无非请求---->显示页面----->寻找标签 ------>点击标签的事件,所以selenium的关键是怎么找到页面中的标签,进而触发标签事件;

1.通过标签id属性进行定位

browser.find_element(By.ID,'kw').send_keys("美女") browser.find_element_by_id('kw').send_keys('性感')

2.通过标签name属性进行定位

browser.find_element_by_name("wd").send_keys("Linux") browser.find_element(By.NAME,'wd').send_keys("美女")

3.通过标签名进行定位

browser.find_element_by_tag_name("input").send_keys("selenium") browser.find_element(By.TAG_NAME, 'input').send_keys('aaa')

4.通过CSS查找方式进行定位

browser.find_element(By.CSS_SELECTOR, '#kw').send_keys('python django') browser.find_element(By.CSS_SELECTOR, '#kw').send_keys('python 之美')

5.通过xphan方式定位

browser.find_element_by_xpath('//*[@id="kw"]').send_keys("python Tornado") browser.find_element(By.XPATH, '//*[@id="kw"]').send_keys('吐槽大会')

6.通过搜索 页面中 链接进行定位

有时候不是一个输入框也不是一个按钮,而是一个文字链接,我们可以通过link

browser.find_element_by_link_text("新闻").click()

7.通过搜索 页面中 链接进行定位 ,可以支持模糊匹配

browser.find_element_by_partial_link_text("新").click() browser.find_element_by_partial_link_text("闻").click()

8.小结

上述均可以改写成find_element(By.ID,'kw')的形式

find_elements_by_xxx的形式是查找到多个元素,结果为列表 import time from selenium import webdriver#驱动浏览器 from selenium.webdriver import ActionChains #滑动 from selenium.webdriver.common.by import By #选择器 from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys #键盘按键操作 from selenium.webdriver.support import expected_conditions as EC #等待所有标签加载完毕 from selenium.webdriver.support.wait import WebDriverWait #等待页面加载完毕 寻找某些元素 browser=webdriver.Chrome() #调用Chrome 驱动,生成浏览器对象 wait=WebDriverWait(browser,10) #设置selenium等待浏览器加载完毕的最大等待时间 try: browser.get('https://www.baidu.com/') #通过标签id属性进行定位 # browser.find_element(By.ID,'kw').send_keys("美女") # browser.find_element_by_id('kw').send_keys('性感') #通过标签name属性进行定位 # browser.find_element_by_name("wd").send_keys("Linux") # browser.find_element(By.NAME,'wd').send_keys("美女") #通过标签名称进行定位 # browser.find_element_by_tag_name("input").send_keys("selenium") # browser.find_element(By.TAG_NAME, 'input').send_keys('aaa') # 通过CSS查找方式进行定位 # browser.find_element(By.CSS_SELECTOR, '#kw').send_keys('python django') # browser.find_element(By.CSS_SELECTOR, '#kw').send_keys('泰山') # 通过xphan方式定位 # browser.find_element_by_xpath('//*[@id="kw"]').send_keys("python Tornado") # browser.find_element(By.XPATH, '//*[@id="kw"]').send_keys('吐槽大会') # 通过搜索 页面中 链接进行定位 # browser.find_element_by_link_text("新闻").click() #通过搜索 页面中 链接进行定位 ,可以支持模糊匹配 # browser.find_element_by_partial_link_text("新").click() # browser.find_element_by_partial_link_text("闻").click() finally: browser.find_element_by_id("su").click() time.time(3) browser.close() # 关闭浏览器browser.quit()

四、等待元素被加载

1、selenium只是模拟浏览器的行为,而浏览器解析页面是需要时间的(执行css,js),一些元素可能需要过一段时间才能加载出来,为了保证能查找到元素,必须等待

2、等待的方式分两种

wait=WebDriverWait(browser,10) #显式等待 wait1=browser.implicitly_wait(10) #隐式等待 wait.until(EC.presence_of_element_located((By.CLASS_NAME,'tH0'))) test = wait.until(lambda x: x.find_element_by_xpath('xpath')) ''' 显式等待:指定等待某个标签加载完毕 隐式等待:等待所有标签加载完毕 '''

五、元素交互操作

ActionChains

用selenium做自动化,有时候会遇到需要模拟鼠标操作才能进行的情况(如:iframe标签),比如单击、双击、点击鼠标右键、拖拽(滑动验证)等。而selenium给我们提供了一个类来处理这类事件——ActionChains

#iframe标签切换 #如果网页页面嵌套frame标签,子页面访问不到父页面的内容,父页面也访问不到子页面的内容所以需要切换; from selenium import webdriver from selenium.webdriver import ActionChains #鼠标键盘动作链 from selenium.webdriver.common.by import By # 按照什么方式查找,By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys # 键盘按键操作 from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait # 等待页面加载某些元素 import time browser=webdriver.Chrome() wait1=WebDriverWait(browser,10) browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable') browser.switch_to.frame('iframeResult')#切换到id='iframewrapper'的iframe子标签 action_chains=ActionChains(browser) #实例化1个动作链队列 source=browser.find_element_by_id('draggable') #找到拖拽的源标签 target=browser.find_element_by_id('droppable')#找到拖拽的目标标签 action_chains.drag_and_drop(source,target).perform()#把动作放到动作链中,perform()准备串行执行; ''' click(on_element=None) ——单击鼠标左键 click_and_hold(on_element=None) ——点击鼠标左键,不松开 context_click(on_element=None) ——点击鼠标右键 double_click(on_element=None) ——双击鼠标左键 drag_and_drop(source, target) ——拖拽到某个元素然后松开 drag_and_drop_by_offset(source, xoffset, yoffset) ——拖拽到某个坐标然后松开 key_down(value, element=None) ——按下某个键盘上的键 key_up(value, element=None) ——松开某个键 move_by_offset(xoffset, yoffset) ——鼠标从当前位置移动到某个坐标 move_to_element(to_element) ——鼠标移动到某个元素 move_to_element_with_offset(to_element, xoffset, yoffset) ——移动到距某个元素(左上角坐标)多少距离的位置 perform() ——执行链中的所有动作 release(on_element=None) ——在某个元素位置松开鼠标左键 send_keys(*keys_to_send) ——发送某个键到当前焦点的元素 send_keys_to_element(element, *keys_to_send) ——发送某个键到指定元素 ''' time.sleep(5) browser.quit() 关于ActionChains参看:http://blog.csdn.net/huilan_same/article/details/52305176

1.点击,清空

import time from selenium import webdriver#驱动浏览器 from selenium.webdriver import ActionChains #滑动 from selenium.webdriver.common.by import By #选择器 from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys #键盘按键操作 from selenium.webdriver.support import expected_conditions as EC #等待所有标签加载完毕 from selenium.webdriver.support.wait import WebDriverWait #等待页面加载完毕 寻找某些元素 browser=webdriver.Chrome() #调用Chrome 驱动,生成浏览器对象 wait=WebDriverWait(browser,10) #设置selenium等待浏览器加载完毕的最大等待时间 browser.get('https://www.baidu.com/') browser.find_element(By.ID,'kw').send_keys("美女") browser.find_element_by_id("su").click()#点击按钮 time.sleep(4) browser.find_element(By.ID,'kw').clear()#清空input标签中的内容,让重新输入 browser.find_element_by_id('kw').send_keys('性感') browser.find_element_by_id("su").click() #点击按钮

2.前进和后退

import time from selenium import webdriver#驱动浏览器 from selenium.webdriver import ActionChains #滑动 from selenium.webdriver.common.by import By #选择器 from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys #键盘按键操作 from selenium.webdriver.support import expected_conditions as EC #等待所有标签加载完毕 from selenium.webdriver.support.wait import WebDriverWait #等待页面加载完毕 寻找某些元素 import time from selenium import webdriver browser=webdriver.Chrome() browser.get('http://www.cnblogs.com/sss4/') browser.find_element_by_partial_link_text( 'PythonWEB框架之Flask').click() time.sleep(3) browser.back() #后退 time.sleep(3) browser.forward() #前进 time.sleep(5) browser.close()

3.cokies相关

import time from selenium import webdriver#驱动浏览器 from selenium.webdriver import ActionChains #滑动 from selenium.webdriver.common.by import By #选择器 from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys #键盘按键操作 from selenium.webdriver.support import expected_conditions as EC #等待所有标签加载完毕 from selenium.webdriver.support.wait import WebDriverWait #等待页面加载完毕 寻找某些元素 from selenium import webdriver browser=webdriver.Chrome() browser.get('https://www.zhihu.com/explore') print(browser.get_cookies()) #获取cokies信息 browser.add_cookie({'k1':'xxx','k2':'yyy'}) #添加cokies信息 print(browser.get_cookies()) browser.delete_all_cookies() #删除cokies信息,慎用

4.选项卡管理

from selenium import webdriver browser=webdriver.Chrome() browser.execute_script('window.open()') #打开选项卡 browser.execute_script('window.open()') print(browser.window_handles) #获取所有的选项卡 browser.switch_to_window(browser.window_handles[0]) #切换至选项卡0 browser.get('https://www.taobao.com') browser.switch_to_window(browser.window_handles[1]) #切换至选项卡1 browser.get('https://www.baidu.com') browser.switch_to_window(browser.window_handles[2]) #切换至选项卡2 browser.get('https://v.qq.com/')

5.selenium异常处理

from selenium import webdriver from selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameException try: browser=webdriver.Chrome() browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable') browser.switch_to.frame('iframssseResult') except TimeoutException as e: print(e) except NoSuchFrameException as e: print(e) finally: browser.close()

6. 获取元素属性

//获取a连接的href属性值 browser.find_element_by_xpath('//a')).get_attribute('href')

7. 切换窗口

定位iframe # 1.有id,并且唯一,直接写id driver.switch_to_frame("x-URS-iframe") driver.switch_to.frame("x-URS-iframe") # 2.有name,并且唯一,直接写name driver.switch_to_frame("xxxx") driver.switch_to.frame("xxxx") # 3.无id,无name,先定位iframe元素 iframe = driver.find_elements_by_tag_name("iframe")[0] driver.switch_to_frame(iframe) driver.switch_to.frame(iframe) # 4.从frame中切回主文档(switch_to.default_content()) 切到frame中之后,我们便不能继续操作主文档的元素,这时如果想操作主文档内容,则需切回主文档。 driver.switch_to.default_content()

8.获取cookie

#获取cookie cookie = browser.get_cookies() #获取到的是一个坑爹的list,没错,是个list,所用下面的代码可以转成request使用的cookiejar cookie_jar = requests.cookies.RequestsCookieJar() for item in cookie: cookie_jar.set(item["name"], item["value"], path='/', domain=item["domain"]) print("cookie处理后---->", cookie_jar)笔者创建了一个测试交流群,如果对软件测试、接口测试、自动化测试、面试经验交流感兴趣可以加测试交流群(文章开头图片),还会有同行一起技术交流。

linux selenium_Selenium的基本使用方法相关推荐

  1. Linux下环境变量配置方法梳理(.bash_profile和.bashrc的区别)

    博客园 首页 新随笔 联系 管理 订阅 <div class="blogStats"><!--done--> 随笔- 556  文章- 38  评论- 77 ...

  2. Linux安全事件应急响应排查方法总结

    Linux安全事件应急响应排查方法总结 Linux是服务器操作系统中最常用的操作系统,因为其拥有高性能.高扩展性.高安全性,受到了越来越多的运维人员追捧.但是针对Linux服务器操作系统的安全事件也非 ...

  3. linux下添加路由的方法

    Linux中增加软路由的两种方法 第一种: route add -net 172.16.6.0 netmask 255.255.255.0 gw 172.16.2.254 dev eth0 /* 增加 ...

  4. 常用的Linux服务器各项性能指标查看方法!

    分享常用的Linux服务器各项性能指标查看方法 硬盘查看命令df 硬盘查看命令df最常用参数是-h,以容易阅读的方式显示磁盘分区使用情况. df -h df -h /root/#以易读方式显示目录所在 ...

  5. linux手动释放内存的方法

    Linux手动释放缓存的方法 Linux释放内存的命令: sync echo 1 > /proc/sys/vm/drop_caches drop_caches的值可以是0-3之间的数字,代表不同 ...

  6. 250g硬盘linux分区,linux分区格式化命令使用方法

    linux分区格式化命令使用方法 首先使用root权限登陆进入linux操作界面 使用fdisk -l 参数查看设备名跟设备状态 类似如下 : [root@ecofe2 /]# fdisk -l Di ...

  7. 如何在linux系统下修改mysql密码_如何在linux下修改mysql数据库密码?linux修改数据库密码的方法...

    本篇文章给大家带来的内容是介绍如何在linux下修改mysql数据库密码?linux修改数据库密码的方法.有一定的参考价值,有需要的朋友可以参考一下,希望对你们有所帮助. Linux下修改Mysql的 ...

  8. grub2引导linux内核,一种基于grub2的linux系统启动bootloader的制作方法与流程

    技术领域 本发明涉及服务器应用技术领域,具体涉及一种基于grub2的linux系统启动bootloader的制作方法. 背景技术: 当前linux系统的内核版本已经升级至4.0以上,最新的linux系 ...

  9. linux安装IPython四种方法

    IPython是Python的交互式Shell,提供了代码自动补完,自动缩进,高亮显示,执行Shell命令等非常有用的特性.特别是它的代码补完功能,例如:在输入zlib.之后按下Tab键,IPytho ...

最新文章

  1. 彻底理解Canal,看这篇就够了
  2. ubuntu下 显示no module named “lib“或 “lib.xxx“
  3. idea中使用osgi_OSGi环境中的Servlet基本身份验证
  4. leetcode348. 判定井字棋胜负 好麻烦的代码
  5. SQL 递归查询最顶级目录
  6. Neuron:Neural activities in V1 create a bottom-up saliency map
  7. bat脚本一键配置java开发环境
  8. html拾色器没效果,用html和js写一个拾色器
  9. Windows 10正式版官方原版ISO镜像下载
  10. 面试官:如何设计群聊消息的已读未读功能?
  11. 用ps魔棒工具选区域和改变区域颜色
  12. 「来道题」Redis的Gossip协议
  13. UIWebView、UITextView 和UILable 设置行间距
  14. 太极安装的应用打开闪退_BUG:通过太极阴创建应用什么值得买的过程中太极闪退,应用创建失败...
  15. 研华运动控制卡接线图_ADVANTECH研华PCI-1245S运动控制卡4轴DSP架构脉冲型 步进/伺服电机SCARA控制通用PCI卡...
  16. Hat trick [又名帽子戏法]
  17. FlexboxLayout全攻略(Google官方灵活实现流式布局控件)
  18. 应用“真心话大冒险”已更新到marketplace中
  19. 五年JAVA开发,一份简历搞定面试官!
  20. 绿色tftp服务器:tftpd32的配置

热门文章

  1. Java基础-重要版本
  2. 生成模型和判别模型直接的区别
  3. Egret白鹭开发微信小游戏手机震动功能
  4. docker技术之基本命令
  5. postgresql 9.1 下的 pg_dump 的初步研究
  6. ECSHOP集成百度ueditor编辑器上传图片到服务器或又拍云(七牛云)
  7. Zabbix自带模板监控MySQL服务
  8. FastDFS下的storage服务启动卡住
  9. windows 命令行中 「ftp」「sftp」命令的使用
  10. 移植制造时保持资源的「统一」。