python selenium grid_selenium grid 使用
selenium除了可用于web的单元测试之外,用来做数据抓取也是一个很好的工具,对于数据由复杂的AJAX调用加载的网页,直接调用浏览器渲染是开发效率最高的方式。python调用它的文档也很详细。
单机版的selenium安装简单,python调用也很简单:
from selenium import webdriver
browser= webdriver.Firefox()
browser.get('https://www.google.com.sg/')
print browser.find_element_by_id('lga')
browser.close()
browser.quit()
即可实现打开google,获取element的功能。
selenium grid是一个更高级的服务。可以将多个单机连接成网络,并发的提供浏览器渲染的功能。浏览本页文档即可完成配置。简单来说就是如下三步:
下载jar包(Selenium Standalone Server)
启动hub: java -jar selenium-server-standalone-2.44.0.jar -role hub
启动node: java -jar selenium-server-standalone-2.44.0.jar -role node -hub http://localhost:4444/grid/register
调用方法就是WebDriver的的类型初始化参数有变:
from selenium.webdriver.remote.webdriver import WebDriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
browser = WebDriver(command_executor='http://127.0.0.1:4444/wd/hub',
desired_capabilities=DesiredCapabilities.FIREFOX)
browser.get('https://www.google.com.sg/')
print browser.find_element_by_id('lga')
browser.close()
browser.quit()
另外,可以通过自定义sevelet来在外层包装出日志、代理等功能,详情可见文档。
python selenium grid_selenium grid 使用相关推荐
- python selenium 用法 和 Chrome headless
From: http://cuiqingcai.com/2599.html Selenium教程:https://www.yiibai.com/selenium selenium 官方参考文档:htt ...
- python+selenium实现UI自动化(一)
一.selenium selenium官方网站 selenium ide 录制工具. 火狐/google/edge插件 selenium webdriver 结合代码来编写自动化用例.提供很多在浏 ...
- Python+Selenium+phantomjs实现网页模拟登录和截图
Python+Selenium+phantomjs实现网页模拟登录和截图 本文全部操作均在windows环境下 安装 Python Python是一种跨平台的计算机程序设计语言,它可以运行在Windo ...
- python+selenium+phantomJS爬取国家地表水水质自动监测实时数据发布系统——动态网页爬虫
一.关于phantomjs 1.介绍 PhantomJS是一个为自动化而生的利器,它本质上是一个基于webkit内核的无界面浏览器,并可使用JavaScript或CoffeeScript进行编程.由于 ...
- Python - Selenium Chrome 模拟手机
Python - Selenium Chrome 模拟手机 Max.Bai 2017-04 Chrome浏览器支持移动端调试,当然ChromeDriver也支持移动端测试了. 使用python调用We ...
- python+selenium+Chrome(无头版)爬取国家地表水水质自动监测实时数据发布系统(修改版)——动态网页爬虫
这是一篇动态网页的爬虫教程,新手可以操作一下,简单实用. 一.前言 这篇blog跟python+selenium+phantomJS爬取国家地表水水质自动监测实时数据发布系统--动态网页爬虫的爬虫思路 ...
- Python+selenium+firefox模拟登录微博并爬取数据(1
1:环境python3.5,最新 firefox,selenium-3.14.0. 本来准备用无界面的,但是感觉效果不好看出来所以先用有界面的浏览器来做.分几次来慢慢写.这节先配置好环境. 2:安装: ...
- 教你两种python selenium保存图片的方法
大家好,本篇文章主要讲的是python selenium保存图片最好的两种方法,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下 selenium爬取页面时经常遇到要保存图片的需求,通常的做法是 ...
- mac 搭建python+selenium+chromedriver环境
mac 搭建python+selenium+chromedriver环境 有关配置默认python3,请查看:https://blog.csdn.net/qq_35098526/article/det ...
最新文章
- [译]Selenium Python文档:一、安装
- 批处理中setlocal enabledelayedexpansion
- 【智能语音】ROC-RK3308-CC Amazon Alexa固件发布
- html5学习笔记1
- 如何做好网络推广浅析新手对网站SEO内链该如何优化?
- 打造高端网站应该具备哪些品质?
- ORM中的Model与DDD中的DomainModel
- 转---Oracle10G的Sga_max_size和sga_target应该如何设置啊!
- dict( )、zip( )函数——python小练
- HDU3364 Lanterns
- webx rewrite
- 数据库(左、中、右)连接
- 【win7提速新方法:禁用禁用eSATA接口】
- 光流法的视频移动目标检测(matlab代码)
- html 播放amr ios,关于iOS设备以amr格式播放音频文件
- awk从atq检索第一个字段报告 [英]awk to retrieve the first field report from atq
- birthday中文是什么_ffappybirthday翻译
- java中一些常用的英语
- 华为5g鸿蒙系统手机多少钱,华为Mate30Pro或成今年机皇:鸿蒙系统+麒麟985+5G基带,价格感人...
- 无位置传感器的电机控制