java爬虫技术之Selenium爬虫
Selenium爬虫
Selenium是一系列基于Web的自动化工具，提供一套测试函数，用于支持Web自动化测试。函数非常灵活，能够完成界面元素定位、窗口跳转、结果比较。
流程：
selenium 使用教程详解-java版本 - 小葛师兄 - 博客园 (cnblogs.com)
一、操作流程
1. 先去Downloads | Selenium下载工具
https://www.selenium.dev/downloads/
2. 在pom文件中引入对应的依赖
<dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId><version>3.4.0</version></dependency>
3. 下载对应浏览器驱动
Firefox浏览器驱动
Releases · mozilla/geckodriver · GitHub
Chrome浏览器驱动：
ChromeDriver Mirror (taobao.org)
IE浏览器驱动：
selenium-release.storage.googleapis.com/index.html
Edge浏览器驱动：
微软边缘驱动程序 - 微软边缘开发人员 (microsoft.com)
Opera浏览器驱动：
发布 ·歌剧软件/歌剧铬驱动程序 ·GitHub
PhantomJS浏览器驱动：
PhantomJS - 可编写脚本的无头浏览器
注：部分浏览器驱动地址需要梯子。
4. 设置浏览器驱动
设置浏览器的地址非常简单。 我们可以手动创建一个存放浏览器驱动的目录，如： D:\tools\HuanjingVariable\chromedriver , 将下载的浏览器驱动文件（例如：chromedriver、geckodriver）丢到该目录下。
我的电脑–>属性–>系统设置–>高级–>环境变量–>系统变量–>Path，将“D:\tools\HuanjingVariable\chromedriver”目录添加到Path的值中。
5. 环境变量没设置好可以指定磁盘地址去访问浏览器驱动
//设置系统属性指定谷歌驱动地址
System.setProperty("webdriver.chrome.driver", "D:/tools/HuanjingVariable/chromedriver/chromedriver.exe");
二、定位方式
| 方法 | 描述 | 参数 | 示例 |
|---|---|---|---|
| findElement(By.id()) | 通过元素的 id 属性值来定位元素 | 对应的id属性值 | findElement(By.id(“kw”)) |
| findElement(By.name()) | 通过元素的 name 属性值来定位元素 | 对应的name值 | findElement(By.name(“user”)) |
| findElement(By.className()) | 通过元素的 class 名来定位元素 | 对应的class类名 | findElement(By.className(“passworld”)) |
| findElement(By.tagName()) | 通过元素的 tag 标签名来定位元素 | 对应的标签名 | findElement(By.tagName(“input”)) |
| findElement(By.linkText()) | 通过元素标签对之间的文本信息来定位元素 | 文本内容 | findElement(By.linkText(“登录”)) |
| findElement(By.partialLinkText()) | 通过元素标签对之间的部分文本信息来定位元素 | 部分文本内容 | findElement(By.partialLinkText(“百度”)) |
| findElement(By.xpath()) | 通过xpath语法来定位元素 | xpath表达式 | findElement(By.xpath(“//input[@id=‘kw’]”)) |
| findElement(By.cssSelector()) | 通过css选择器来定位元素 | css元素选择器 | findElement(By.cssSelector(“#kw”)) |
三、Selenium API
1. WebDriver 常用 API
WebDriver 提供了一系列的 API 来和浏览器进行交互
| 方法 | 描述 |
|---|---|
| get(String url） | 访问目标 url 地址，打开网页 |
| getCurrentUrl() | 获取当前页面 url 地址 |
| getTitle() | 获取页面标题 |
| getPageSource() | 获取页面源代码 |
| close() | 关闭浏览器当前打开的窗口 |
| quit() | 关闭浏览器所有的窗口 |
| findElement(by) | 查找单个元素 |
| findElements(by) | 查到元素列表，返回一个集合 |
| getWindowHandle() | 获取当前窗口句柄 |
| getWindowHandles() | 获取所有窗口的句柄 |
2. WebElement 常用 API
通过 WebElement 实现与网站页面上元素的交互，这些元素包含文本框、文本域、按钮、单选框、div等，WebElement提供了一系列的方法对这些元素进行操作
| click() | 对元素进行点击 |
|---|---|
| clear() | 清空内容（如文本框内容） |
| sendKeys(…) | 写入内容与模拟按键操作 |
| isDisplayed() | 元素是否可见（true:可见，false：不可见） |
| isEnabled() | 元素是否启用 |
| isSelected() | 元素是否已选择 |
| getTagName() | 获取元素标签名 |
| getAttribute(attributeName) | 获取元素对应的属性值 |
| getText() | 获取元素文本值（元素可见状态下才能获取到） |
| submit() | 表单提交 |
四、 元素等待机制
在对元素进行定位时，有时候网页加载时间比较长，元素还没有加载出来，这个时候去查找这个元素的话程序中就会抛出异常，所以我们在编写代码时需要考虑延时问题，在selenium中有几种延时机制可以使用如下：
1.硬性等待
硬性等待就是不管你浏览器元素是否加载完成，都要进行等待设置好的时间，利用 java 语言中的线程类 Thread 中的 sleep 方法，进行强制等待。
Thread.sleep(long millis) 该方法会让线程进行休眠。
如：Thread.sleep(3000) 表示程序执行的线程暂停 3 秒钟。
这种方法在一定的程度上是可以解决元素加载过慢的情况，但是不建议使用该方法，因为一般情况下我们无法判断网页到底需要多长时间加载完成，如果我们设置的时间过长，非常影响效率。
2.隐式等待
隐式等待的理解，就是我们通过代码设置一个等待时间，如果在这个等待时间内，网页加载完成后就执行下一步，否则一直等待到时间截止。
代码表示：
driver.manage.timeouts.implicitlyWait(long time, TimeUtil unit);
这种方法相对于硬性等待显的会灵活一点，但是隐式等待也有个弊端，因为这个设置是全局的，程序需要等待整个页面加载完成，直到超时，有时候我需要找的那个元素早就加载完成了，只是页面上有个别其他元素加载比较慢，程序还是会一直等待下去。直到所有的元素加载完成在执行下一步。
3.显式等待
显示等待是等待指定元素设置的等待时间，在设置时间内，默认每隔0.5s检测一次当前的页面这个元素是否存在，如果在规定的时间内找到了元素则执行相关操作，如果超过设置时间检测不到则抛出异常。默认抛出异常为：NoSuchElementException。推荐使用显示等待。
代码表示：
WebDriberWait wait = new WebDriverWait(dirver, timeOutInSeconds);
wait.nutil(expectCondition);
具体使用案例：
1.查找元素是否已经加载出来
WebDriverWait wait = new WebDriverWait(driver, 5);
// 查找id为“kw"的元素是否加载出来了（已经在页面DOM中存在）
wait.until(ExpectedConditions.presenceOfElementLocated(By.id("kw")));// 在设定时间内找到后就返回，超时直接抛异常
2.查找元素是否可见
WebDriverWait wait = new WebDriverWait(driver, 5);
// 查找id为"kw"的元素是否可见
wait.until(ExpectedConditions.visibilityOfElementLocated(By.id("kw")));
3.查找元素是否可点击
WebDriverWait wait = new WebDriverWait(driver, 5);
// 查找id为"kw"的元素是否可以点击
wait.until(ExpectedConditions.elementToBeClickable(By.id("kw")));
4.自定义方法，重写ExpectedCondition中的apply方法
/*
自定义查找元素的方法，对元素查找方法进行二次封装，更加的灵活，可以加上自己逻辑。
*/
public WebElement getElement(long timeOutInSecond, By by) {WebDriverWait wait = new WebDriverWait(driver, timeOutInSecond);WebElement element = wait.until(new ExpectedCondition<WebElement>() {@NullableDecl@Overridepublic WebElement apply(@NullableDecl WebDriver webDriver) {return webDriver.findElement(by);}});return element;}
4. ExpectedConditions类中常用方法
| 方法 | 描述 |
|---|---|
| presenceOfElementLocated(By locator) | 判断某个元素是否被加到了dom树里，并不代表该元素一定可见； |
| visibilityOfElementLocated(By locator) | 判断某个元素是否可见（代表元素非隐藏，元素的宽和高都不等于0）； |
| elementToBeClickable(By locator) | 判断某个元素中是否可见并且是enable的且可点击； |
| elementToBeSelected(By locator) | 判断某个元素是否被选中了,一般用在下拉列表； |
| alertIsPresent() | 判断页面上是否存在alert； |
| titleIs(String title) | 判断当前页面的title是否精确等于预期； |
| titleContains(String title) | 判断当前页面的title是否包含预期字符串； |
| textToBePresentInElement(By locator, String text) | 判断某个元素中的text是否包含了预期的字符串； |
| textToBePresentInElementValue(By locator, String text) | 判断某个元素中的value属性是否包含了预期的字符串； |
| invisibilityOfElementLocated(By locator) | 判断某个元素中是否不存在于dom树或不可见； |
| frameToBeAvailableAndSwitchToIt(By) | 判断iframe可用，并且切换到iframe中 |
5. 页面加载超时设置
通过TimeOuts 对象进行全局页面加载超时的设置，该设置必须放置get 方法之前。如下代码：
driver.manage().timeouts().pageLoadTimeout(5, TimeUnit.SECONDS);
driver.get("https://www.baidu.com");
如果百度首页在超过5秒钟没有加载完毕，程序就会抛出异常，如果在 2秒就加载完了，就直接往下执行，如果需要对页面加载时间有要求的，可以用这个设置进行检验。
五、特殊元素操作
1. 弹出框处理（alert、confirm）
操作alert、confirm弹出框，可以通过Alert 对象来进行操作，Alert类包含了确认、取消、输入和获取弹出窗内容。
Alert对应属性和方法：
| 方法 | 描述 |
|---|---|
| Alert.getText() | 获取弹出框内容。 |
| Alert.accept() | 接受弹窗的提示，相当于点击确认按钮。 |
| Alert.dismiss() | 取消提示窗。 |
| Alert.sendKeys(String s) | 给弹窗输入内容。 |
简单使用示例：
// 首先需要切换到弹出框中，获取Alert对象。
Alert alert = driver.switchTo().alert();
// 获取弹窗文本内容
alert.getText();
// 点击确定按钮
alert.accept();
// 点击取消按钮
alert.dismiss();
注：如果弹出框不是 js 原生的 alert 弹窗，我们还是按照原来的获取元素的方法。
2. iframe 切换
有时候我们定位元素的时候，发现怎么都定位不了。 这时候你需要查一查你要定位的元素是否在iframe里面。
什么是iframe？
iframe 就是HTML 中，用于网页嵌套网页的。 一个网页可以嵌套到另一个网页中，可以嵌套很多层。
例如：
main.html
<html>
<head><title>FrameTest</title>
</head>
<body><div id="id1">this is main page's div!</div><input type="text" id="maininput" /><br/><iframe id="frameA" frameborder="0" scrolling="no" style="left:0;position:absolute;" src="frame.html"></iframe>
</body>
</html>
frame.html
<html>
<head><title>this is a frame!</title>
</head>
<body><div id="div1">this is iframes div，</div><input id="iframeinput"></input>
</body>
</html>
使用selenium 操作浏览器时，如果需要操作iframe中的元素，首先需要切换到对应的内联框架中。
selenium 给我们提供了三个重载的方法，进行操作iframe；
切换方法：
// 方法一:通过 iframe的索引值，在页面中的位置
driver.switchTo().frame(index);
// 方法二：通过 iframe 的name 或者id
driver.switchTo().frame(nameOrId);
// 方法三：通过iframe 对应的webElement
driver.switchTo().frame(frameElement);
selenium 代码:
public static void testIframe(WebDriver driver){// 在 主窗口的时候driver.findElement(By.id("maininput")).sendKeys("main input");// 此时 没有进入到iframe, 以下语句会报错//driver.findElement(By.id("iframeinput")).sendKeys("iframe input");driver.switchTo().frame("frameA");driver.findElement(By.id("iframeinput")).sendKeys("iframe input");// 此时没有在主窗口，下面语句会报错//driver.findElement(By.id("maininput")).sendKeys("main input");// 回到主窗口driver.switchTo().defaultContent();driver.findElement(By.id("maininput")).sendKeys("main input");
}
注：如果已经切换进入了其中的一个 iframe 中，再想对 iframe 外的元素进行操作，需要切换回到默认的页面中，否则会找不到元素。
// 切换到默认内容页面
driver.switchTo().defaultContent();
3. 浏览器窗口的切换
有时候后在操作浏览器，可能打开了一个新的窗口，这个时候如果要对新窗口的元素进行操作，需要切换到新窗口中去，怎么去切换呢？在 selenium 中有个叫句柄的概念。
什么是句柄，简单理解就是浏览器窗口的一个标识，浏览器打开的每个窗口都有唯一的一个标识，也就是句柄，我们可以通过句柄来进行窗口之间的切换，从而来达到我们操作不同窗口的元素。
WebDriver 中提供了两个 API 来获取窗口的相关句柄：
// 获取当前窗口的句柄
String handle = driver.getWindowHandle();
// 获取所有窗口的句柄，返回一个集合
Set<String> handles = driver.getWindowHandles();
获取到句柄后，通过对应的方法进行切换：
// 切换到窗口
driver.switchTo.windwo(String handle);
多窗口之间的切换方法：
/**
* 切换窗口的方法
* 通过传入一个标题来找到我们需要的窗口。
* @param title 窗口的标题
*/
public void switchWindow(String title){Set<String> handles = driver.getWindowHandles();// 切换窗口的方式--循环遍历handles集合for (String handle : handles) {//判断是哪一个页面的句柄？？--根据什么来判断？？？titleif(driver.getTitle().equals(title)){break;}else{//切换窗口--根据窗口标识来切换driver.switchTo().window(handle);}
}
4. select 下拉框处理
如果一个页面元素是一个下拉框（select），对应下拉框的操作，selenium有专门的类 Select 进行处理。其中包含了单选和多选下拉框的各种操作，如获得所有的选项、选择某一项、取消选中某一项、是否是多选下拉框等。
Select类常用的一些方法：
| 方法 | 说明 |
|---|---|
| void deselectAll() | 取消所有选择项，仅对下拉框的多选模式有效，若下拉不支持多选模式，则会抛出异常 UnsupportedOperationException（不支持的操作） |
| void deselectByIndex(int index) | 取消指定index的选择，index从零开始，仅对多选模式有效，否则抛出异常 UnsupportedOperationException（不支持的操作） |
| void deselectByValue(String value) | 取消Select标签中，value为指定值的选择，仅对多选模式有效，否则抛出异常 UnsupportedOperationException（不支持的操作） |
| void deselectByVisibleText(String Text) | 取消项的文字为指定值的项，例如指定值为Bar，项的html为，仅对多选模式有效，单选模式无效，但不会抛出异常 |
ListgetAllSelectedOptions()
|
获得所有选中项，单选多选模式均有效，但没有一个被选中时，返回空列表，不会抛出异常 |
WebElement getFirstSelectedOption()
|
获得第一个被选中的项，单选多选模式均有效，当多选模式下，没有一个被选中时，会抛出NoSuchElementException异常 |
ListgetOptions()
|
获得下拉框的所有项，单选多选模式均有效，当下拉框没有任何项时，返回空列表，不会抛出异常 |
boolean isMultiple()
|
判断下拉框是否多选模式 |
| void selectByIndex(int index) | 选中指定index的项，单选多选均有效，当index超出范围时，抛出NoSuchElementException异常 |
| void selectByValue(String value) | 选中所有Select标签中，value为指定值的所有项，单选多选均有效，当没有适合的项时，抛出NoSuchElementException异常 |
| void selectByVisibleText(String text) | 选中所有项的文字为指定值的项，与deselectByValue相反，但单选多选模式均有效，当没有适合的项时，抛出NoSuchElementException异常 |
代码
// 创建驱动WebDriver driver = new ChromeDriver();// 打开2345网站driver.get("https://www.2345.com");// 切换城市driver.findElement(By.linkText("切换")).click();// 切换到iframe内联框架中driver.switchTo().frame("city_set_ifr");// 定位到省份下拉框WebElement province = driver.findElement(By.id("province"));province.click();// 创建Select对象Select select = new Select(province);// 根据文本来获取下拉值select.selectByVisibleText("B 北京");driver.quit();
5. 带 readonly 属性的元素操作
selenium 代码实现：
// 创建驱动
WebDriver driver = new ChromeDriver();
// 打开12306网站
driver.get("https://www.12306.cn/index/");
// 通过js来移除readonly属性
String removeAttr = "document.getElementById('train_date').removeAttribute('readonly');";
// 执行js
((JavascriptExecutor)driver).executeScript(removeAttr);
// 获取日期日历输入框
WebElement train_date = driver.findElement(By.id("train_date"));
// 清除原来的值
train_date.clear();
// 输入内容
train_date.sendKeys("2020-03-30");
driver.quit();
6. 日期控件操作
对于页面中出现时间控件选择时，一般分为两种：
（1）控件没有限制手动填写的，我们直接使用 sendKeys() 方法进行赋值即可。
Copydriver.findElement(By).sendKeys("2020-03-30");
（2）控件限制了手动输入的，只能通过点击控件时间进行输入的，我们就需要使用 js 脚本进行操作了。
Copy// 获取js执行器
JavaScriptExecutor js = (JavaScriptExecutor)driver;
// 对时间输入框进入赋值
String script = "document.getElementById('xxx').value='2020-03-30';";
// 执行
js.executeScript(script);
注：需要注意的是，不管使用哪种方式进行时间的赋值，一点要注意输入时间的格式是否符合系统的要求；
7.文件上传
对于通过input标签实现的上传功能，可以将其看作是一个输入框，即通过sendKeys()指定本地文件路径的方式实现文件上传。
创建upfile.html文件，代码如下：
<html>
<head>
<meta http-equiv="content-type" content="text/html;charset=utf-8" />
<title>upload_file</title>
<link href="http://cdn.bootcss.com/bootstrap/3.3.0/css/bootstrap.min.css" rel="stylesheet" />
</head>
<body><div class="row-fluid"><div class="span6 well"><h3>upload_file</h3><input type="file" name="file" /></div></div>
</body>
<script src="http://cdn.bootcss.com/bootstrap/3.3.0/css/bootstrap.min.js"></scrip>
</html>
接下来通过sendKeys()方法来实现文件上传。
import java.io.File;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;public class UpFileDemo {public static void main(String[] args) throws InterruptedException {WebDriver driver = new ChromeDriver();File file = new File("./HTMLFile/upfile.html");String filePath = file.getAbsolutePath();driver.get(filePath);//定位上传按钮， 添加本地文件driver.findElement(By.name("file")).sendKeys("D:\\upload_file.txt");Thread.sleep(5000);driver.quit();}
}
注：sendKeys 参数为文件的绝对路径，并且上传的文件一点要存在，否则会抛异常。
六、控制浏览器操作
浏览器窗口操作
WebDriver 给我们提供了一个 Window 对象，专门用于对窗口的设置。
对象获取方法：
Window window = driver.manage().window();
Window 对象的方法有：
| 方法 | 描述 |
|---|---|
| window.maximize() | 将浏览器窗口最大化。 |
| window.getPosition() | 获取窗口的位置，返回 Point 对象，包含浏览器左上角的坐标位置。通过point.x 和point.y 来获取到。 |
| window.setPosition(Point) | 指定浏览器窗口左上角的坐标位置，创建一个Point 对象，设置对象的 x 和 y 坐标即可。 |
| window.getSize() | 获取窗口尺寸（宽和高），返回一个 Dimension 对象，通过该对象调用 getHeight() 和 getWidth() 来获取 高度和宽度。 |
| window.setSize(Dimension) | 设置窗口大小，创建一个 Dimension 对象，设置对象的高度和宽度。 |
浏览器导航操作
WebDriver 提供了 Navigation 对象来对浏览器进行导航操作，如：前进、后退、刷新等。
Navigation 对象获取：
Navigation navigate = driver.navigate();
Navigation 对象提供的方法：
| 方法 | 描述 |
|---|---|
| navigate.to(url) | 跳转到指定url,和 webdriver 使用 get 方法是一样的。 |
| navigate.refresh() | 刷新当前页面。 |
| navigate.back() | 浏览器回退操作。 |
| navigate.forward() | 浏览器前进操作。 |
七、模拟鼠标键盘操作
1.模拟鼠标
在WebDriver中，关于鼠标的操作我们可以通过 Actions 类来模拟鼠标右击、双击、悬停、拖动等操作。
Actions 类中鼠标操作常用方法：
| 方法 | 描述 |
|---|---|
| contextClick() | 鼠标右击 |
| clickAndHold(WebElement) | 点击并控制（模拟悬停） |
| doubleClick(WebElement) | 鼠标双击 |
| dragAndDrop(webElement1,webElement2) | 鼠标拖动 |
| moveToElement(WebElement) | 鼠标移动到某个元素上 |
| perform() | 执行所有Actions中存储的行为 |
| click() | 鼠标单击（左击） |
示例：百度首页设置悬停下拉菜单
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.interactions.Actions;public class MouseDemo {public static void main(String[] args) {WebDriver driver = new ChromeDriver();driver.get("https://www.baidu.com/");// 定位元素WebElement search_setting = driver.findElement(By.linkText("设置"));// 创建actions对象Actions action = new Actions(driver);// 模拟鼠标悬停action.clickAndHold(search_setting).perform();driver.quit();}
}
其他方法使用：
Actions action = new Actions(driver);// 鼠标右键点击指定的元素
action.contextClick(driver.findElement(By.id("element"))).perform();// 鼠标双击指定的元素
action.doubleClick(driver.findElement(By.id("element"))).perform();
// 鼠标移到到指定元素上
action.moveToElement(driver.findElement(By.id("element"))).perform();// 鼠标拖拽动作， 将 source 元素拖放到 target 元素的位置。
WebElement source = driver.findElement(By.name("element"));
WebElement target = driver.findElement(By.name("element"));
action.dragAndDrop(source,target).perform();// 释放鼠标
action.release().perform();
2.模拟键盘
在 selenium 中有个 Keys() 类（枚举类），提供了几乎键盘上所有按键的方法，在使用的过程中，我们可以通过 sendKeys() 方法来模拟键盘的输入，除此之外，我们还可以用它来输入键盘上的按键， 甚至是组合键， 如 Ctrl+A、 Ctrl+C 等。
以下为常用的键盘操作：
- sendKeys(Keys.BACK_SPACE) 回格键（BackSpace）
- sendKeys(Keys.SPACE) 空格键 (Space)
- sendKeys(Keys.TAB) 制表键 (Tab)
- sendKeys(Keys.ESCAPE) 回退键（Esc）
- sendKeys(Keys.ENTER) 回车键（Enter）
- sendKeys(Keys.CONTROL,‘a’) 全选（Ctrl+A）
- sendKeys(Keys.CONTROL,‘c’) 复制（Ctrl+C）
- sendKeys(Keys.CONTROL,‘x’) 剪切（Ctrl+X）
- sendKeys(Keys.CONTROL,‘v’) 粘贴（Ctrl+V）
- sendKeys(Keys.F1) 键盘 F1
……
- sendKeys(Keys.F12) 键盘 F12
在使用键盘按键方法前，我们需要先导入 keys 类。
import org.openqa.selenium.WebElement;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.By;
import org.openqa.selenium.Keys;public class Keyboard {public static void main(String[] args)throws InterruptedException {WebDriver driver = new ChromeDriver();driver.get("https://www.baidu.com");// 定位到对应的元素WebElement input = driver.findElement(By.id("kw"));//输入框输入内容input.sendKeys("seleniumm");Thread.sleep(2000);//删除多输入的一个 minput.sendKeys(Keys.BACK_SPACE);Thread.sleep(2000);//输入空格键+“教程”input.sendKeys(Keys.SPACE);input.sendKeys("教程");Thread.sleep(2000);//ctrl+a 全选输入框内容input.sendKeys(Keys.CONTROL,"a");Thread.sleep(2000);//ctrl+x 剪切输入框内容input.sendKeys(Keys.CONTROL,"x");Thread.sleep(2000);//ctrl+v 粘贴内容到输入框input.sendKeys(Keys.CONTROL,"v");Thread.sleep(2000);//通过回车键盘来代替点击操作input.sendKeys(Keys.ENTER);Thread.sleep(2000);driver.quit();}
}
记录：在 Actions 类中也有对应操作键盘的方法，例如：keyUp()、keyDown()等，但是我在实际使用中，并没有生效，不知道为何，从网上资料说是，不能直接对浏览器进行操作，只能对页面的元素进行键盘的模拟操作。
八、操作javaScript代码
虽然WebDriver提供了操作浏览器的前进和后退方法，但对于浏览器滚动条并没有提供相应的操作方法。在这种情况下，就可以借助JavaScript来控制浏览器的滚动条。WebDriver提供了executeScript()方法来执行JavaScript代码。
用于调整浏览器滚动条位置的JavaScript代码如下：
<!-- window.scrollTo(左边距,上边距); -->
window.scrollTo(0,450);
window.scrollTo() 方法用于设置浏览器窗口滚动条的水平和垂直位置。方法的第一个参数表示水平的左间距，第二个参数表示垂直的上边距。其代码如下：
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.Dimension;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.JavascriptExecutor;public class JSDemo {public static void main(String[] args) throws InterruptedException{WebDriver driver = new ChromeDriver();//设置浏览器窗口大小driver.manage().window().setSize(new Dimension(700, 600));driver.get("https://www.baidu.com");//进行百度搜索driver.findElement(By.id("kw")).sendKeys("webdriver api");driver.findElement(By.id("su")).click();Thread.sleep(2000);//将页面滚动条拖到底部((JavascriptExecutor)driver).executeScript("window.scrollTo(100,450);");Thread.sleep(3000);driver.quit();}
}
通过浏览器打开百度进行搜索，并且提前通过 window().setSize() 方法将浏览器窗口设置为固定宽高显示，目的是让窗口出现水平和垂直滚动条。然后通过 executeScript() 方法执行JavaScripts代码来移动滚动条的位置。
将滚动条滚动到某个区域后停止(页面元素全部加载完成)，如下：
//滚动到某一区域
//scrollIntoView(0); 让元素滚动到可视区域的最下方
//scrollIntoView(); 让元素滚动到可视区域的最上方
//JavascriptExecutor javascriptExecutor = (JavascriptExecutor)BrowserUtil.driver;
//javascriptExecutor.executeScript("document.getElementById('index_ads').scrollIntoView(0);");
//JavaScript的参数传递-selenium和js的交互
//1、先去找到这个元素
WebElement webElement = driver.findElement(By.xpath("element"));
//2、找到的元素作为参数传入到Js代码中
JavascriptExecutor javascriptExecutor = (JavascriptExecutor)driver;
javascriptExecutor.executeScript("arguments[0].scrollIntoView(0)",webElement);
页面元素是通过懒加载方式，需要一直进行滚动的
/**
* 滑动列表找元素并且进行点击（懒加载）
* @param selectedText 选中元素文本
* @param by 正在加载类似元素的定位表达式
*/
public static void clickElementInList(String selectedText, By by) {// 滑动之前的页面源代码信息String beforeSource = "";// 滑动之后的页面源代码信息String afterSource = "";// 循环条件// 1、找到了元素，跳出循环// 2、如果没有找到元素？？？怎么跳出循环while (true) {WebElement webElement = driver.findElement(by);// 获取页面源代码beforeSource = driver.getPageSource();// 获取js执行器JavascriptExecutor javascriptExecutor = (JavascriptExecutor)driver;// 执行jsjavascriptExecutor.executeScript("arguments[0].scrollIntoView(0);", webElement);// 如果当前页面有想要的元素，怎么判断是否有？？--getPageSourceif (driver.getPageSource().contains(selectedText)) {driver.findElement(By.linkText(selectedText)).click();// 找到元素退出循环，不再滚动。break;}afterSource = driver.getPageSource();// 页面元素没有变化---滑动到了最底部if (afterSource.equals(beforeSource)) {// 到达底部，退出。break;}}
}
九、代码示例
public class BaiduSearch {public static void main(String[] args) {// 1.创建webdriver驱动WebDriver driver = new ChromeDriver();// 2.打开百度首页driver.get("https://www.baidu.com");// 获取搜索框元素WebElement inputElem = driver.findElement(By.id("kw"));// clear()方法，清空输入框内容inputElem.clear();// sendKeys()方法，在搜索框中输入搜索内容inputElem.sendKeys("selenium");// 元素是否显示boolean displayed = inputElem.isDisplayed();System.out.println(displayed); // 输出true// 元素是否启用boolean enabled = inputElem.isEnabled();System.out.println(enabled); // 输出true// 判断元素是否被选中状态，一般用在Radio(单选),Checkbox（多选）,Select（下拉选）// 在输入框中使用无意义boolean selected = inputElem.isSelected();System.out.println(selected); // 输出fasle// 获取标签名String tagName = inputElem.getTagName();System.out.println(tagName); // 输出input// 获取属性名(name属性)String name = inputElem.getAttribute("name");System.out.println(name); // 输出wd// 获取文本值String text = inputElem.getText();System.out.println(text); // 输出selenium// 通过submit提交driver.findElement(By.id("su")).submit();// click()方法，点击百度一下按钮driver.findElement(By.id("su")).click();// 退出浏览器driver.quit();}
}
十、关闭默认打开浏览器搜索
//不开网页搜索
ChromeOptions cps = new ChromeOptions();
cps.addArguments("headless");
//创建浏览器驱动对象 传入配置则不打开网页搜索， 不传直接new则打开网页
WebDriver driver = new ChromeDriver(cps);
java爬虫技术之Selenium爬虫相关推荐
- 爬虫技术python nutch_python爬虫，学习路径拆解及资源推荐（第三篇：工程化爬虫）...
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者:昱良 工程化爬虫 掌握前面的技术你就可以实现轻量级的爬 ...
- python爬虫技术路线_爬虫学习——中国大学最好排名（技术路线：requests库和bs4）(来源于北理工Python网络爬虫与信息提取网络公开课)...
"中国大学排名"定向爬虫示例 课程地址:http://open.163.com/movie/2019/5/G/6/MEEMCM1NP_MEEU3UFG6.html #功能描述: # ...
- 如何快速掌握 Python 数据采集与网络爬虫技术
摘要: 本文详细讲解了 python 网络爬虫,并介绍抓包分析等技术,实战训练三个网络爬虫案例,并简单补充了常见的反爬策略与反爬攻克手段.通过本文的学习,可以快速掌握网络爬虫基础,结合实战练习,写出一 ...
- 如何快速掌握Python数据采集与网络爬虫技术
云栖君导读:本文详细讲解了python网络爬虫,并介绍抓包分析等技术,实战训练三个网络爬虫案例,并简单补充了常见的反爬策略与反爬攻克手段.通过本文的学习,可以快速掌握网络爬虫基础,结合实战练习,写出一 ...
- python数据采集有哪些技术_如何快速掌握Python数据采集与网络爬虫技术
一.数据采集与网络爬虫技术简介 网络爬虫是用于数据采集的一门技术,可以帮助我们自动地进行信息的获取与筛选.从技术手段来说,网络爬虫有多种实现方案,如PHP.Java.Python ....那么用pyt ...
- 赠书 | 详解 4 种爬虫技术
作者 | 赵国生 王健 来源 | 大数据DT 头图 | 下载于视觉中国 前言: 聚焦网络爬虫是"面向特定主题需求"的一种爬虫程序,而通用网络爬虫则是捜索引擎抓取系统(Baidu.G ...
- Scrapy 爬虫框架五—— 常见的反爬虫技术
爬虫的本质就是"抓取"第二方网站中有价值的数据,因此,每个网站都会或多或少地采用一些反爬虫技术来防范爬虫.比如前面介绍的通过 User-Agent 请求头验证是否为浏览器.使用 J ...
- 被玩坏的爬虫技术！5000多张人脸信息只卖10元
中国消费者报报道(记者聂国春)"放下你手中的代码,小心被抓!"最近,程序员圈子里流行着这样的段子.原因在于近期发生多起涉及爬虫技术的公司被警方调查. 根据日前公安部新闻发布会的通报 ...
- 反爬虫与反反爬虫技术
1.反爬虫技术 首先我们来思考一下,为什么要反爬虫? 网络中充斥大量爬虫的情况下,会使得整个网络的数据不可靠. 网站在面对高并发爬虫的攻击时,很容易被击溃. 版权数据被爬取,对于网站来说是巨大的损失. ...
- python网络爬虫技术-基于Python的网络爬虫技术综述
汪洋 姜新通 [摘 要]人类社会已经进入大数据时代,这正在改变着我们的工作和生活.随着互联网的兴起和发展,同时也产生了各种对人类有价值的数据.快速搜索数据和充分利用数据信息已成为一个巨大挑战.这样的需 ...
最新文章
- codeforce训练2总结
- 计算机基础:离散数学和完备性
- spring 单例 获取多例的位_Spring系列第6篇：玩转bean scope，避免跳坑里！
- 有条件忽略测试的JUnit规则
- 空间留言软件_电脑硬盘空间提示不足，原来还可以这么做，真是学到老活到老...
- MDI多窗体1130
- Docker安装ActiveMQ（docker-compose.yml）
- numpy.cov() 计算协方差矩阵
- Python实现立方体纹理映射
- JS设计模式初识(四)-迭代器模式
- 修改oracle安装目录权限设置权限,oracle rac环境,安装目录权限被修改乱了,怎么恢复?...
- django的url匹配流程
- FISCO BCOS（三）——— 部署及调用HelloWorld合约
- markdown公式编辑参考
- 用linux制作Mac OS U盘启动
- 中兴配置dhcp服务器,中兴ZXR10 5928三层交换机DHCP配制步骤
- 初学java之家庭记账系统
- mysql根据身份证号计算年龄
- noip2003 侦探推理 （字符串处理）
- 取消计算机关机,取消电脑自动关机
热门文章
- c# 使用NPOI按模板导出excel
- 如何修正EPS编辑框中汉字输入显示为问号
- javplayer 使用教程_工程测绘CASS教程+视频讲解+插件大合集，小白3天学会绘图
- hmcl手机版_hmcl启动器正版
- qcc烧录工具QCC30xx/QCC51xx全系列支持烧录工具qcc3020/3040/5124/5126qcc烧录软件
- python中的对象有哪些_python中的对象
- 联盛德W806+INA226 = 功率计
- java项目：基于ssm的高校后勤管理系统（spring+spring mvc+mybatis+easyui+jquery）1004
- 计算机5800计算道路标高程序,强大的高速公路坐标高程计算软件
- Linux内核移植介绍