HtmlUnit入门

HtmlUnit介绍

htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器，运行速度迅速。

入门案例

pom.xml加入依赖

    <dependency><groupId>net.sourceforge.htmlunit</groupId><artifactId>htmlunit</artifactId><version>2.23</version></dependency>

获取页面内容

        /*** 获取页面内容*/public class HtmlUnitDemo03 {public static void main(String[] args) {//实例化web客户端WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45,"124.206.107.125",3128);//使用代理IPtry {//解析获取页面HtmlPage page = webClient.getPage("http://www.java1234.com");HtmlElement div = page.getHtmlElementById("navMenu");System.out.println(div.asXml());System.out.println("---------------");//获取a标签DomNodeList<DomElement> dnList = page.getElementsByTagName("a");for (int i = 0; i < dnList.getLength(); i++) {DomElement element = dnList.get(i);System.out.println(element.asXml());System.out.println(element.asText());}System.out.println("------------------");List<HtmlListItem> itemList = (List<HtmlListItem>) page.getByXPath("//div[@id='navMenu']/ul/li");System.out.println(itemList.get(0).asXml());} catch (FailingHttpStatusCodeException e) {e.printStackTrace();} catch (MalformedURLException e) {e.printStackTrace();} catch (ElementNotFoundException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();} finally {//释放资源webClient.close();}}}

取消css,js支持

        /*** 取消css,js支持*/public class HtmlUnitDemo04 {public static void main(String[] args) {//实例化web客户端WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45,"124.206.107.125",3128);//使用代理IP//取消css支持webClient.getOptions().setCssEnabled(false);//取消js支持webClient.getOptions().setJavaScriptEnabled(false);try {//解析获取页面HtmlPage page = webClient.getPage("http://www.java1234.com");HtmlElement div = page.getHtmlElementById("navMenu");System.out.println(div.asXml());System.out.println("---------------");//获取a标签DomNodeList<DomElement> dnList = page.getElementsByTagName("a");for (int i = 0; i < dnList.getLength(); i++) {DomElement element = dnList.get(i);System.out.println(element.asXml());}System.out.println("------------------");List<HtmlListItem> itemList = (List<HtmlListItem>) page.getByXPath("//div[@id='navMenu']/ul/li");System.out.println(itemList.get(0).asXml());} catch (FailingHttpStatusCodeException e) {e.printStackTrace();} catch (MalformedURLException e) {e.printStackTrace();} catch (ElementNotFoundException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();} finally {//释放资源webClient.close();}}}

模拟表单搜索

        /*** 模拟表单搜索*/public class HtmlUnitDemo05 {public static void main(String[] args) {//实例化web客户端WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45,"124.206.107.125",3128);//使用代理IPtry {//解析获取页面HtmlPage page = webClient.getPage("http://blog.java1234.com/index.html");//获取搜索表单HtmlForm form = page.getFormByName("myform");//获取查询文本框HtmlTextInput textInput = form.getInputByName("q");//获取提交按钮HtmlSubmitInput submitInput = form.getInputByName("submitButton");//输入文本框textInput.setValueAttribute("java");//模拟提交(点击)HtmlPage resultPage = submitInput.click();System.out.println(resultPage.asXml());} catch (FailingHttpStatusCodeException e) {e.printStackTrace();} catch (MalformedURLException e) {e.printStackTrace();} catch (ElementNotFoundException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();} finally {//释放资源webClient.close();}}}

获取ajax加载的内容

        /*** 获取ajax加载的内容*/public class HtmlUnitDemo06 {public static void main(String[] args) {//实例化web客户端WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45);//使用代理IPtry {//解析获取页面HtmlPage page = webClient.getPage("https://pan.baidu.com/share/home?uk=305605848#category/type=0");//等待htmlunit执行jsThread.sleep(10000);System.out.println("网页html:"+page.asXml());} catch (FailingHttpStatusCodeException e) {e.printStackTrace();} catch (MalformedURLException e) {e.printStackTrace();} catch (ElementNotFoundException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();} catch (InterruptedException e) {e.printStackTrace();} finally {//释放资源webClient.close();}}}

HtmlUnit入门相关推荐

java模拟浏览器htmlunit,Java版本的浏览器HtmlUnit入门示例
HtmlUnit是Java版本的浏览器,没有界面但是可以模拟任何浏览器操作. 下面示例访问htmlunit的官网,并打印网页的标题 import com.gargoylesoftware.htmlun ...
HtmlUnit入门教程
作者:吴香礼 Email:wxl901018@163.com QQ:1060394242 本文禁止用于商业用途 1. 简介 htmlunit是一款开源的java页面分析工具,读取页面后,可以有 ...
【转】HtmlUnit入门教程
转载出处:http://blog.csdn.net/wxl901018/article/details/44133873 1. 简介 htmlunit是一款开源的Java页面分析工具,读取页面后,可以 ...
HtmlUnit的入门教程整理
通过对现有的一些例子的整理,我得到了如下的一些使用HtmlUnit的基本过程(Ajax还在学习中,故没有加入进去) 第一步初始化webClient WebClient webClient = new ...
HtmlUnit（Java） - 快速入门学习 - 无界面浏览器
文章目录 1. 概述 2. 注意 2.0 js解析问题 2.1 关闭HtmlUnit日志 3. 使用 3.1 抓取IT之家周榜内容 - 单页面 3.2 抓取IT之家周榜第九篇文章的内容 - 双页面 3 ...
微信二维码支付快速入门
目录一.二维码生成插件qrious 二.HttpClient 三.微信扫码支付 1.申请步骤 2.开发文档四.入门Demo 1.工程搭建 2.myStudy-pay-interface 3.myS ...
Android学习笔记---HttpClient入门,使用方法,及简介
HttpClient入门发华金, 软件工程师,IBM CSDL, EMC 金发华是一名工作在 IBM CSDL 的软件工程师.他喜欢钻研各种新的技术,在 Java 网络开发和 Web 开发方面颇有 ...
HttpClient和HtmlUnit的比较总结以及使用技巧（一）
大家在做爬虫.网页采集.通过网页自动写入数据时基本上都接触过这两个组件(权且称之为组件吧),网上入门资料已经很多了,我想从实际的应用角度谈谈我对于这两个组件的看法,并记录在博客中,以便日后翻阅,欢迎大 ...
【转】对于HttpClient和HtmlUnit的理解
原文地址:http://www.haohaoblog.com/?p=1327&utm_source=tuicool 做Java编程的人其实,很多不懂SEO,也不知道如何让百度收录等等,当然,对 ...

HtmlUnit入门

HtmlUnit介绍

入门案例

HtmlUnit入门相关推荐

最新文章

热门文章