HttpUnit模拟按钮点击以及爬虫实现

HttpUnit 简介

HttpUnit 本质上相当于一个后台的透明的浏览器引擎，使用java中的HttpUnit可以实现模拟点击按钮，抓取网页元素，实现动态爬虫，之前一直使用jsoup进行爬虫，不过这次爬取一个生物论坛时候，需要动态处理，发现了httpUnit这个好的框架。

HttpUnit demo

1.几行代码实现获取网页源代码。

final WebClient webClient=new WebClient();
final HtmlPage page=webClient.getPage("http://www.baidu.com");
System.out.println(page.asText());  //asText()是以文本格式显示
System.out.println(page.asXml());   //asXml()是以xml格式显示
webClient.closeAllWindows();

2.模拟文本框与模拟按钮提交，下面我们模拟实现模拟百度搜索关键字。

// 得到浏览器对象，直接New一个就能得到，现在就好比说你得到了一个浏览器了  WebClient webclient = new WebClient();  // 这里是配置一下不加载css和javaScript，因为httpunit对javascript兼容性不太好webclient.getOptions().setCssEnabled(false);  webclient.getOptions().setJavaScriptEnabled(false);  // 做的第一件事，去拿到这个网页，只需要调用getPage这个方法即可  HtmlPage htmlpage = webclient.getPage("http://baidu.com");  // 根据名字得到一个表单，查看上面这个网页的源代码可以发现表单的名字叫“f”  final HtmlForm form = htmlpage.getFormByName("f");  // 同样道理，获取”百度一下“这个按钮  final HtmlSubmitInput button = form.getInputByValue("百度一下");  // 得到搜索框  final HtmlTextInput textField = form.getInputByName("q1");  //搜索我的idtextField.setValueAttribute("th是个小屁孩");  // 输入好了，我们点一下这个按钮  final HtmlPage nextPage = button.click();  // 我把结果转成String  String result = nextPage.asXml();  System.out.println(result);  //得到的是点击后的网页

感觉httpunit比httpclient好像简单了不少，以后java爬虫可以多试试这个框架，里面还有好多提取节点的方法可以直接调用，但是好像对div的class无法提取节点，不过可以根据id抓取节点，唉，不知道如果div没写id的网站怎么抓取，好像没有提供这样的方法可以根据class抓取，有知道的同学可以给点点子。

HttpUnit模拟按钮点击以及爬虫实现相关推荐

java 模拟点击按钮_HttpUnit模拟按钮点击以及爬虫实现（模拟百度搜索）
HttpUnit模拟按钮点击以及爬虫实现(模拟百度搜索) HttpUnit 本质上相当于一个后台的透明的浏览器引擎,使用java中的HttpUnit可以实现模拟点击按钮,抓取网页元素,实现动态爬虫,之 ...
php模拟js点击按钮,JS模拟按钮点击功能的方法
本文实例讲述了JS模拟按钮点击功能的方法.分享给大家供大家参考,具体如下: usually function function load(){ //下面两种方法效果是一样的 document.getE ...
java htmlunit 点击_htmlunit 模拟按钮点击
htmlunit有强大DOM模拟操作功能包括给Input设置数据,模拟按钮点击等: 我们现在来用htmlunit模拟本站博客搜索功能: 比如我们要让htmlunit 填入查询关键字然后点击 &qu ...
qt中如何模拟按钮点击_Qt 实现按钮点击切换按钮图片
最近在做一个课程设计(智能家居管家),因为控制要用到门,灯,警报等一系列至少拥有两个状态的物品,所以想弄一个切换图片的效果,点击按钮一次,按钮上的图片切换成另一个图片(另一个状态),再次点击切换回去. ...
JS脚本实现模拟按钮点击：批量抓取百度推广中的关键词建议
点击html5搜更精彩! JavaScript是个好东东,轻量级,好学易懂.尤其在HTML5时代,这个老朽的语言犹如凤凰涅槃,重获新生. 在Chrome浏览器中,利用小乐图客扩展中的JS代码模块(完美 ...
qt中如何模拟按钮点击_如何快速在 Shopify 中加入按钮
假如你会 `CSS` , `HTML` , `JS` 三件套,那么修改 `Shopify` 代码将不会太难(毕竟一个模板中的代码量还是挺多的,除非深入研究了代码,不然改起来还是会比较麻烦的). 但挺多 ...
qt中如何模拟按钮点击_qt – 在Windows中模拟鼠标按钮单击
这是在C#中,但可能会帮助您了解一下: [DllImport("user32.dll",CharSet=CharSet.Auto,CallingConvention=Calling ...
Python爬虫实战——签名软件设计（一）python POST模拟网页按钮点击
Python爬虫实战(windows) 关于本文: 上一篇文章介绍了如何使用python爬虫进行网页图片等素材的抓取.我们以爬虫抓取作为基础,结合GUI设计,再通过自定义方法,就可以实现一些小软件的设 ...
MFC和c#中模拟对另一进程的窗口按钮点击
1. 在自动化测试中经常要模拟窗口按钮的点击. 参考文章:http://blog.csdn.net/blackboyofsnp/article/details/3372719 有时我们需要这么做, 手 ...

HttpUnit模拟按钮点击以及爬虫实现

HttpUnit 简介

HttpUnit demo

HttpUnit模拟按钮点击以及爬虫实现相关推荐

最新文章

热门文章