Java使用HtmlUnit抓取js渲染页面

需求：

需要采集js渲染的页面，有些网站的页面是js渲染的

实现：

基于HtmlUnit实现：

public static void getAjaxPage() throws Exception{
WebClient webClient = new WebClient();
webClient.setJavaScriptEnabled(true);
webClient.setCssEnabled(false);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.setTimeout(Integer.MAX_VALUE);
webClient.setThrowExceptionOnScriptError(false);
HtmlPage rootPage = webClient.getPage("http://tt.mop.com/read_14304066_1_0.html");
System.out.println(rootPage.asXml());
}

maven依赖：

<dependency>
<groupId>net.sourceforge.htmlunit</groupId>
<artifactId>htmlunit-core-js</artifactId>
<version>2.9</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>net.sourceforge.htmlunit</groupId>
<artifactId>htmlunit</artifactId>
<version>2.9</version>
<scope>compile</scope>
</dependency>

说明：

Nutch插件：nutch-htmlunit用于替换Nutch自身的Http Fetch组件

转载于:https://www.cnblogs.com/telwanggs/p/6890372.html

Java使用HtmlUnit抓取js渲染页面相关推荐

htmlunit抓取js执行后的网页源码
上次我不是写了一个自动抓取博客访问量吗 (点击打开链接) 可是昨天晚上我又运行的时候,发现不能用了.. 运行了几次发现使用URLConnection 得到的网页源码和浏览器直接查看的不同. URLC ...
htmlUnit的读取js渲染的页面
htmlUnit的读取js渲染的页面我这边有个这么的需求,要求前端每次上版本的时候,有一个版本号.然后后端去爬前端,比较禅道的版本发布计划,如果发布计划和生产上的版本号不一致,就告警. 这个跟后端的 ...
js动态渲染html页面,利用Scrapy-Splash抓取JS动态渲染的网页数据
随着越来越多的网站开始用JS在客户端浏览器动态渲染网站,导致很多我们需要的数据并不能由原始的html中获取,再加上Scrapy本身并不提供JS渲染解析的功能,通常对这类网站数据的爬取我们一般采用两种方 ...
webmagic ajax,【WebMagic】抓取前端渲染的页面
随着AJAX技术不断的普及,以及现在AngularJS这种Single-page application框架的出现,现在js渲染出的页面越来越多.对于爬虫来说,这种页面是比较讨厌的:仅仅提取HTML内 ...
使用java的html解析器jsoup和jQuery实现一个自动重复抓取任意网站页面指定元素的web应用...
在线演示本地下载如果你曾经开发过内容聚合类网站的话,使用程序动态整合来自不同页面或者网站内容的功能肯定对于你来说非常熟悉.通常使用java的话,我们都会使用到一些HTML的解析,例如,httpp ...
招聘数据爬取、数据处理与可视化（v2--解析JS渲染页面）
招聘数据爬取.数据处理与可视化(v2--解析JS渲染页面) 更新说明程序说明数据爬取观察网页结构页面解析将数据写入csv文件中通过观察页面链接,爬取所有页面爬虫程序完整代码爬取数据结果 ...
java+selenium自动化抓取51la数据
java+selenium自动化抓取51la数据初衷环境依赖 demo上代码效果来个马赛克如果觉得写的不错或者想了解更多,欢迎收藏和关注~~ 初衷前端埋点51la,进行网站统计.51la没有 ...
如何使用HtmlUnit 抓取网页中手机版模式？
HtmlUnit 抓取网页中手机版模式? 方式方法: 地址要正确,体现在你抓取的页面是不是PC版 or 手机版模式的URL地址 PC 和手机版的页面样式肯定也是不一样的,所以下载的样式要一致,包括页 ...
C#利用phantomJS抓取AjAX动态页面
在C#中,一般常用的请求方式,就是利用HttpWebRequest创建请求,返回报文.但是有时候遇到到动态加载的页面,却只能抓取部分内容,无法抓取到动态加载的内容. 如果遇到这种的话,推荐使用phan ...

Java使用HtmlUnit抓取js渲染页面

Java使用HtmlUnit抓取js渲染页面相关推荐

最新文章

热门文章