这里我们给出一个htmlunit实例，爬百度云；

为了更好的体现htmlunit的优势，我们先用httpclient爬下；

这个是我的百度云用户首页

我们现在要爬用户分享的文件 ；

我们先用httpclient:

代码如下：package com.open1111;

import java.io.IOException;

import org.apache.http.HttpEntity;

import org.apache.http.client.ClientProtocolException;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;

import org.apache.http.util.EntityUtils;

public class BlogCrawler {

public static void main(String[] args) throws ClientProtocolException, IOException {

CloseableHttpClient httpclient = HttpClients.createDefault(); // 创建httpclient实例

HttpGet httpget = new HttpGet("https://pan.baidu.com/share/home?uk=305605848#category/type=0"); // 创建httpget实例

httpget.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0"); // 设置请求头消息User-Agent

CloseableHttpResponse response = httpclient.execute(httpget); // 执行get请求

HttpEntity entity=response.getEntity(); // 获取返回实体

System.out.println("网页内容："+EntityUtils.toString(entity, "utf-8")); // 指定编码打印网页内容

response.close(); // 关闭流和释放系统资源

}

}

运行结果：

我们得到的是这东西，没获取到数据，原因就是百度云的数据加载 是通过ajax加载以及js渲染上去的，所以用httpclient搞不定；

这时候，我们用htmlunit搞下：package com.open1111;

import java.io.IOException;

import java.net.MalformedURLException;

import com.gargoylesoftware.htmlunit.BrowserVersion;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;

import com.gargoylesoftware.htmlunit.WebClient;

import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class HtmlUnitTest7 {

public static void main(String[] args){

WebClient webClient=new WebClient(BrowserVersion.FIREFOX_52);

HtmlPage page;

try {

page = webClient.getPage("https://pan.baidu.com/share/home?uk=305605848#category/type=0");

Thread.sleep(10000); // 休息10秒钟 等待htmlunit执行js

System.out.println(page.asXml());

} catch (FailingHttpStatusCodeException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (MalformedURLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (InterruptedException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}finally{

webClient.close(); // 关闭客户端 释放内存

}

}

}

运行输出：

Htmlunit搞数据搞出来了。。

代码用了sleep 10秒  主要是因为htmlunit执行ajax js也是需要一定的时候 具体多长时间 不定，并且htmlunit没有提供类似假如执行完ajax js后的事件或者提醒api，所以我们只能人工去判断 比如每个5秒去判断一次，尝试三次机会；

具体实现 等后面发布至尊vip 爬百度云资源 大伙可以参考下；