直上云霄！魔术官方社媒晒富尔茨扣篮炫酷特效图

是列表新闻特有的。最好不要直接正则匹配 a标签，因为 a标签在其他地方也有，这样我们就还需要做其他的处理，增加我们的难度。现在我们了解了正则结构体的选择，我们一起来看看 httpclient + 正则表达式方式提取的代码：

/**

* httpclient + 正则表达式 获取虎扑新闻列表页

* @param url 虎扑新闻列表页url

*/

public void httpClientList(String url){

try {

CloseableHttpClient httpclient = HttpClients.createDefault();

HttpGet httpGet = new HttpGet(url);

CloseableHttpResponse response = httpclient.execute(httpGet);

if (response.getStatusLine().getStatusCode() == 200) {

HttpEntity entity = response.getEntity();

String body = EntityUtils.toString(entity,"utf-8");

if (body!=null) {

/*

* 替换掉换行符、制表符、回车符，去掉这些符号，正则表示写起来更简单一些

* 只有空格符号和其他正常字体

*/

Pattern p = Pattern.compile("\t|\r|\n");

Matcher m = p.matcher(body);

body = m.replaceAll("");

/*

* 提取列表页的正则表达式

* 去除换行符之后的 li

*

*/

Pattern pattern = Pattern

.compile("

" );

Matcher matcher = pattern.matcher(body);

// 匹配出所有符合正则表达式的数据

while (matcher.find()){

// String info = matcher.group(0);

// System.out.println(info);

// 提取出链接和标题

System.out.println("详情页链接："+matcher.group(1)+" ,详情页标题："+matcher.group(2));

}

}else {

System.out.println("处理失败！！！获取正文内容为空");

}

} else {

System.out.println("处理失败！！！返回状态码：" + response.getStatusLine().getStatusCode());

}

}catch (Exception e){

e.printStackTrace();

}

}

从代码的行数可以看出，比 Jsoup 方式要多不少，代码虽然多，但是整体来说比较简单，在上面方法中我做了一段特殊处理，我先替换了 httpclient 获取的字符串 body 中的换行符、制表符、回车符，因为这样处理，在编写正则表达式的时候能够减少一些额外的干扰。接下来我们修改 main 方法，运行 httpClientList 方法。

public static void main(String[] args) {

String url = "https://voice.hupu.com/nba";

CrawlerBase crawlerBase = new CrawlerBase();

// crawlerBase.jsoupList(url);

crawlerBase.httpClientList(url);

}

运行结果如下图所示：

使用 httpclient + 正则表达式的方式同样正确的获取到了列表新闻的标题和详情页链接。到此 Java 爬虫系列博文第一篇就写完了，这一篇主要是 Java 网络爬虫的入门，我们使用了 jsoup 和 httpclient + 正则的方式提取了虎扑列表新闻的新闻标题和详情页链接。当然这里还有很多没有完成，比如采集详情页信息存入数据库等。

源代码：点击这里

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。