1、需求及配置

需求：爬取京东手机搜索页面的信息，记录各手机的名称，价格，评论数等，形成一个可用于实际分析的数据表格。

使用maven项目，log4j记录日志，日志仅导出到控制台。

maven依赖如下(pom.xml)

?

log4j配置(log4j.properties)，将info及以上等级信息输出到控制台，不单独设置输出文档。

?

2、需求分析与代码

2.1需求分析

第一步，建立客户端与服务端的连接，并通过url获得网页上的html内容。

第二步，解析html内容，获取需要的元素。

第三步，将html内容输出到本地的文本文档中，可直接通过其他数据分析软件进行分析。

根据以上分析，建立4个类，gethtml(用于获取网站html), parsehtml(用于解析html), writeto(用于输出文档), maincontrol(主控).下面分别对四个类进行说明。为使代码尽量简洁，所有的异常均从方法上直接抛出，不catch。

2.2代码

2.2.1gethtml类

该类包含两个方法：geth(string url), urlcontrol(string baseurl, int page)，分别用于获取网页html及控制url。由于此次爬取的网页内容只是京东上某一类商品的搜索结果，所以不需要对页面上所有的url进行遍历，只需要观察翻页时url的变化，推出规律即可。只向外暴露urlcontrol方法，类中设置一个private的log属性：private static logger log = logger.getlogger(gethtml.class); 用于记录日志。

geth(string url)，对单个url的html内容进行获取。

urlcontrol(string baseurl, int page)，设置循环，访问多个页面的数据。通过审查元素可以看到京东上搜索页page的变化实际是奇数顺序的变化。

再看一下点击后网址的变化，可以发现实际变化的是page属性的值。通过拼接的方式就可以很的容易的获得下一个网页的地址。

https://search.jd.com/search?keyword=%e6%89%8b%e6%9c%ba&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=3&s=47&click=0

https://search.jd.com/search?keyword=%e6%89%8b%e6%9c%ba&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=5&s=111&click=0

https://search.jd.com/search?keyword=%e6%89%8b%e6%9c%ba&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=7&s=162&click=0

整体代码：

?

2.2.2parsehtml类

该步骤需要通过审查元素对需要爬取内容的标签进行确定，再通过jsoup中的css选择器进行获取。

?

2.2.3writeto类

此类中的方法将解析完成的内容写入到一个本地文件中。只是简单的io。

?

2.2.4maincontrol类

主控程序，写入基地址与想要获取的页面数。调用gethtml类中的urlcontrol方法对页面进行抓取。

?

3、爬取结果

爬取20页。

3.1控制台输出

3.2文档输出

可以直接使用excel打开，分隔符为制表符。列分别为商品编号，名称，价格与评论数。

4、小结

此次爬取使用了httpclient与jsoup，可以看到对于简单的需求，这些工具还是非常高效的。实际上也可以把所有类写到一个类当中，写多个类的方式思路比较清晰。

以上这篇java爬虫实现爬取京东上的手机搜索页面 httpcliient+jsoup就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持服务器之家。

原文链接：http://www.cnblogs.com/pandasgb/archive/2017/11/30/7920323.html