1.需求及配置

需求：爬取京东手机搜索页面的信息，记录各手机的名称，价格，评论数等，形成一个可用于实际分析的数据表格。

使用Maven项目，log4j记录日志，日志仅导出到控制台。

Maven依赖如下(pom.xml)

1

2

3 org.apache.httpcomponents

4 httpclient

5 4.5.3

6

7

8

9

10 org.jsoup

11 jsoup

12 1.11.2

13

14

15

16

17 log4j

18 log4j

19 1.2.17

20

21

log4j配置(log4j.properties)，将INFO及以上等级信息输出到控制台，不单独设置输出文档。

log4j.rootLogger=INFO, Console

#Console

log4j.appender.Console=org.apache.log4j.ConsoleAppender

log4j.appender.Console.layout=org.apache.log4j.PatternLayout

log4j.appender.Console.layout.ConversionPattern=%d [%t] %-5p [%c] - %m%n

2.需求分析与代码

2.1需求分析

第一步，建立客户端与服务端的连接，并通过URL获得网页上的HTML内容。

第二步，解析HTML内容，获取需要的元素。

第三步，将HTML内容输出到本地的文本文档中，可直接通过其他数据分析软件进行分析。

根据以上分析，建立4个类，GetHTML(用于获取网站HTML), ParseHTML(用于解析HTML), WriteTo(用于输出文档), Maincontrol(主控).下面分别对四个类进行说明。为使代码尽量简洁，所有的异常均从方法上直接抛出，不catch。

2.2代码

2.2.1GetHTML类

该类包含两个方法：getH(String url), urlControl(String baseurl, int page)，分别用于获取网页HTML及控制URL。由于此次爬取的网页内容只是京东上某一类商品的搜索结果，所以不需要对页面上所有的URL进行遍历，只需要观察翻页时URL的变化，推出规律即可。只向外暴露urlControl方法，类中设置一个private的log属性：private static Logger log = Logger.getLogger(getHTML.class); 用于记录日志。

getH(String url)，对单个URL的HTML内容进行获取。

urlControl(String baseurl, int page)，设置循环，访问多个页面的数据。通过审查元素可以看到京东上搜索页page的变化实际是奇数顺序的变化。

再看一下点击后网址的变化，可以发现实际变化的是page属性的值。通过拼接的方式就可以很的容易的获得下一个网页的地址。

https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=3&s=47&click=0

https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=5&s=111&click=0

https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=7&s=162&click=0

整体代码：

1 importjava.io.IOException;2 importorg.apache.http.HttpEntity;3 importorg.apache.http.client.ClientProtocolException;4 importorg.apache.http.client.methods.CloseableHttpResponse;5 importorg.apache.http.client.methods.HttpGet;6 importorg.apache.http.impl.client.CloseableHttpClient;7 importorg.apache.http.impl.client.HttpClients;8 importorg.apache.http.util.EntityUtils;9 importorg.apache.log4j.Logger;10

11 public classgetHTML {12 //建立日志

13 private static Logger log = Logger.getLogger(getHTML.class);14 private static String getH(String url) throwsClientProtocolException, IOException {15 //控制台输出日志，这样每条访问的URL都可以在控制台上看到访问情况

16 log.info("正在解析" +url);17

18 /*

19 * 以下内容为HttpClient建立连接的一般用法20 * 使用HttpClient建立客户端21 * 使用get方法访问指定URL22 * 获得应答23 **/

24

25 CloseableHttpClient client =HttpClients.createDefault();26 HttpGet get = newHttpGet(url);27 CloseableHttpResponse response =client.execute(get);28

29 /*

30 * 以下内容为将HTML内容转化为String31 * 获得应答体32 * 将应答体转为String格式，此处使用了EntityUtils中的toString方法，编码格式设置为"utf-8"33 * 完成后关闭客户端与应答34 **/

35 HttpEntity entity =response.getEntity();36 String content;37 if (entity != null) {38 content = EntityUtils.toString(entity, "utf-8");39 client.close();40 response.close();41 returncontent;42 } else

43 return null;44 }45 public static void urlControl(String baseurl, int page) throwsClientProtocolException, IOException {46 //设置当前页count

47 int count = 1;48 //如果当前页小于想要爬取的页数则执行

49 while (count

51 String u = baseurl + (2 * count - 1) + "&click=0";52 //此处调用ParseHTML类中的方法对URL中的HTML页面进行处理，后面详细介绍该类

53 String content =ParseHTML.parse(getH(u)).toString();54 //此处调用WriteTo类中的方法对解析出来的内容写入到本地，后面详细介绍该类

55 WriteTo.writeto(content);56 count++;57 }58 }59 }

2.2.2ParseHTML类

该步骤需要通过审查元素对需要爬取内容的标签进行确定，再通过Jsoup中的CSS选择器进行获取。

1 importorg.jsoup.Jsoup;2 importorg.jsoup.nodes.Document;3 importorg.jsoup.nodes.Element;4 importorg.jsoup.select.Elements;5

6 public classParseHTML {7

8 public staticStringBuilder parse(String content)9 {10 //使用Jsoup中的parse方法对已经转换为String的HTML内容进行分析，返回值为Document类

11 Document doc =Jsoup.parse(content);12 //使用选择器select对需要找的元素进行抓取，例如第一个select中选择的是ul标签中class属性等于gl-warp clearfix的内容

13 Elements ele = doc.select("ul[class = gl-warp clearfix]").select("li[class=gl-item]");14 //设置一个容器，用于装各个属性

15 StringBuilder sb = newStringBuilder();16 //通过上一个选择器可以获得整个页面中所有符合要求的元素，也即各款手机，下面则需要对每款手机进行遍历，获取其属性

17 for(Element e : ele) {18 //此处对各个属性的获取参考了网上一篇爬取京东上内容的文章，应该有其他不同的写法

19 String id = e.attr("data-pid");20 String mingzi = e.select("div[class = p-name p-name-type-2]").select("a").select("em").text();21 String jiage = e.select("div[class=p-price]").select("strong").select("i").text();22 String pinglun = e.select("div[class=p-commit]").select("strong").select("a").text();23 //向容器中添加属性

24 sb.append(id+"\t");25 sb.append(mingzi+"\t");26 sb.append(jiage+"\t");27 sb.append(pinglun+"\t");28 sb.append("\r\n");29 }30 returnsb;31 }32 }

2.2.3WriteTo类

此类中的方法将解析完成的内容写入到一个本地文件中。只是简单的IO。

1 importjava.io.BufferedWriter;2 importjava.io.File;3 importjava.io.FileWriter;4 importjava.io.IOException;5

6 public classWriteTo {7 //设置文件存放的位置

8 private static File f = new File("C:\\jingdong.txt");9 public static void writeto(String content) throwsIOException {10 //使用续写的方式，以免覆盖前面写入的内容

11 BufferedWriter bw = new BufferedWriter(new FileWriter(f, true));12 bw.append(content);13 bw.flush();14 bw.close();15 }16 }

2.2.4MainControl类

主控程序，写入基地址与想要获取的页面数。调用getHTML类中的urlControl方法对页面进行抓取。

1 importjava.io.IOException;2 importorg.apache.http.client.ClientProtocolException;3

4 public classMainControl {5 public static void main(String[] args) throwsClientProtocolException, IOException {6 //TODO Auto-generated method stub

7 String baseurl = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc="

8 + "utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=";9 int page = 5;//设置爬取页数10 getHTML.urlControl(baseurl, page);11 }12 }

3爬取结果

爬取20页。

3.1控制台输出

3.2文档输出

可以直接使用Excel打开，分隔符为制表符。列分别为商品编号，名称，价格与评论数。

4小结

此次爬取使用了HttpClient与Jsoup，可以看到对于简单的需求，这些工具还是非常高效的。实际上也可以把所有类写到一个类当中，写多个类的方式思路比较清晰。