Java实现网页数据采集

                <div class="markdown_views"><p>最近，由于某些需要，用Java制做了一个网页数据采集器，用于将网页中需要的数据采集下来。</p>

这里使用的方法，是先得到要采集的网页的源代码，然后从源代码中使用正则表达式得到要采集的数据。

用以下代码，我们就可以得到要采集数据的网站的源代码，并且在控制台输出。

        String urlStr = ""; // 网址try {//创建一个url对象来指向要采集信息的网址URL url = new URL(urlStr);//将读取到的字节转化为字符InputStreamReader inStrRead = new InputStreamReader(url.openStream(),"utf-8");//读取InputStreamReader转化成的字符BufferedReader bufRead = new BufferedReader(inStrRead); //读到的内容不为空while (bufRead.readLine() != null) {System.out.println(bufRead.readLine());}bufRead.close();} catch (IOException e) {e.printStackTrace();}

测试一下，这里使

String urlStr = "http://datacenter.mep.gov.cn/report/air_daily/air_dairy.jsp?&lang=";

在控制台输出如下结果。

得到网页的源代码之后，我们就可以使用正则表达式来得到要采集的数据。

我们先查看网页源代码，对源代码进行分析。

这里想要采集的数据是

城市
时间
AQI指数
空气质量级别

以北京市为例进行分析，我们得到如下正则表达式

    // 城市正则private String regularCity = ">[\u4e00-\u9fa5]{2,}市</td>"; // 日期正则private String regularDate = ">(([0-9]{3}[1-9]|[0-9]{2}[1-9][0-9]{1}|[0-9]{1}[1-9][0-9]{2}|[1-9][0-9]{3})-(((0[13578]|1[02])-(0[1-9]|[12][0-9]|3[01]))|((0[469]|11)-(0[1-9]|[12][0-9]|30))|(02-(0[1-9]|[1][0-9]|2[0-8]))))</td>";// AQI指数正则private String regularAQI = ">[0-9]{2,}</td>"; // 空气质量级别正则private String regularQuality = ">[\u4e00-\u9fa5]</td>";

我们先定义一个方法，使用我们定义的正则表达式和得到的网页源代码采集数据。

    /** 从网页源代码中采集数据* * @param regular 正则* * @param code 源代码*/public String DataAcqu(String regular, String code) {// 编译正则表达式Pattern p = Pattern.compile(regular, Pattern.CASE_INSENSITIVE);Matcher m = p.matcher(code);if (m.find()) {// 返回采集到的数据return m.group();} else {return "";}}

然后就可以进行数据采集了。

    public DataCode() {// 用户输入网页地址Scanner scan = new Scanner(System.in); // 存储用户输入的网页地址String urlStr = scan.nextLine(); try {//创建一个url对象来指向要采集信息的网址URL url = new URL(urlStr); //将读取到的字节转化为字符InputStreamReader inStrRead = new InputStreamReader(url.openStream(),"utf-8"); //读取InputStreamReader转化成的字符BufferedReader bufRead = new BufferedReader(inStrRead);String readStr = "";// 创建一个DataAcqu类的对象（前面自己定义的用于采集数据的类）DataAcqu dataAcq = new DataAcqu();int i = 0; // 记录采集到的数据数量// 如果读到的数据不为空while ((readStr = bufRead .readLine()) != null) {// 采集城市数据String cityStr = dataAcq.DataAcqu(regularCity, readStr);// 如果采集到符合条件的数据，打印出来if (!cityStr.equals("")) {// 将采集到的数据前后多余部分去掉（前面正则表达式为了准确取到相应的值，加入了">"和"</td>"）cityStr = cityStr.substring(1, cityStr.indexOf("</td>"));System.out.println("城市:" + cityStr);}// 采集日期数据String dateStr = dataAcq.DataAcqu(regularDate, readStr);// 如果采集到符合条件的数据，打印出来if (!dateStr.equals("")) {dateStr = dateStr.substring(1, dateStr.indexOf("</td>"));System.out.println("日期:" + dateStr);}// 采集AQI指数数据String AQIStr = dataAcq.DataAcqu(regularAQI, readStr);// 如果采集到符合条件的数据，打印出来if (!AQIStr.equals("")) {AQIStr = AQIStr.substring(1, AQIStr.indexOf("</td>"));System.out.println("AQI指数:" + AQIStr);}// 采集空气质量级别数据String qualityStr = dataAcq.DataAcqu(regularQuality, readStr);// 如果采集到符合条件的数据，打印出来if (!qualityStr.equals("")) {qualityStr = qualityStr.substring(1,qualityStr.indexOf("</td>"));System.out.println("空气质量级别:" + qualityStr);System.out.println();i++;}}br.close(); // 读取完成后关闭读取器System.out.println("采集完成，共采集到数据：" + i);} catch (IOException e) {e.printStackTrace();}}

运行后，控制台输出如下信息

如果想要将输出结果输出的文件中，只需在代码中添加如下代码

            // 将数据输出到文件PrintStream ps = new PrintStream("E:\\Java\\DataAcquisition\\data");//将输出位置切换到文件System.setOut(ps);

这样，我们的网页数据采集器就完成了。

Java实现网页数据采集相关推荐

java研发网页数据采集
我觉得网页数据采集是一个不道德的行为,但是我喜欢.下面就说说我为什么喜欢. 某一天,小编看到喜欢的网页,很欣赏这个原创作者的作品,但由于小编穷,没法开通vip去下载资源,所以小编就运用一些网络技术进行 ...
java多线程数据采集,【多线程数据采集课题】java采集网页数据方法
[多线程数据采集专题]java采集网页数据方法 java多线程网络数据采集第一步抓取数据. java采集网页数据.获取html文本节点有几种办法.转载文章请注明来处:http://blog.cs ...
java web 截图_如何以Java实现网页截图技术
今天看到某网友关于"如何以Java实现网页截图技术"的咨询帖,由于出现该咨询的地点非常不适合较长回复,故以博文形式回答. 事实上,如果您想以Java实现网页截图,也就是" ...
java抓取网页css,Java 读取网页Html资料
当前位置:我的异常网» HTML/CSS » Java 读取网页Html资料 Java 读取网页Html资料 www.myexceptions.net 网友分享于:2013-10-27 浏览:13 ...
JSP房地产门户管理系统myeclipse开发mysql数据库BS模式java编程网页结构详细设计
一.源码特点 JSP 房地产门户管理系统是一套完善的web设计系统,对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,开发环境为TOMCAT7.0,Myeclipse8 ...
JAVA制作网页的软件有哪些,html5开发工具(开发html5网页的软件有哪些)
html5开发工具 1.SublimeText SublimeText是一个跨渠道的代码编bai辑器,一起支持duWindows.Linux.MacOSX等操作系统,也是HTML和散文zhi先进的文本 ...
【JAVA】网页版登录注册系统2.0
前言 JAVA实现网页的登录与注册2.0版一.环境的搭建导入1.0版本的项目Java实现网页版登录注册系统-Java文档类资源-CSDN文库可参考[JAVA]网页版登录注册系统_Lx_Hy_的博客 ...
【JAVA】网页版登录注册系统
目录前言一.环境的搭建二.功能实现 1.登录功能 2.注册功能 [注意] 总结前言 JAVA实现网页的登录与注册一.环境的搭建 1.创建Maven Web工程,参考[JAVA]Web服务器- ...
Java Script网页特效实例大全
Java Script网页特效实例大全 2009年06月27日 JavaScript是一种简洁的.面向对象的.跨平台的描述语言,是一种专门用来开发Internet客户端和服务端的应用程序.使用Java ...

Java实现网页数据采集

Java实现网页数据采集相关推荐

最新文章

热门文章