java 省市县数据_使用Jsoup抓取全国地区数据(省市县镇村)
最近手头在做一些东西,需要一个全国各地的地域数据,从省市区到县镇乡街道的。各种度娘,各种谷歌,都没找到一个完整的数据。最后功夫不负有心人,总算找到一份相对来说比较完整的数据,但是这里的数据也只是精确到镇级别,没有村一级的数据(后来通过分析数据源我知道了为什么,呵呵),在加上博主提供的有些数据存在冗余,对于有强迫症和追求完美的我,心想着我一定要自己动手去把这部分数据给爬取出来。
上述博文中的内容还算丰富,博主是用的是php来实现的,作为2015年度编程语言排行榜的第一位,我们也不能示弱啊,下面我就带着大家一起来看看用java怎么从网页当中爬取我们想要的数据...
第一步、准备工作(数据源+工具):
数据源(截止目前最全面权威的官方数据):http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/
爬取数据的工具(爬虫工具):http://jsoup.org/
第二步、数据源分析:
首先jsoup工具的使用我在这里就不做讲解了,感兴趣的可以自己动手去查阅。
做开发就应该多去了解一些软件工具的使用,在平常开发过程中遇到了才知道从何下手,鼓励大家多平时留意一些身边的软件工具,以备不时之需。在做这个东西以前,我也不知道jsoup要怎么用,但我知道jsoup可以用来干嘛,在我需要的用到的时候,再去查阅资料,自己学习。
上述的数据源是2013年中华人民共和国国家统计局发布的,其准确性和权威性不言而喻。
接下来我们分析一下数据源的结构,先从首页说起:
通过分析首页源码我们可以得到如下3点:
页面的整个布局是用的table标签来控制的,也就是说我们如果要通过jsoup来选择超链接,那么一定要注意,上图中不是只要标注了省市地区的地方采用的才是表格,整个页面中存在多个表格,因此是不可以直接通过表格
Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
Elements rowProvince = connect.select("table");
来解析数据的。
页面中有超链接的部分有多少地方。可能是官方考虑到了你们这种程序员需要获取这样的数据的原因吧,页面很干净,除开下方的备案号是多余的超链接,其他的链接可以直接爬取。
省份城市的数据规律。包含有效信息的表格的每一行都有一个class属性provincetr,这个属性很重要,至于为什么重要,请接着往下看;每一行数据中存在多个td标签,每一个td标签中包含一个a超链接,而这个超链接正是我们想要的超链接,超链接的文本即使省份(直辖市等)的名称。
再次我们再看一下一般的数据页面(一般的数据页面包括市级、县级、镇级这三级数据展示页面):
之所以要把上述三个页面放在一起,是因为通过分析我们可以发现,这三级数据的数据页面完全一致,唯一不同的就是在html源码数据表格中的数据行tr的class属性不一致,分别对应为:citytr,countrytrhe towntr。其他均一致。这样我们就可以用一个通用的方法解决这三个页面的数据爬取。
最后看看村一级的数据页面:
在村一级的数据中,和上述市县镇的数据格式不一致,这一级所表示的数据是最低一级的,所以不存在a链接,因此不能采用上面市县镇数据的爬取方式去爬取;这里展示数据的表格行的class为villagetr,除开这两点以外,在每一行数据中包含三列数据,第一列是citycode,第二列是城乡分类(市县镇的数据格式不存在这一项),第三列是城市名称。
把握了以上各个要点之外,我们就可以开始编码了。
第三步、编码实现:
1 import java.io.BufferedWriter;
2 import java.io.File;
3 import java.io.FileWriter;
4 import java.io.IOException;
5 import java.util.HashMap;
6 import java.util.Map;
7
8 import org.jsoup.Jsoup;
9 import org.jsoup.nodes.Document;
10 import org.jsoup.nodes.Element;
11 import org.jsoup.select.Elements;
12
13 /**
14 * 全国省市县镇村数据爬取
15 * @author liushaofeng
16 * @date 2015-10-11 上午12:19:39
17 * @version 1.0.0
18 */
19 public class JsoupTest
20 {
21 private static Map cssMap = new HashMap();
22 private static BufferedWriter bufferedWriter = null;
23
24 static
25 {
26 cssMap.put(1, "provincetr");// 省
27 cssMap.put(2, "citytr");// 市
28 cssMap.put(3, "countytr");// 县
29 cssMap.put(4, "towntr");// 镇
30 cssMap.put(5, "villagetr");// 村
31 }
32
33 public static void main(String[] args) throws IOException
34 {
35 int level = 1;
36
37 initFile();
38
39 // 获取全国各个省级信息
40 Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
41 Elements rowProvince = connect.select("tr." + cssMap.get(level));
42 for (Element provinceElement : rowProvince)// 遍历每一行的省份城市
43 {
44 Elements select = provinceElement.select("a");
45 for (Element province : select)// 每一个省份(四川省)
46 {
47 parseNextLevel(province, level + 1);
48 }
49 }
50
51 closeStream();
52 }
53
54 private static void initFile()
55 {
56 try
57 {
58 bufferedWriter = new BufferedWriter(new FileWriter(new File("d:\\CityInfo.txt"), true));
59 } catch (IOException e)
60 {
61 e.printStackTrace();
62 }
63 }
64
65 private static void closeStream()
66 {
67 if (bufferedWriter != null)
68 {
69 try
70 {
71 bufferedWriter.close();
72 } catch (IOException e)
73 {
74 e.printStackTrace();
75 }
76 bufferedWriter = null;
77 }
78 }
79
80 private static void parseNextLevel(Element parentElement, int level) throws IOException
81 {
82 try
83 {
84 Thread.sleep(500);//睡眠一下,否则可能出现各种错误状态码
85 } catch (InterruptedException e)
86 {
87 e.printStackTrace();
88 }
89
90 Document doc = connect(parentElement.attr("abs:href"));
91 if (doc != null)
92 {
93 Elements newsHeadlines = doc.select("tr." + cssMap.get(level));//
94 // 获取表格的一行数据
95 for (Element element : newsHeadlines)
96 {
97 printInfo(element, level + 1);
98 Elements select = element.select("a");// 在递归调用的时候,这里是判断是否是村一级的数据,村一级的数据没有a标签
99 if (select.size() != 0)
100 {
101 parseNextLevel(select.last(), level + 1);
102 }
103 }
104 }
105 }
106
107 /**
108 * 写一行数据到数据文件中去
109 * @param element 爬取到的数据元素
110 * @param level 城市级别
111 */
112 private static void printInfo(Element element, int level)
113 {
114 try
115 {
116 bufferedWriter.write(element.select("td").last().text() + "{" + level + "}["
117 + element.select("td").first().text() + "]");
118 bufferedWriter.newLine();
119 bufferedWriter.flush();
120 } catch (IOException e)
121 {
122 e.printStackTrace();
123 }
124 }
125
126 private static Document connect(String url)
127 {
128 if (url == null || url.isEmpty())
129 {
130 throw new IllegalArgumentException("The input url('" + url + "') is invalid!");
131 }
132 try
133 {
134 return Jsoup.connect(url).timeout(100 * 1000).get();
135 } catch (IOException e)
136 {
137 e.printStackTrace();
138 return null;
139 }
140 }
141 }
数据爬取过程便是一个漫长的过程,只需要慢慢等待吧,呵呵,由于程序运行时间较长,请不要在控制台打印输出,否则可能会影响程序运行....
最终获取到数据的格式如下("{}"中表示城市级别,"[]"中内容表示城市编码):
市辖区{3}[110100000000]
东城区{4}[110101000000]
东华门街道办事处{5}[110101001000]
多福巷社区居委会{6}[110101001001]
银闸社区居委会{6}[110101001002]
东厂社区居委会{6}[110101001005]
智德社区居委会{6}[110101001006]
南池子社区居委会{6}[110101001007]
黄图岗社区居委会{6}[110101001008]
灯市口社区居委会{6}[110101001009]
正义路社区居委会{6}[110101001010]
甘雨社区居委会{6}[110101001011]
台基厂社区居委会{6}[110101001013]
韶九社区居委会{6}[110101001014]
王府井社区居委会{6}[110101001015]
景山街道办事处{5}[110101002000]
隆福寺社区居委会{6}[110101002001]
吉祥社区居委会{6}[110101002002]
黄化门社区居委会{6}[110101002003]
钟鼓社区居委会{6}[110101002004]
魏家社区居委会{6}[110101002005]
汪芝麻社区居委会{6}[110101002006]
景山东街社区居委会{6}[110101002008]
皇城根北街社区居委会{6}[110101002009]
交道口街道办事处{5}[110101003000]
交东社区居委会{6}[110101003001]
福祥社区居委会{6}[110101003002]
大兴社区居委会{6}[110101003003]
府学社区居委会{6}[110101003005]
鼓楼苑社区居委会{6}[110101003007]
菊儿社区居委会{6}[110101003008]
南锣鼓巷社区居委会{6}[110101003009]
安定门街道办事处{5}[110101004000]
交北头条社区居委会{6}[110101004001]
北锣鼓巷社区居委会{6}[110101004002]
国子监社区居委会{6}[110101004003]
......
拿到以上数据以后,自己想干什么都可以自我去实现了,以上的代码可以直接运行,从数据源爬取后,可以直接转换成自己所要的格式。
java 省市县数据_使用Jsoup抓取全国地区数据(省市县镇村)相关推荐
- python读取大智慧数据_用Python抓取大智慧除权数据
继续做的数据分析,由于新浪获取的是未复权数据,所以在分析的时候出了些小问题,结果变得扑所迷离.于是又用了几天Tushare的获取复权数据功能,本来是写了个循环,每天自动获取,可是几乎每次下载都卡死了, ...
- python 从excel中抓取数据_使用Python抓取美团数据存于Excel中
0.程序是针对美团中的美食部分数据按好评排序采集. 要抓取保存的数据为: 商家名类型 地理位置 评论人数 均价 最低价格 1.首先编写网页数据采集函数,使用request采集网页源码,具体实现如 ...
- okhttp post json 数据_使用python抓取App数据
App中的数据可以用网络爬虫抓取么 答案是完全肯定的:凡是可以看到的APP数据都可以抓取. 下面我就介绍下自己的学习经验和一些方法吧 本篇适合有过web爬虫基础的程序猿看 没有的的话学的可能会吃力一些 ...
- python爬取饿了么外卖商家数据_用python抓取饿了么无证店铺
一.前言 饿了么平台上很多店铺都无营业执照,只能借用他人的营业执照上传开店.那就想看看附近有多少这样无证共用营业执照的店铺. 先看一下抓取的截图,竟然有这么多店没有营业执照. mongodb3.png ...
- python豆瓣影评_使用Python抓取豆瓣影评数据的方法
抓取豆瓣影评评分 正常的抓取 分析请求的url https://movie.douban.com/subject/26322642/comments?start=20&limit=20& ...
- wireshark怎么抓apk 包_图解如何抓取手机的数据封包「手机抓包技术详解」
通常我们主要抓取手机等移动设备的三种数据封包:TCP.HTTP.HTTPS.本文我们主要通过图文详细讲解使用wireshark抓取手机的tcp数据包,使用Fiddler抓取手机的HTTP.HTTPS数 ...
- wireshark 抓 蓝牙数据_使用Wireshark 抓取数据包
Wireshark 是一个网络封包分析软件.网络封包分析软件的功能是获取网络封包,并尽可能显示出最为详细的网络封包资料.Wireshark使用WinPCAP作为接口,直接与网卡进行数据报文交换. 一 ...
- python如何爬虫股票数据_如何抓取股票数据_用Python抓取新浪的股票数据
python爬虫成长之路(一)抓取证券之星的股票数据 其中编译匹配模式findall方法使用这个匹配模式来匹配所需的信息并以列表的形式返回.正则表达式的语法非常多.下面我只列出使用的符号的含义.匹配除 ...
- python抓取经典评论_通过Python抓取天猫评论数据
每日干货好文分享丨请点击+关注 对商业智能BI.数据分析挖掘.大数据.机器学习感兴趣的加微信tsbeidou,邀请你进入交流群. 欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析 ...
最新文章
- Windows7 64位下vs2008配置OpenCV2.3.1
- mongodb 用户 设计_MongoDB 是什么?看完你就知道了
- 数据库如何闪回到某个时间点?
- python计算最大公约数和最小公倍数_python怎么求最大公约数和最小公倍数
- Python3算法基础练习:编程100例( 31 ~ 35 )
- sql server 2005 在 windows7 报 IIS Feature Requirement 错误。解决办法。
- C#基于LibUsbDotNet实现USB通信(一)
- 还要让你的家人等多久?五年后,你在做什么?
- Elasticsearch(一) ES之简介、倒排索引介绍以及 elasticsearch、kibana安装
- Keil综合(02)工程窗口各项图标描述
- 《java系统性能调优》--1.发现瓶颈
- eclipse Filter web.xml 问题解决 异步请求@WebServlet
- Python中的正斜杠与反斜杠
- 中国互联网关于阿里未来预测:这盘大期如何走
- chrome session丢失_为什么还是由这么多人搞不懂Cookie、Session、Token?
- 关于加密与解密、签名与验签
- 用户可以通过软件对计算机,用户可以通过____软件对计算机软、硬件资源进行管理。...
- 【linux运维】linux运维常用工具有哪些?
- “微积分7天搞定”学习记录
- 2018南京大学夏令营机试第一题
热门文章
- 360手机:360N6 Twrp、Root、Magisk教程
- 录屏——制作gif图片——压缩图片大小
- 年轻人最in的选择!HCK哈士奇x可口可乐联名限量款冰吧
- Jquery做的网页版连连看(初稿)
- 大写字母转小写(及scanf中的间隔符号的影响)
- ElasticSearch实战系列十一: ElasticSearch错误问题解决方案
- 有关老年计算机培训的报道,深晚报道|教老年人使用智能手机 南澳开展“智能时代,乐享生活”培训活动...
- java嵌套for循环基础练习 -班级平均分
- 前台js MD5加密 后台 java MD5解密
- 【Angular】ng-zorro-ant表格切换pageSize页数选择器不生效解决方案