Python获取[2016年统计用区划代码和城乡划分代码(截止2016年07月31日)]
#!usr/bin/env python
#-*- coding:utf-8 -*-
import requests
import re
import time
##系统初始化
urlHeader="http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2016/"
urlHomePage="index.html"
urlHtml=urlHeader+urlHomePage
##模拟Chrome访问初始化
headers={"Host":"www.stats.gov.cn","User-Agent":"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; InfoPath.3; .NET4.0C; .NET4.0E)"}
##访问国家统计局(2016年统计用区划代码和城乡划分代码(截止2016年07月31日))
htmlHome=requests.get(urlHtml,headers=headers)
htmlHome.encoding="gb2312"##正则表达式获取二级网址及省份名称
reObj=re.compile("<a href='([\s\S]*?.html)'>([\s\S]*?)<br/></a>")
arrayProvince=reObj.findall(htmlHome.text)for i in range(len(arrayProvince)):
##for i in range(4,5):urlHtml=urlHeader+arrayProvince[i][0]htmlCity=requests.get(urlHtml,headers=headers)htmlCity.encoding="gb2312"print arrayProvince[i][1]reObj=re.compile("<a href='([\s\S]*?.html)'>([\s\S]*?)</a>")arrayCity=reObj.findall(htmlCity.text)for j in range(len(arrayCity)):
## for j in range(0,1):if j % 2==0:urlHtml=urlHeader+arrayCity[j][0]print arrayCity[j][1]+" "+arrayProvince[i][1]+" "+arrayCity[j+1][1]htmlArea=requests.get(urlHtml,headers=headers)htmlArea.encoding="gb2312"reObj=re.compile("<td>[\s\S]*?</td>")arrayArea=reObj.findall(htmlArea.text)for k in range(1,len(arrayArea)):if k % 2==0:txtAreaInfo=(arrayArea[k-1]+arrayArea[k]).replace("<td>","").replace("</td>",",") \.replace("<a href='","").replace("'>",",").replace("</a>","").split(",")if ".html" in txtAreaInfo[0]:print txtAreaInfo[1]+" "+arrayProvince[i][1]+" "+arrayCity[j+1][1]+" "+txtAreaInfo[3]else:print txtAreaInfo[0]+" "+arrayProvince[i][1]+" "+arrayCity[j+1][1]+" "+txtAreaInfo[1]time.sleep(0.2)
Python获取[2016年统计用区划代码和城乡划分代码(截止2016年07月31日)]相关推荐
- Python爬虫练习五:爬取 2017年统计用区划代码和城乡划分代码(附代码与全部数据)
本文仅供学习,需要数据的文末有链接下载,请不要重复爬取. 最近工作中,因为统计用区划代码和城乡划分代码更新了最新的2017版,需要爬取最新的数据.于是乎,本次花了一定精力,将整个2017版数据完完整整 ...
- 获取全国统计用区划代码和城乡划分代码并写入数据库
背景:业务需要全国省市区的划分以及3级级联,正好想起2018年曾经抓取过国家统计局网站的去全国统计用区划代码和城乡划分代码,原资源的地址:2018年全国统计用区划代码和城乡划分代码.sql-MySQL ...
- [数据][json格式] 2016年统计用区划代码和城乡划分代码
[数据][json格式] 2016年统计用区划代码和城乡划分代码 2013 年的时候写过一篇 [数据][xml格式] 2012年统计用区划代码和城乡划分代码. 到了今天,我需要某省的省市县乡村五级数据 ...
- python爬虫练习五(补充): 2018年统计用区划代码和城乡划分代码(附代码与全部数据)
之前爬取过2017年的数据 详见 Python爬虫练习五:爬取 2017年统计用区划代码和城乡划分代码(附代码与全部数据) ,下面有评论说广东省的数据缺少了东莞与中山两个市的数据,检查网页结构发现确实 ...
- 城市筛选数据(根据2020年度全国统计用区划代码和城乡划分代码更新维护的标准)
根据2020年度全国统计用区划代码和城乡划分代码更新维护的标准,整理的城市联动筛选数据: /* 根据2020年度全国统计用区划代码和城乡划分代码更新维护的标准 */ var cityList = [{ ...
- 2011年统计用区划代码和城乡划分代码
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! http ...
- 区划代码和城乡划分代码
区划代码和城乡划分代码的数据 访问地址:http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2021/index.html 前段时间写了一个程序,用来下载 ...
- 最新县及县以上行政区划代码(截止2012年10月31日)
最新县及县以上行政区划代码(截止2012年10月31日) http://www.stats.gov.cn/tjbz/xzqhdm/t20130118_402867249.htm 对应数据: --TRU ...
- 最新县及县以上行政区划代码(截止2007年12月31日)
最新县及县以上行政区划代码(截止2007年12月31日) 最新县及县以上行政区划代码(截止2007年12月31日) 2008-02-15 09:21:37 代码 名称 110000 北京市 11010 ...
最新文章
- H.265 HD 和H.265 4K Video Encoder IP Core
- 【Visual Studio 扩展工具】如何在ComponentOneFlexGrid树中显示RadioButton
- 位操作-按位与之如何求二进制数的1个数
- 浙江高校计算机等级考试二级办公,浙江省高校计算机等级考试二级(高级办公)试题12.ppt...
- 270亿参数、刷榜CLUE,阿里达摩院发布最大中文预训练语言模型PLUG
- ffmpeg文档2:输出到屏幕
- python for循环九九乘法表_python3:使用for循环打印九九乘法表
- VOC数据集将XML转为对应的train.txt,trainval.txt,val.txt,test.txt
- libxml2如何配合php使用,libxml2实现xml文档的节点的修改
- CentOS6.0升级内核为6.2
- 利用SQL Server 2008 R2创建自动备份计划
- signature=ed12edba242e439d545c9f98deb5e896,PROJECTION APPARATUS
- 代码实现 | 方程组的实现
- 超全地牢场景unity3d模型素材网站整理
- Diy-Scratch(2) 博饼
- Android设备指纹认证
- 虫洞和诸多未解之谜有关联吗?
- 使用Scala实现Either数据结构
- 偷菜游戏,悄悄开启毁灭中国的魔盒
- 强烈推荐这 6 款 API 测试工具,绝对有一款没听过
热门文章
- 【Vue】 组件封装
- VMware桌面云之旅
- MATLAB if...elseif...elseif...else...end 语句
- 腾讯云服务器带贵的原因?
- 世界顶级杀毒软件排名:十二款世界顶级杀毒软件下载!
- 一个事物两个方面的对比举例_对比:把两种相反的事物或一种事物相对立的两个方面作比较. 作用:鲜明地突出了主要事物或事物的主要方面的××特征....
- 单工,半双工,全双工通讯
- ArcGIS中如何从中国行政边界矢量数据中获取部分省市区县乡的矢量数据
- 2021年12月Hbuilder云打包IOS流程
- 图像的平滑滤波、边缘检测、阈值化、腐蚀膨胀等原理介绍