源代码

import requests
from bs4 import BeautifulSoup
import pymysql
import timeclass Administrative(object):def __init__(self):self.db = pymysql.connect("127.0.0.1","root","a","travel",charset="utf8mb4")self.main()self.db.close()def main(self):base_url='http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/'trs=self.get_response(base_url,'provincetr')for tr in trs:#循环每一行datas=[]for td in tr:#循环每个省province_name=td.a.get_text()province_url=base_url+td.a.get('href')print(province_name)trs=self.get_response(province_url,None)for tr in trs[1:]:#循环每个市city_code=tr.find_all('td')[0].stringcity_name=tr.find_all('td')[1].stringcity_url=base_url+tr.find_all('td')[1].a.get('href')trs=self.get_response(city_url,None)for tr in trs[1:]:#循环每个区county_code=tr.find_all('td')[0].stringcounty_name=tr.find_all('td')[1].stringdata=[province_name,city_code,city_name,county_code,county_name]print(data)datas.append(data)time.sleep(1)sql="insert into china (province_name,city_code,city_name,county_code,county_name) values (%s,%s,%s,%s,%s)"self.connect_mysql(sql,datas)def get_response(self,url,attr):response=requests.get(url)response.encoding='gb2312'#编码转换soup=BeautifulSoup(response.text,'lxml')table=soup.find_all('tbody')[1].tbody.tbody.tableif attr:trs=table.find_all('tr',attrs={'class':attr})else:trs=table.find_all('tr')return trsdef connect_mysql(self,sql,data):cursor = self.db.cursor()try:result=Noneif data:if isinstance(data[0],list):cursor.executemany(sql,data)else:cursor.execute(sql,data)else:cursor.execute(sql)result=cursor.fetchall()except Exception as e:print(e)self.db.rollback();finally:cursor.close()self.db.commit(); #提交操作return resultif __name__=='__main__':Administrative()

数据库脚本

DROP TABLE IF EXISTS `china`;
CREATE TABLE `china`  (`cid` int(255) NOT NULL AUTO_INCREMENT,`province_name` varchar(255),`city_code` varchar(255),`city_name` varchar(255),`county_code` varchar(255),`county_name` varchar(255),PRIMARY KEY (`cid`) USING BTREE
)

效果图

我的个人博客网站是：www.coderyyn.cn
上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子
欢迎大家一起交流学习

转载请注明

从国家统计局获取最新国家省市区的行政区域数据相关推荐

js获取最新的省市区地址
JS+MySQL获取京东省市区地区采集了一下JD的省市区地区 (非常简单,只是做个记录) 1.建表:account_area 2.进入页面: https://reg.jd.com/reg/co ...
android省市区api,使用高德地图API获取最新行政区域数据(省市区等数据json)
image.png 浏览器端访问行政区域数据 $.get("https://restapi.amap.com/v3/config/district?subdistrict=2&ke ...
最新中国省市区县乡镇 5 级行政区划代码Json数据
之前我爬了datav的地图选择器中全国省市区的geoJSON数据为了获取最新省市区的行政区划代码用于级联组件,又爬了国家统计局的内容点此查看 index_2019_level_3.json:全国省 ...
2020最新全国省市区街道居委会五级地址
(1)2020最新全国省市区街道居委五级区划代码数据库(来自国家统计局2020年6月20日爬取数据)绝对真实完整 (2)2020-9-19日青风百草修定版 (3)如果您发现了地址库存在的问题,也请加以 ...
电大计算机考试打开画图程序,最新国家开放大学电大《计算机绘图》形考任务网考试题及答案.pdf...
最新国家开放大学电大<土木工程力学>形考任务网考试题及答案序号立军丑勹形式布宽时提交时间分值(分) 曰常学习行为作品展示第2周第 16周末 10% 户 -＿＿＿旱一 ...
电大计算机2019作业,【电大题】2019年最新国家开放大学电大《人文英语2、3、》网络核心课形考网考作业两套汇编附全答案.docx...
[电大题]2019年最新国家开放大学电大<人文英语2.3.>网络核心课形考网考作业两套汇编附全答案.docx 文档编号:768065 文档页数:61 上传时间: 2019-10-17 文 ...
Swift - 文本输入框内容改变时响应，并获取最新内容
1,问题描述有时我们开发的时候需要先把"确认"按钮初始设置为不可用,当文本框中输入文字以后,再将输入按钮变为可用. 2,实现原理 (1)要检测文本框内容的变化,我们需要让新界面的 ...
国家开放大学本科计算机应用基础,【（精华版）最新国家开放大学电大本科《计算机应用基础》网络课网考形考作业一及三试题答案】.docx...
[(精华版)最新国家开放大学电大本科<计算机应用基础>网络课网考形考作业一及三试题答案] (精华版)最新国家开放大学电大本科<计算机应用基础>网络课网考形考作业一及三试题答案 ...
通知：即日起本博客暂停更新，请移步至yanxin8.com获取最新文章
通知:即日起本博客暂停更新,请移步至yanxin8.com与博主交流及获取最新文章转载于:https://www.cnblogs.com/iplus/p/4467089.html

从国家统计局获取最新国家省市区的行政区域数据

源代码

数据库脚本

效果图

从国家统计局获取最新国家省市区的行政区域数据相关推荐

最新文章

热门文章