Python-阿里云地图的爬取


from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all" # 代码块显示所有执行结果

引言

这里通过循环爬取阿里云省级地图，并处理交叉点，再通过对行政区域代码递归，爬取市级地图，县级地图。最后爬取民政部南海九段线数据。每次爬去后都保存json格式文件。对于4个直辖市这种，省级和市级都是相同的名字和行政区域代码。对于港澳台这种，省级、市级、县级的名称和行政区域代码都相同。这样便于筛选和绘图。

1 需要的包


import geopandas as gpd
import pandas as pd
import numpy as np
import requests
import matplotlib.pyplot as plt
import os
import json
from json import JSONDecodeError
from shapely.geometry import MultiLineString

2 省级地图

2.1 爬数据


China_sheng = (gpd.read_file('https://geo.datav.aliyun.com/areas_v3/bound/100000_full.json', crs='EPSG:4326').query("name != ''") # 移除南海九段线，这个数据是polygon, 不是linestring.reindex(['adcode', 'name', 'geometry'], axis=1).explode(ignore_index=True, index_parts=False) # 拆分.groupby(by=['adcode', 'name'])['geometry'] # 分组后buffer(0)以消除交叉点.agg(lambda x: x.buffer(0).unary_union) # 再合并.reset_index().set_crs(crs='EPSG:4326'))
China_sheng.head()

China_sheng.to_crs(crs='EPSG:2381').plot(column='name', figsize=(10, 15));

2.2 保存到文件

China_sheng.to_file('./ChinaMap/阿里云省级.json')

3 市级地图

3.1 爬数据

%%time
code_sheng = (China_sheng.reindex(['adcode', 'name'], axis=1).query("~name.str.contains('台湾|香港|澳门|北京|上海|重庆|天津')", engine='python')# 排除7个特别行政区)
def get_shi_of_sheng(adcode):
return (gpd.read_file('https://geo.datav.aliyun.com/areas_v3/bound/' + str(adcode) + '_full.json', crs='EPSG:4326').explode(ignore_index=True, index_parts=False) # 拆分.groupby(by=['adcode', 'name'])['geometry'] # 分组后buffer(0)以消除交叉点.agg(lambda x: x.buffer(0).unary_union) # 再合并.reset_index().set_crs(crs='EPSG:4326'))
China_shi = []
for code in code_sheng['adcode'].values:sheng_gdf = get_shi_of_sheng(code)sheng_gdf['code_sh'] = codeChina_shi.append(sheng_gdf)
China_shi = (pd.concat(China_shi, ignore_index=True).set_index('code_sh').join(code_sheng.rename({'adcode': 'code_sh', 'name': 'name_sh'}, axis=1).set_index('code_sh'), how='left').reset_index().reindex(['geometry', 'adcode', 'name', 'code_sh', 'name_sh'], axis=1))
China_shi = (China_sheng.reindex(['geometry', 'adcode', 'name'], axis=1).query("name.str.contains('台湾|香港|澳门|北京|上海|重庆|天津')").eval("code_sh = adcode").eval("name_sh = name").append(China_shi, ignore_index=True))
China_shi.head()

China_shi.to_crs(crs='EPSG:2381').plot(column='name', figsize=(10, 15));

3.2 保存到文件

China_shi.to_file('./ChinaMap/阿里云市级.json')

4 县级地图

4.1 爬数据

%%time
code_shi = (China_shi[['adcode', 'name', 'code_sh', 'name_sh']].query("~name_sh.str.contains('台湾|香港|澳门')", engine='python')# 排除3个特别行政区)
def get_xian_of_shi(adcode):
try:data_json = requests.get('https://geo.datav.aliyun.com/areas_v3/bound/' + str(adcode) + '_full.json').json()
except JSONDecodeError:data_json = requests.get('https://geo.datav.aliyun.com/areas_v3/bound/' + str(adcode) + '.json').json()
return (gpd.GeoDataFrame.from_features(data_json, crs='EPSG:4326').explode(ignore_index=True, index_parts=False) # 拆分.groupby(by=['adcode', 'name'])['geometry'] # 分组后buffer(0)以消除交叉点.agg(lambda x: x.buffer(0).unary_union) # 再合并.reset_index().set_crs(crs='EPSG:4326'))
China_xian = []
for code in code_shi['adcode'].values:shi_gdf = get_xian_of_shi(code)[['geometry', 'adcode', 'name']]shi_gdf['code_s'] = codeChina_xian.append(shi_gdf)
China_xian = (pd.concat(China_xian, ignore_index=True).set_index('code_s').join(code_shi.rename({'adcode': 'code_s', 'name': 'name_s'}, axis=1).set_index('code_s'), how='left').reset_index().reindex(['geometry', 'adcode', 'name', 'code_sh', 'name_sh', 'code_s', 'name_s'], axis=1))
China_xian = (China_shi.query("name_sh.str.contains('台湾|香港|澳门')", engine='python').eval("code_s = adcode").eval("name_s = name").append(China_xian, ignore_index=True))
China_xian.head()

China_xian.to_crs(crs='EPSG:2381').plot(column='name', figsize=(15, 23));

4.2 保存到文件

China_xian.to_file('./ChinaMap/阿里云县级.json')

5 南海九段线

阿里云的南海九段线数据是polygon对象，如果想要linestring, 可以从民政部爬取

nine_lines = (gpd.read_file('http://xzqh.mca.gov.cn/data/quanguo_Line.geojson', crs='EPSG:4326').query("QUHUADAIMA == 'guojiexian'").reset_index(drop=True).iloc[:14, :].geometry)
nine_lines = gpd.GeoSeries([MultiLineString(nine_lines.values)], crs=nine_lines.crs)
nine_lines.plot();

nine_lines.to_file('./ChinaMap/南海九段线.json')

地图数据来源:

阿里云(高德地图)中国地图 (http://datav.aliyun.com/portal/school/atlas/area_selector#&lat=40.1452892956766&lng=86.11083984375&zoom=5) 中国民政部中国地图 (http://xzqh.mca.gov.cn/map), 需要自己爬取。中国民政部全国行政区域代码 (http://www.mca.gov.cn/article/sj/xzqh/2020/), 需要爬取和后处理。