轻松实现全国高校地理位置数据爬取（文末附源码和数据集）

大家好，我是小一

一个城市的历史底蕴，不光可以从经济、文化和人文景点，还可以从高校的数量可以看出来。所以，今天就来试试如何爬取全国高校的分布数据。

以下文章比较适合初学者，老读者请酌情加速阅读。

今天要爬取的网站是：中国教育在线，对应的网址是：https://gkcx.eol.cn/school/search

因为对应的是位置点，所以最主要的应该是经纬度点坐标数据。

但是在该网站中无法获取到高校的经纬度数据，所以在文末会教你利用地址解析的方式获取到经纬度坐标。

以下是正文：

爬虫流程

打开对应网址后，F12 打开开发者工具，切换到 Network 选项卡下的 XHR

通过在网页中点击 上一页、下一页 按钮可以发现有如下的请求：

多次点击后可以发现对应的只是请求参数 page 在发生变化

对应每一页的请求参数 page 对应的该页在整个数据集中所处的位置

而总的数据集个数在每个请求的 response 中可以获取到

从而通过 总个数/每页个数=页面数 确定总的请求次数

在每次请求的响应中可以看到返回的数据有很多，包括：高校地址、所在城市、地区、直属机构、类别、是否双一流以及对应的浏览次数等数据

综上，前期的数据爬取中，总体流程如下：

获取总记录数，计算请求次数
遍历请求次数，构造每一次请求的 url
解析并获取数据

最后，通过百度地图反向解析高校的经纬度数据，这个在文末会介绍到

爬虫实现

基于上面的爬虫流程，依次进行爬虫的代码实现

首先是获取到总记录数，

url = 'url'
res = requests.post(url, headers={'User-Agent': get_ua()})
data = json.loads(res.text)# 解析数据
if data["message"] == '成功':size = data["data"]["numFound"]

由于每次请求返回的数据是 JSON 格式，通过上述方式可以直接获取到总记录数

从而可以很方便的计算出总请求次数：

# 计算请求次数
page_cnt = int(size/page_size) if size%page_size==0 else int(size/page_size)+1
print('一共{0}页数据'.format(page_cnt))

其次，遍历请求次数，构造每一次的请求 url

其实主要是更新下标 index

for index in range(1, page_cnt+1):print('正在爬取第 {0}/{1} 页数据'.format(index, page_cnt))url = 'https://api.eol.cn/gkcx/api/?access_token=&admissions=&central=&department=&dual_class=&f211=&f985=&is_doublehigh=&is_dual_class=&keyword=&nature=&page={0}&province_id=&ranktype=&request_type=1&school_type=&signsafe=&size=20&sort=view_total&top_school_id=[2941]&type=&uri=apidata/api/gk/school/lists' \.format(index)res = requests.post(url, headers={'User-Agent': get_ua()})data = json.loads(res.text)

最后是解析每一页的数据

由于数据是 JSON 格式，可以很方便的通过 DataFrame 进行转换

# 解析数据
if data["message"] == '成功':df_data = pd.DataFrame(data["data"]["item"])df_result = df_result.append(df_data)

最后对整体数据进行保存即可。

地址解析，匹配经纬度

地址解析主要是通过百度开发者平台，对高校的地址进行解析

平台提供的接口是这样的：

对应的，我们将每个 高校的地址 作为 query 参数，将 省份+城市 作为 region 参数，设置 tag 为高等院校，构造访问 url

相应的代码如下：

df_data = pd.read_csv(filepath, encoding='gbk')
for row_index, data_row in df_data.iterrows():region = data_row['province_name']+data_row['city_name']query = data_row['name']url = 'http://api.map.baidu.com/place/v2/search?query={0}&tag={1}&region={2}&output=json&ak={3}'.format(query, "高等院校", region,  '你的key')

最后是对每次的请求进行解析，获取到百度地图返回的经纬度数据

思路比较简单，相应代码如下：

res = requests.get(url, headers={'User-Agent': get_ua()})
data = json.loads(res.text)
if len(data["results"]) > 0:df_data = pd.DataFrame(data["results"])df_data['lat'] = df_data['location'].apply(lambda x: x['lat'])df_data['lng'] = df_data['location'].apply(lambda x: x['lng'])# 返回数据bd_lng = df_data.loc[0, "lng"]bd_lat = df_data.loc[0, "lat"]

个人开发者在百度开放平台每天有 3w 次地点检索的免费配额，在使用的时候可以注意下

本次的高校数据集大概不到 3000 条，建议在运行之前可以先写好测试 demo

最终数据及效果

爬取到的高校数据共 2827 条，每个数据 46 个字段

部分数据截图如下：

将高校经纬度打在地图上，分布是这样的：

这份数据和目前教育部公布的数据还是有一些小小的出入，但是在可容忍范围之内，所以误差可以暂时忽略。

ok，数据已经确认了，接下来就是如何分析的问题了，下节分析部分会详细介绍。

往期爆文

利用Python实现PDF文档批量加水印，轻松实现！

一季度基金持仓分析，下半年重点关注这些机会！

excel 绘制闪到发光的三维地图真的很简单！

全国 40城 5000+ 地铁站点数据分析实战！

6000+文字的数据探索分析实战教程，推荐练手！

扫码加好友，加入海归Python编程和人工智能群

期待你的 三连！我们下节见