python简单爬虫获取行政边界点坐标

最近刚开始学用python进行简单爬虫，（关于python简单爬虫网易云课堂上有教程，俩小时学会http://study.163.com/course/courseMain.htm?courseId=1003285002），这里用到的工具是教程中提到的jupyter notebook

首先打开chrome浏览器，进入百度地图，点开开发者工具-network:

假设我们要爬取的是成都市双流区的边界点坐标，在搜索栏中输入双流区，点击清空按钮清屏，再点击搜索

可以看到地图中多了一个行政区图层，我们需要做的是观察下方的响应，找到图层对应的链接，通过简单搜寻可以发现在XHR下的某个文件，它的response可能包含了行政点信息：

通过点开链接发现的确如此：

该网址如下：
https://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=pc4.1&qt=ext&num=1000&l=10&uid=969ab43816104a0cb54f54e4&tn=B_NORMAL_MAP&nn=0&ie=utf-8&b=(11524830.669662053,3523233.4366656514;11632785.714980276,3576021.624079733)&t=1534420430415
观察网址构成，发现uid部分应该是行政编号信息，因此编写程序：
from bs4 import BeautifulSoup
import requests
url=’https://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=pc4.1&qt=ext&num=1000&l=10&uid={}&tn=B_NORMAL_MAP&nn=0&ie=utf-8&b=(11524830.669662053,3523233.4366656514;11632785.714980276,3576021.624079733)&t=1534420430415’
id=’969ab43816104a0cb54f54e4’
mapurl=url.format(id)
res=requests.get(mapurl)
res.encoding=’utf-8’
soup=BeautifulSoup(res.text,’html.parser’)
print(res.text)
理论上，只要知道各行政区的代码，便可以编写循环遍历所有需要的行政区边界点数据。

python简单爬虫获取行政边界点坐标相关推荐

手把手教你使用Python网络爬虫获取B站视频选集内容（附源码）
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤位卑未敢忘忧国,事定犹须待阖棺. ...
Python简单爬虫第六蛋！（完结撒花）
第六讲: 今天我们来实战一个项目,我本人比较喜欢看小说,有一部小时叫<圣墟>不知道大家有没有听说过,个人觉得还是不错的,现在联网的时候,都可以随时随地用手机打开浏览器搜索查看,但是有时候也 ...
小猿圈分享利用python网络爬虫获取网易云歌词
今天小猿圈给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下: 找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌曲ID: 调用网易云歌曲API,获取歌词: 将歌词写入文件,并存入本 ...
python简单爬虫
python简单爬虫某网站简历模板 from lxml import etree import requestsdef main():url = "https://sc.chinaz.com ...
python简单爬虫指定汉字的笔画动图下载
python简单爬虫指定汉字的笔画动图下载分析过程打开网址首页http://www.hanzi5.com 选择一个字,比如"虐" 查看该汉字动图地址右键该汉字动图,选择在新 ...
Python网络爬虫获取淘宝商品价格
1.Python网络爬虫获取淘宝商品价格代码: #-*-coding:utf-8-*- ''' Created on 2017年3月17日 @author: lavi ''' import reque ...
Python 简单爬虫下载小说txt
Python 简单爬虫下载小说txt #第一次写爬虫代码欢迎交流指正我们范例爬取的对象是笔趣阁的<圣墟> (最近非常火的连载小说) ##为什么选择笔趣阁# 主要是因为笔趣阁的源代码没有 ...
利用Python网络爬虫获取分类图片，简单处理反爬教学
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本文章来自腾讯云作者:Python进阶者想要学习Python?有问题得不到第一 ...
python简单爬虫程序分析_[Python专题学习]-python开发简单爬虫
掌握开发轻量级爬虫,这里的案例是不需要登录的静态网页抓取.涉及爬虫简介.简单爬虫架构.URL管理器.网页下载器(urllib2).网页解析器(BeautifulSoup) 一.爬虫简介以及爬虫的技术价 ...
python简单爬虫入门一_Python爬虫快速入门：基本结构简单实例
本爬虫系列入门教程假设读者仅有一点点Python基础或者近乎为零的基础.如果是有Python基础的可以跳过一些对于Python基本知识的补充. 爬虫能干什么呢?一句话概括,正常通过浏览器可以获取的数据 ...

python简单爬虫获取行政边界点坐标

python简单爬虫获取行政边界点坐标相关推荐

最新文章

热门文章