业余时间研究了一下兴趣点这一常见GIS数据的获取，总结如下。

获取思路

1、将待抓取区域切割成一定大小的矩形，如400米边长的矩形；
2、对每个矩形调用百度/高德等提供的接口，获取该矩形范围内兴趣点数据。
3、将兴趣点数据去重合并。

注意事项

坐标系

受国内政策、地图平台自身商业需要，各地图平台使用的坐标系各有不同。

百度：BD09;
高德：GCJ02;
腾讯：GCJ02;
天地图：CGCS 2000;

去重

兴趣点注意根据百度等返回的ID去重。

成果--PoiCrawler

PoiCrawler是使用C#编写的一个跨平台命令行工具，支持对国内各层级行政区(粒度最小到区县)的各类兴趣点数据获取。

使用

PoiCrawler -n 任务名称 -r 行政区划编码 -t 类型 -g 网格边长(米，默认400) -w 并行抓取数量(默认2)-i 抓取频率(秒，默认1秒)

抓取结果会自动生成在抓取器文件夹下，文件名同如任务名称；
抓取结果为WGS84坐标系；结果已去重；
抓取结果为CSV格式；
抓取没有总量，频率限制。

使用样例

PoiCrawler crawl -n 武汉餐饮 -r 420100 -t 餐饮服务 //抓取武汉市餐饮类型兴趣点
PoiCrawler crawl -n 武昌区餐饮 -r 420106 -t 餐饮服务 -g 400 -w 2 -i 1 //抓取武昌区餐饮类型兴趣点，以400米边长的矩形进行分割，抓取间隔为1秒(越短越快)，抓取协程数是2(越多越快)

PoiCrawler list     //列举可获取的兴趣点类型和行政区划编码表

image.png

列举类型

抓取结果

POI(兴趣点)抓取工具相关推荐

hacker代码_如何仅用7行R代码构建Hacker News Frontpage抓取工具
hacker代码 by AMR 通过AMR 如何仅用7行R代码构建Hacker News Frontpage抓取工具 (How to build a Hacker News Frontpage scr ...
电子邮件地址抓取工具
从互联网上自动搜索电子邮件地址,电子邮件地址抓取工具是一款绿色软件,它将自动搜索网络并抓取电子邮件地址. 点击下载转载于:https://www.cnblogs.com/JiangHuakey/ar ...
系统检测到您正在使用网页抓取工具访问_从网站抓取数据的3种最佳方法
halo,大家好,我是特仑苏,今天呢给大家分享一些Python从网站抓取数据的一些方法,希望可以给大家带来一些帮助! 原作者:Octoparse团队原出处:作品文(从网站抓取数据的3种最佳方法)/网 ...
一个简单的网页抓取工具
前两天遇到一个妹子,她说不会从拉网页,我想用node做个网页抓取工具是何尝的简单,于是装x之路开始了. 其实想法很简单,由网址得到html,由html解析css,js,image等,分别下载就行了, ...
asp.net 获取全部在线用户_提取在线数据的9个最佳网页抓取工具
Web Scraping工具专门用于从网站中提取信息.它们也被称为网络收集工具或Web数据提取工具. Web Scraping工具可以在各种场景中用于无限目的. 比如: 1.收集市场研究数据网络抓取 ...
系统检测到您疑似使用网页抓取工具访问本_12款最常使用的网络爬虫工具推荐...
网络爬虫在当今的许多领域得到广泛应用.它的作用是从任何网站获取特定的或更新的数据并存储下来.网络爬虫工具越来越为人所熟知,因为网络爬虫简化并自动化了整个爬取过程,使每个人都可以轻松访问网站数据资源.使 ...
开箱即用的高匿代理抓取工具
golang-proxy v3.0 golang-proxy是一个开箱即用的高匿代理抓取工具, 它是语言无关的项目地址: https://github.com/storyicon/golang-pr ...
WebSpider蓝蜘蛛网页抓取工具5.1用户手册
概述关于网页抓取工具本工具可以抓取互联网上的任何网页,包括需要登录后才能访问的页面.对抓取到页面内容进行解析,得到结构化的信息,比如:新闻标题.作者.来源.正文等.支持列表页的自动翻页抓取,支持正 ...
数据抓取工具有哪些-数据抓取工具免费推荐的有哪些
随着社会的进步,科技的发展.不管是企业还是个人都清楚地明白了数据的重要性.不仅可以让我们掌握一手资源,同时还能通过数据更清楚竞争对手.同时也告别了手动复制粘贴的痛苦. 企业人员通过爬取动态网页数据分 ...
谷歌地图商家抓取工具 G-Business Extractor 7.5
G 业务提取器 | 谷歌地图抓取工具 G-Business Extractor是一款功能强大的工具,可帮助您从 Google 地图中寻找商机.它是最好的Google Maps Scraper工具,能够 ...

POI(兴趣点)抓取工具

获取思路

注意事项

坐标系

去重

成果--PoiCrawler

使用

使用样例

POI(兴趣点)抓取工具相关推荐

最新文章

热门文章