抓取百度地图瓦片（离线GIS）

项目需要用到离线GIS，研究了一下，做个记录

需要百度离线api的js

参考：
于忠达 https://my.oschina.net/smzd/blog/548538
giao00000 https://blog.csdn.net/wml00000/article/details/82219015

第一个是api2.0 第二个是在此基础上的3.0，我用的是2.0
使用起来和在线的差不多，引入api.js就可以，具体看大佬博客吧

另外一个是地图瓦片，因为是离线地图，所以需要把地图资源下载到本地，百度地图背景是一张张的图片，比如放大级别（zoom）是1，是一张最大的图，放大级别为2，地图会被拆成4份，放大级别为3，地图会被拆成16份，这样理解。
地图瓦片的坐标是（zoom,x,y）三元素，zoom是缩放级别，X是横坐标，Y是纵坐标，左下角为原点，具体看下图。

比如你想抓15级地图，目测一个矩形区域，找到左下角的一个点，一路放大到需要的级别，看下x,y的范围即可

中国地图15级范围

	左下x	左下y	右上x	右上y
15	3825	626	8614	3301

网上很多抓取瓦片的工具，不是有水印，就是要收费，所以自己写了个爬虫去爬。

首先一个配置文件，定义级别和范围，存储路径，线程数
config.properties

zIndex=15
left-bottom-x=3825
left-bottom-y=626
right-top-x=8614
right-top-y=3301
thread-size=10
#\u76EE\u5F55\u540E\u9762\u4E0D\u52A0\u659C\u7EBF\u662F\u50BB\u903C
savepath=D:\\work\\tiles\\tiles\\

主进程读取配置信息，启动线程

static{Properties pro = new Properties();try{// 开发用这一行 读取当前目录配置文件// pro.load(Demo1.class.getResourceAsStream("config.properties"));// 打jar包用这一行 方便外部修改配置文件pro.load(new FileInputStream("config.properties"));zIndex = pro.getProperty("zIndex");savePath = pro.getProperty("savepath");String leftbottomx = pro.getProperty("left-bottom-x");String leftbottomy = pro.getProperty("left-bottom-y");String righttopx = pro.getProperty("right-top-x");String righttopy = pro.getProperty("right-top-y");String threadsize = pro.getProperty("thread-size");xmin = Integer.valueOf(leftbottomx);ymin = Integer.valueOf(leftbottomy);xmax = Integer.valueOf(righttopx);ymax = Integer.valueOf(righttopy);threadSize = Integer.valueOf(threadsize);System.out.println("读取数据完成xmin:" + xmin + " ymin:" + ymin + " xmax:"+ xmax + " ymax:" + ymax);}catch (IOException e){e.printStackTrace();}
}

根据线程数确定每个线程的任务，线程池什么的都没用，直接跑把。。。

private void getImg(){// 以x分开多线程Integer needRunTaskSize = xmax - xmin;Integer erevtSize = needRunTaskSize / threadSize;for (int i = 0; i < threadSize; i++){// 算出这个线程的范围ImgTask imgTask = new ImgTask(zIndex, erevtSize * (i) + xmin,erevtSize * (i + 1) + xmin, ymin, ymax);imgTask.setSavePath(savePath);imgTask.start();}int lave = needRunTaskSize % threadSize;if (lave != 0){// 多跑一个处理剩余的ImgTask imgTask = new ImgTask(zIndex, xmax - lave, xmax, ymin,ymax);imgTask.setSavePath(savePath);imgTask.start();}
}

单个任务的话，只要从网上拿到图片保存起来就ok

这是个日志文件根据当前任务的范围命名，记录任务状态，下面的都写在了run()里面

File logfile = new File(xmin + "to" + xmax);
BufferedWriter bWriter = null;
if (!logfile.exists())
{try{logfile.createNewFile();}catch (IOException e){e.printStackTrace();}
}
try
{bWriter = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(logfile, true), "utf-8"));
}
catch (UnsupportedEncodingException e)
{e.printStackTrace();
}
catch (FileNotFoundException e1)
{e1.printStackTrace();
}

接下来就是根据参数构建url，这个url可以去官网随便找个demo看下最新的网址是什么，udt=20181205这个参数越新，数据也就越新。
先去判断是不是有这个文件了，有的话就不用请求了，比如任务中断了，下次再跑不用把前面的再请求一遍。

String link = "http://online0.map.bdimg.com/tile/?qt=vtile&x={x}&y={y}&z={z}&styles=pl&scaler=1&udt=20181205&xxx={rand}";
for (int i = xmin; i <= xmax; i++)
{ // 循环Xfor (int j = ymin; j <= ymax; j++){ // 循环Ytry{File dir = new File(savePath + z + "/" + i);if (!dir.exists()){dir.mkdirs();}File file = new File(savePath + z + "/" + i + "/" + j + ".png");// System.out.println(file);if (!file.exists()){file.createNewFile();}else{bWriter.write("文件存在跳过" + file);bWriter.newLine();bWriter.flush();System.out.println("文件存在跳过" + file);continue;}

如果本地没有这个文件，那就下载下来

URL url = new URL(link.replace("{x}", i + "").replace("{y}", j + "").replace("{z}", z + "").replace("{rand}", new Date().getTime() + ""));
//System.out.println(url);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setConnectTimeout(100);
conn.connect();
InputStream in = conn.getInputStream();
OutputStream out = new FileOutputStream(file);
byte[] bytes = new byte[1024 * 20];
int len = 0;
while ((len = in.read(bytes)) != -1)
{out.write(bytes, 0, len);
}
out.close();
in.close();
bWriter.write("成功下载" + file);
bWriter.newLine();
bWriter.flush();

然后导出个jar包，放在那里跑把

15级抓完有10个G， 1-14级才2个多G

代码仍在了这里
https://gitee.com/localhost_liangbing/baiduTiles

抓取百度地图瓦片（离线GIS）相关推荐

python爬取地图地址_用Python抓取百度地图里的店名，地址和联系方式
原标题:用Python抓取百度地图里的店名,地址和联系方式每日干货好文分享丨请点击+关注欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区. 对商业智能BI.大数 ...
如何用python抓地图_用Python抓取百度地图里的店名，地址和联系方式！屌不屌？...
昨晚看到一篇爬取百度地图信息的的代码,我更改了城市,关键词,页码等,完成了获取有关"筛网"店铺的信息. 代码如下: import requests import re import ...
python抓取百度地图数据_Python 百度地图爬虫 - 搜索数据采集
class Hot_City_Coordinates(): """获取热门城市""" def __init__(self): self.he ...
离线版百度地图瓦片下载html版
离线版百度地图瓦片下载html版:http://download.csdn.net/detail/wyazyf/9858560
Python爬取百度地图的瓦片图
Python爬取百度地图的瓦片图需求代码爬虫结果需求采用Python + Selenium + phantomJs,自动爬取百度地图的栅格图(瓦片图),支持自定义区域.级别.无文字地图. 去 ...
最全面的百度地图JavaScript离线版开发
转载请注明出处:http://www.cnblogs.com/Joanna-Yan/p/5822231.html 项目要求web版百度地图要离线开发.这里总结下自己的开发过程和经验. 大概需求是:每辆 ...
python爬取地图地址_Python爬取百度地图poi数据 !
锵锵锵,我来啦.10天过的好快呀,4月份都已经过了三分之一,我的体重还居高不下,qwq.今天给大家分享python爬取百度地图小区的数据,希望大家看后,可以尝试自己编写爬取自己所在市的中学,公园,银行 ...
运用百度地图API离线版（在线版）实现网管系统中终端定位和终端信息获取的功能...
一.了解百度地图API 1.百度地图JavaScript API简介百度地图JavaScript API是一套由JavaScript语言编写的应用程序接口,可在网站中构建功能丰富.交互性强的地图应用 ...
python爬取百度贴吧中的所有邮箱_使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号...
原标题:使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号不知道大家过年都是怎么过的,反正栏主是在家睡了一天,醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码,想起之前练手的时候写过一个抓 ...

抓取百度地图瓦片（离线GIS）

抓取百度地图瓦片（离线GIS）相关推荐

最新文章

热门文章