title: ‘（二）Geospark从Shapefile中加载RDD’
date: 2021-04-29 19:09:48
tags: []
published: true
hideInList: false
#feature: /post-images/（二）Geospark从Shapefile中加载RDD.png
isTop: false

从Shapefile中加载RDD

我们从Shapefile中创建一个Spark的RDD,本次要导入的Shapefile是广州全市的公交站点.

Geospark从Shapefile中加载RDD

从Shapefile中加载RDD

我们从Shapefile中创建一个Spark的RDD,本次要导入的Shapefile是广州全市的公交站点.

image.png

然后我们初始化一个SparkContext，并调用GeoSpark的ShapefileReader，将我们的Shape文件导入。

SparkConf conf = new SparkConf();
conf.setAppName("GeoSpark02");
conf.setMaster("local[*]");
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
conf.set("spark.kryo.registrator", "org.datasyslab.geospark.serde.GeoSparkKryoRegistrator");
JavaSparkContext sc = new JavaSparkContext(conf);// Get SpatialRDD
String shapeInputLocation = Learn02.class.getResource("/parks").toString();
SpatialRDD rdd = ShapefileReader.readToGeometryRDD(sc, shapeInputLocation);

查询

1. 使用Envelop查询

//Envelop
Envelope rangeQueryWindow = new Envelope(-123.1, -123.2, 49.2, 49.3);
boolean considerBoundaryIntersection = false;// Only return gemeotries fully covered by the window
boolean usingIndex = false;
JavaRDD<Geometry> queryResult = RangeQuery.SpatialRangeQuery(rdd, rangeQueryWindow, considerBoundaryIntersection, usingIndex);
System.out.println(String.format("查询结果总数为: %d",queryResult.count()));

查询结果总数为: 62

2. 使用Geomtery查询

GeoSpark提供了GeomtryFactory来构造Polygon、Line、Point等Geometry。

// Geometry
GeometryFactory geometryFactory = new GeometryFactory();
Coordinate[] coordinates = new Coordinate[5];
coordinates[0] = new Coordinate(-123.1,49.2);
coordinates[1] = new Coordinate(-123.1,49.3);
coordinates[2] = new Coordinate(-123.2,49.3);
coordinates[3] = new Coordinate(-123.2,29.2);
coordinates[4] = coordinates[0]; // The last coordinate is the same as the first coordinate in order to compose a closed ring
Polygon polygonObject = geometryFactory.createPolygon(coordinates);
queryResult = RangeQuery.SpatialRangeQuery(rdd, polygonObject, considerBoundaryIntersection, usingIndex);
System.out.println(String.format("查询结果总数为: %d",queryResult.count()));

查询结果总数为: 62

3. 输出查询结果

// 遍历查询结果
queryResult.foreach(new VoidFunction<Geometry>() {@Overridepublic void call(Geometry geometry) throws Exception {System.out.println(geometry);}
});

POLYGON ((-123.15566057081632 49.26206733490204, -123.15564728017853 49.26241791476514, -123.15548939905344 49.262415429329856, -123.15550257747702 49.26206484963618, -123.15566057081632 49.26206733490204))  1   -9999       Kitsilano           N
POLYGON ((-123.15760176703519 49.261936547646954, -123.15718706338478 49.2619299178749, -123.15719832396375 49.26162160945501, -123.15761313807661 49.26162814910161, -123.15760218456263 49.26192530535148, -123.15760176703519 49.261936547646954))   2   208 Rosemary Brown Park Kitsilano   W 11th Avenue   Vine Street N   N   N
.................................
POLYGON ((-123.12325003271694 49.290529597005786, -123.12325184999034
POLYGON ((-123.11921795166444 49.288179012132034, -123.11889234917355 49.28806261407178, -123.11905901714364 49.28781953241384, -123.11954592548769 49.28796238352621, -123.11921795166444 49.288179012132034)) 80  27  Portal Park Downtown    W Hastings Street   Thurlow Street  N   N   N

参考链接：https://www.jianshu.com/p/4b9e875227aa

Geospark从Shapefile中加载RDD相关推荐

Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）
1． JDBC Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中. 1.1．从MySQ ...
spark mysql 写_Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）...
1． JDBC Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中. 1.1．从MySQ ...
在C++中加载TorchScript模型
在C++中加载TorchScript模型本教程已更新为可与PyTorch 1.2一起使用顾名思义,PyTorch的主要接口是Python编程语言.尽管Python是合适于许多需要动态性和易于迭代的 ...
xBIM 实战01 在浏览器中加载IFC模型文件
系列目录 [已更新最新开发文章,点击查看详细] 一.创建Web项目打开VS,新建Web项目,选择 .NET Framework 4.5 选择一个空的项目新建完成后,项目结构如下: 二.添 ...
Spring中加载xml配置文件的六种方式
Spring中加载xml配置文件的六种方式博客分类: Spring&EJB XMLSpringWebBeanBlog 因为目前正在从事一个项目,项目中一个需求就是所有的功能都是插件的形式装 ...
如何在Author中加载SDE栅格图层?
如何在Author中加载SDE栅格图层? 版本: ArcIMS 9.1 在Author中加载SDE栅格图层,并保存AXL文件. 过程描述 1.使用ArcIMS Author工具正常的连接ArcSDE ...
如何找出R中加载的软件包版本？
本文翻译自:How to find out which package version is loaded in R? I am in a process of figuring out how to ...
pyharm虚拟环境_手把手教你如何在Pycharm中加载和使用虚拟环境
/1 前言/ 上次小编给大家介绍了Python虚拟环境及其使用和操作教程,没来得及上车的小伙伴,可以戳这个文章进行阅览.这篇文章基于虚拟环境的搭建,也相对比较基础,主要是介绍如何在Pycharm中加载 ...
Activity中加载器的总结
继续总结加载器加载器可以支持在Activity或片段中异步加载数据,加载器具有以下特征: 可用于每个Activity和Fragment: 支持异步加载数据: 监控其数据源并在内容变化时传递新结果: ...

Geospark从Shapefile中加载RDD

Geospark从Shapefile中加载RDD

从Shapefile中加载RDD

查询

1. 使用Envelop查询

2. 使用Geomtery查询

3. 输出查询结果

Geospark从Shapefile中加载RDD相关推荐

最新文章

热门文章