地理空间数据和大数据平台Spark结合能做的事情

Geospatial开发相关的组织、项目和功能：
https://github.com/OSGeo/gdal translator library for raster and vector geospatial data formats

https://github.com/PDAL/PDAL translating and manipulating point cloud data

https://github.com/PointCloudLibrary/pcl standalone, large scale, open project for 2D/3D image and point cloud processing

https://github.com/locationtech/spatial4j Geospatial Library for Java
https://github.com/OpenGeoscience/geojs (Kitware和Booz Allen Hamilton开发)High-performance visualization and interactive data exploration of scientific and geospatial location aware datasets
https://github.com/OpenGeoscience/geonotebook (Kitware和NASA Ames开发)A Jupyter notebook extension for geospatial visualization and analysis
https://github.com/mapnik/mapnik toolkit for developing mapping applications http://mapnik.org
https://github.com/locationtech/geomesa a suite of tools for working with big geo-spatial data in a distributed fashion.
https://github.com/locationtech/geotrellis (DigitalGlobe和Azavea开发，spark summit上展示过)a Scala library and framework that uses Spark to work with raster data.
https://github.com/locationtech/geowave (NGA、DigitalGlobe和Booz Allen Hamilton开发)provides geospatial and temporal indexing on top of Accumulo and HBase
https://github.com/geoserver/geoserver (GPL lisence) server written in Java that allows users to share and edit geospatial data
https://github.com/harsha2010/magellan (Hortonworks和Databricks的工程师开发，在Spark summit上展示过)

功能支持：

基础库，Spark上对栅格和矢量数据分布式并行处理的工具，地理空间和点云数据数据的实时查询，可视化和交互，发布

额外的可视化库资料：

http://leafletjs.com/ 一般地图可视化，有和igraph的接口

http://wandergis.com/leaflet-echarts3/examples/index.html wandergis给出了不同底层地图的展示效果对比

https://www.mapbox.com/ mapbox：为自动驾驶提供高精度地图，vr/ar显示，如Tesla，软银投资。
https://uber.github.io/deck.gl uber: 交通路况可视化，适合大屏显示
https://data.aliyun.com/visual/datav aliyun大屏实时展示
http://www.infoq.com/cn/news/2017/11/datav-11-11 阿里云DataV可视化技术来源、作用和效果对比

http://pixelmap.amcharts.com 在线制作pixel map地图
https://github.com/ngageoint 国际地理空间情报局
http://echarts.baidu.com/ + https://github.com/ecomfe/echarts 百度普通可视化，大屏显示
http://mapv.baidu.com/ 百度地理空间可视化

https://github.com/pa7/heatmap.js 专门做热力图可视化，包含Leaflet Heatmap Layer Plugin。

3D, webgl可视化：
https://threejs.org/ 偏3D, webgl，工程用
https://cesiumjs.org/ 偏地图webgl，3D globe，工程用
https://github.com/AnalyticalGraphicsInc/cesium 和aliyun datav可以对比
http://xplsv.com
http://mrdoob.com

GEOINT协会、杂志和活动信息：
http://www.usgif.org + http://trajectorymagazine.com + http://geoint2017.com/

地理空间数据和大数据平台Spark结合能做的事情相关推荐

青海初步建立旅游大数据平台:让智慧做服务
记者从青海省旅游委获悉,青海省级旅游指挥中心和大数据平台,包括一系统.两中心.三平台,即:大数据分析系统,旅游云数据和应急指挥中心,市场监管和公共服务平台建成上线. 青海省旅发委邀请青海省联通公司信息 ...
离线轻量级大数据平台Spark之MLib机器学习库概念学习
Mlib机器学习库 1.1机器学习概念机器学习有很多定义,倾向于下面这个定义.机器学习是对能通过经验自动改进的计算机算法的研究.机器学习依赖数据经验并评估和优化算法所运行出的模型.机器学习算法尝试根 ...
离线轻量级大数据平台Spark之MLib机器学习协同过滤ALS实例
1.协同过滤协同过滤(Collaborative Filtering,简称CF,WIKI上的定义是:简单来说是利用某个兴趣相投.拥有共同经验之群体的喜好来推荐感兴趣的资讯给使用者,个人透过合作的机制 ...
离线轻量级大数据平台Spark之MLib机器学习库朴素贝叶斯实例
1.朴素贝叶斯介绍表示事件B已经发生的前提下,事件A发生的概率,叫做事件B发生下事件A的条件概率,公式为: 贝叶斯定理: 从已知P(A|B)获得P(B|A)值. 假设A和B代表两类互相影响的事件,如 ...
离线轻量级大数据平台Spark之单机部署及Java开发
1.Spark平台基本介绍 Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and PeopleLab) 开发,可用来构建大型的.低延迟的数据分析应用程 ...
离线轻量级大数据平台Spark之JavaRDD关联join操作
对两个RDD进行关联操作,如: 1)文件post_data.txt包含:post_id\title\content 2)文件train.txt包含:dev_id\post_id\praise\time ...
离线轻量级大数据平台Spark之MLib机器学习库Word2Vec实例
Word2Vecword2vec能将文本中出现的词向量化,可以在捕捉语境信息的同时压缩数据规模.Word2Vec实际上是两种不同的方法:Continuous Bag of Words (CBOW) 和 ...
离线轻量级大数据平台Spark之MLib机器学习库TF-IDF实例
TF-IDF(termfrequency–inverse document frequency)是TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度.字词的 ...
离线轻量级大数据平台Spark之MLib机器学习库线性回归实例
1.线性回归线性回归是利用称为线性回归方程的函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析方法,只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归,在实际情况中大多数都 ...
离线轻量级大数据平台Spark之MLib机器学习库聚类算法KMeans实例
1.KMeans算法所谓聚类问题,就是给定一个元素集合D,其中每个元素具有n个可观察属性,使用某种算法将D划分成k个子集,要求每个子集内部的元素之间相异度尽可能低,而不同子集的元素相异度尽可能高.其 ...

地理空间数据和大数据平台Spark结合能做的事情

地理空间数据和大数据平台Spark结合能做的事情相关推荐

最新文章

热门文章