现学现用大数据分布式集群环境部署

导读：
随着大数据时代的到来，传统的GIS分析工具越来越难以满足对超大体量空间数据的分析需求。SuperMap iServer 9D（本文简称iServer）实现了地理信息服务的分布式集群架构，它可以利用集群及Spark分布式计算方式，对超大体量的空间数据进行空间分析，亦可接入分布式存储。功能如此强大，您是不是迫不及待想使用？那么，如何快速搭建大数据分布式集群计算环境呢？今天小编就现场演示iServer（内置Spark）集群环境部署全过程，您可快速入手，现学现用。
一．实验环境说明
本文将iServer分别部署在A和B两台PC机上，使用iServer的内置Spark搭建两个计算节点的分布式集群系统。
二．部署流程

1．配置主节点
操作流程如下：启动SuperMap iServer-配置并启动本机Spark集群-添加报告器，报告地址为A机器的集群服务地址，并勾选“报告器是否启用”和“是否分布式分析节点”-启用分布式分析服务。此时在集群概览里可以查看到已启用的集群以及加入到集群中的节点情况。下图为本步骤的操作演示。

2.配置子节点
操作流程如下：启动B机器的SuperMap iServer配置并启动本机Spark集群添加报告器，报告器地址为A机器集群服务地址，并勾选“报告器是否启用”和“是否分布式分析节点”。注意在配置子节点的时候不用启用分布式分析服务。下图为本步骤的操作演示。

3.查看Spark节点
在主节点集群概览中查看集群中的子节点是否已加入集群。还可以通过访问主节点8080端口查看Spark节点是否配置成功，该页面中Workers的数量代表了已加入该集群的Spark节点数量。

4．进行分布式分析
到现在分布式集群部署已经完成了，下面就需要进行一次分布式分析来验证环境是否部署成功。以核密度分析为例，进行大数据分析。

到此整个SuperMap iServer大数据分布式集群环境已经部署成功，是不是很简单呢？大家快试试吧！

现学现用大数据分布式集群环境部署相关推荐

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题
王家林的"云计算分布式大数据Hadoop实战高手之路---从零开始"的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题参考文章: (1)王家林的&quo ...
HBase 1.2.6 完全分布式集群安装部署详细过程
2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境一.环境说明个人理解: zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hado ...
SolrCloud 分布式集群安装部署（solr4.8.1 + zookeeper +tomcat）
SolrCloud 分布式集群安装部署安装软件包准备 · apache-tomcat-7.0.54 · jdk1.7 · solr-4.8.1 · zookeeper-3.4.5 注:以上软件都是基 ...
k8s-大型分布式集群环境捷径部署
转k8s-大型分布式集群环境捷径部署课程介绍 Kubernetes(k8s)一个用于容器集群的自动化部署.扩容以及运维的开源平台.通过Kubernetes,你可以快速有效地响应用户需求;快速而有 ...
kubernetes V1.6.4 分布式集群的部署及service负载均衡
1,kubernetes的基本概念和术语 1.1 kubernetes与微服务的简介最近几年,微服务一词经常被IT的技术界人士提及,简单介绍的话,微服务架构就是将原本单独部署运行的大型软件拆分为一个 ...
分布式集群环境下，如何实现session共享三（环境搭建）
这是分布式集群环境下,如何实现session共享系列的第三篇.在上一篇:分布式集群环境下,如何实现session共享二(项目开发)中,准备好了一个通过原生态的servlet操作session的案例.本 ...
使用VirtualBox搭建分布式集群环境记录
针对集群环境,工作中基本上都是直接申请真实的物理机,或者干脆让运维给一套多机.自己之前个人研究的时候也是使用之前从二手市场淘来的多台物理机组成的分布式集群,但是最近一不小心把其中两台搞坏了,加之确实比 ...
centos 6.4 ceph 分布式集群文件系统部署手记
Centos 6.4 ceph 分布式集群文件系统部署 0, 部署环境 IP ADDR HOSTNAME rule 192.168.1.120 master- ...

现学现用大数据分布式集群环境部署

现学现用大数据分布式集群环境部署相关推荐

最新文章

热门文章