第一步:安装软件
        Spark 1.5.4:wget http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
        Hadoop 2.6.3:wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.3/hadoop-2.6.3.tar.gz
        scala :apt-get install scala
第二步:配置环境变量
        运行/etc/profile
        export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
        export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/BIN:${SCALA_HOME}/bin:${SPARK_HOME}/bin:/home/supermap/program/hadoop-2.6.3/bin:$PATH
        export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
        export SCALA_HOME=/usr/lib/scala/scala-2.11.7
        export PATH=${SCALA_HOME}/bin:$PATH
        export SPARK_HOME=/program/spark-1.5.2-bin-hadoop2.6
        source /etc/profile
第三步:创建镜像
        通过OpenStack管理器依据配置好的虚拟机创建镜像。生成的镜像配置例如以下:     
        镜像概况信息
        ________________________________________
        名称        spark-hadoop
        ID            61055db5-598b-4f1a-98fa-d2cbbf305d0c
        状态        Active
        公有        False
        受保护的        False
        校验和        47acf7993101713aee17764802602941
        ________________________________________
        配置               4.4 GB
        容器格式        BARE
        磁盘格式        QCOW2
        最小磁盘        60.0GB

第四步:创建虚拟机
        基于创建的镜像,生成2台虚拟机,加上最開始用于创建镜像的1台,一共3台虚拟主机。名称分别为:
        spark_hadoop_master
        spark_hadoop_slave1
        spark_hadoop_slave2
        以下就能够開始做与创建Spark集群相关的操作了。
第五步:设置主机名
        1.在/etc/hostname中就改主机名,分别设置三台主机为master、slave1、slave2,并重新启动
         


        2.重新启动之后,分别设置三个节点etc/hosts,指定ip和主机名的相应关系。
        
        通过測试root@master:~# ssh slave1,在输入root用户password后能够登录。
第六步:改动ssh无password訪问
        首先开启root用户訪问权限
        1. 改动/etc/ssh/sshd-config文件。设置例如以下:
        2. PermitRootLogin yes
        3. PubkeyAuthentication yes
        4. PasswordAuthentication yes
        又一次启动ssh服务:service ssh restart
        再进行例如以下測试,能够免输入password登录了。
        
第七步:配置Spark集群
        进入Spark的conf文件夹:
        

把spark-env.sh.template拷贝为spark-env.sh
        把slaves.template拷贝为slaves

vim打开spark-env.sh改动当中的内容。增加下面设置

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
        export SPARK_MASTER_IP=192.168.12.154
        export SPARK_WORKER_MEMORY=4g
        export SCALA_HOME=/usr/lib/scala/scala-2.11.7
        export HADOOP_CONF_DIR=/home/supermap/program/hadoop-2.6.3/etc/hadoop

SPARK_WORKER_MEMORY:制定的Worker节点可以最大分配给Excutors的内存大小,因为配置的虚拟机是4g内存,为了最大限度使用内存,这里设置4G。
        接下来配置slaves文件,把Workers节点都加入进去:
        
        这样的配置把master也作为一个Worker节点。

以上配置在master和slave1。slave2节点都做同样处理。

第八步:启动集群
        这里測试没有启动Hadoop集群。仅仅须要Spark集群进行启动就可以,在Spark文件夹下,执行sbin/start-all.sh就可以启动集群服务。


        最后通过訪问spark管理页面查看服务状态
        

GIS+=地理信息+云计算技术——Spark集群部署相关推荐

  1. Hadoop+Spark 集群部署

    研究了几天 Hadoop+Spark 集群部署,虽然现在还是有点不懂(一脸懵B),想写下自己的总结,日后有新的发现再补充. 我安装时候的参考教程: http://www.powerxing.com/i ...

  2. 实现Spark集群部署 这些公司都经历了什么?

    咨询公司获得了客户关于Spark评价的 "实质性"调查.但这项技术尚未成熟,企业用户中关于Spark集群的产品相对较少.他说,"我们对这项技术很感兴趣,Spark是否转化 ...

  3. Spark集群部署(standLone)模式

      安装部署: 1. 配置spark为1个master,2个slave的独立集群(Standlone)模式, 可以在VMWare中构建3台运行Ubuntu的机器作为服务器: master主机配置如下: ...

  4. 利用CDH进行spark集群部署

    1. 规划: master: brain01 worker: brain02.brain03.brain04 2. 准备工作: 2.1 安装Java 1.7 2.2 设置主机名,编辑/etc/host ...

  5. p2p 文件服务器集群,基于云计算P2P流媒体服务器集群部署算法.doc

    基于云计算P2P流媒体服务器集群部署算法 基于云计算P2P流媒体服务器集群部署算法 摘 要: 针对云计算数据中心网络(DCN)环境下,P2P流媒体服务器集群部署引起的较高带宽占用问题,提出了一种基于云 ...

  6. p2p 文件服务器集群,基于云计算的P2P流媒体服务器集群部署算法.doc

    基于云计算的P2P流媒体服务器集群部署算法.doc 基于云计算的P2P流媒体服务器集群部署算法 摘 要: 针对云计算数据中心网络(DCN)环境下,P2P流媒体服务器集群部署引起的较高带宽占用问题,提出 ...

  7. Spark集群基于Zookeeper的HA搭建部署笔记(转)

    原文链接:Spark集群基于Zookeeper的HA搭建部署笔记 1.环境介绍 (1)操作系统RHEL6.2-64 (2)两个节点:spark1(192.168.232.147),spark2(192 ...

  8. 使用docker安装部署Spark集群来训练CNN(含Python实例)

    使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需 ...

  9. Spark集群完全分布式安装部署

    Spark集群完全分布式安装部署 下载安装 配置Spark 1spark-envsh配置 2slaves配置 3profile配置 复制到其他节点 测试 总结 Spark集群完全分布式安装部署 本文中 ...

最新文章

  1. linux cp sync,通过SSH使用Rsync传输文件,复制和同步文件及目录
  2. python – IOError:[Errno 28] pip install 设备上没有空间
  3. 【LeetCode】-- 260. Single Number III
  4. PHP内核探索之变量(4)- 数组操作
  5. 2016网易实习生编程题:n个骰子的和等于m
  6. jquery 手型 鼠标穿过时_JS实现的鼠标跟随代码(卡通手型点击效果)
  7. 自动化测试工具selenium python_自动化测试工具之Selenium(一)-----Selenium的介绍以及安装...
  8. 空间数据引擎oracle_GIS 与Oracle 数据库空间数据格式的转换
  9. 图片马赛克去除工具_图片太多该如何进行排版呢?
  10. jQuery框架学习第六天:jQuery中的Ajax应用
  11. 2022-2027年中国洗面奶市场规模现状及投资规划建议报告
  12. 关于单向散列hash函数破解 彩虹表的简单理解
  13. cousera课程 Introduction to Programming with MATLAB 范德堡大学 作业1
  14. 【SEO网络推广】会被百度K站的原因
  15. 点击右键计算机属性弹出任务管理器,win10查看内存条型号的步骤
  16. win10停止更新_win10电脑更新不动的解决方案
  17. 支付宝信用卡还款攻略:这样操作仍可以免手续费!
  18. 翻译|《Word Power Made Easy》(vii~xii)
  19. 金蝶EAS补丁部署操作步骤
  20. 小学生图解排序算法:③直接插入排序

热门文章

  1. 【IT笔试面试题整理】不用加减乘除做加法
  2. IDEA常用和实用配置以及各种必要插件
  3. JavaScript 中的有限状态机
  4. Linux下HOOK动态链接库中API的方法
  5. Windows7上使用VS2013编译Caffe源码(不带GPU支持)步骤
  6. 【Qt】获取本地IP(IPv4)
  7. 【C++】模板函数的声明和定义必须在同一个文件中
  8. Ruby Metaprogramming
  9. 计算机学win7画图,Win7系统自带画图工具如何打开?win7打开画图工具教程
  10. win10服务器权限修改时间,win10系统修改时间显示没权限的解决方案