Spark集群完全分布式安装部署
- Spark集群完全分布式安装部署
- 下载安装
- 配置Spark
- 1spark-envsh配置
- 2slaves配置
- 3profile配置
- 复制到其他节点
- 测试
- 总结
Spark集群完全分布式安装部署
本文中所提到的Spark集群所用的系统环境是Centos6.5,共4个节点,前提是Hadoop、JDK都已经安装配置好了,操作都是在hadoop用户下进行(要保证spark安装目录的所属是hadoop用户,权限也要开放,在Hadoop配置的文章中提到过用chown和chmod命令进行设置,请回看 Hadoop全分布集群搭建(3)——Hadoop安装与配置)。
节点情况在Hadoop全分布集群搭建(1)——设置主机名与域名解析中有介绍,如下:
节点名称 | hostName | IP地址 |
---|---|---|
Master | Master | 192.168. 101.42 |
Slave1 | Slave1 | 192.168. 101.40 |
Slave2 | Slave2 | 192.168. 101.41 |
Slave3 | Slave3 | 192.168. 101.43 |
1.下载安装
从官网http://spark.apache.org/downloads.html下载压缩包,由于我的Hadoop版本是2.6.0,所以我们对应下载Pre-built for Hadoop 2.6 and later版本的spark-1.6.1的tgz包,下载后解压,重命名为spark-1.6.1,并复制到/usr/soft目录下。
2.配置Spark
2.1spark-env.sh配置
进入/usr/soft/spark-1.6.1/conf目录下,复制一个spark-env.sh.template的副本,命名为spark-env.sh,编辑该文件,再文件最后加上下面的语句:
#JAVA_HOME
export JAVA_HOME=/usr/soft/jdk
#Hadoop_HOME
export HADOOP_HOME=/usr/soft/hadoop-2.6.0
#Scala_HOME
export SCALA_HOME=/usr/soft/scala-2.12.0
#Spark_HOME
export SPARK_HOME=/usr/soft/spark-1.6.1
export HADOOP_CONF_DIR=/usr/soft/hadoop-2.6.0
export SPARK_MASTER_IP=Master #Master的IP,Master代表了192.168.101.142,只是用了它的hostname
export SPARK_WORKER_MEMORY=1g #内存
export SPARK_WORKER_CORES=2 #cpus核心数
export SPARK_JAR=/usr/soft/spark-1.6.1/lib/spark-assembly-1.6.1-hadoop2.6.0.jar
export SPARK_DIST_CLASSPATH=$(/usr/soft/hadoop-2.6.0/bin/hadoop classpath)
2.2slaves配置
conf同目录下,赋值slaves.template文件的副本,命名为slaves,编辑,在最后添加如下内容:
Master #表示Master既是Master,也是Worker
Slave1
Slave2
Slave3
2.3profile配置
执行命令
vim /etc/profile #编辑/etc/profile文件
添加环境变量如下:
#Spark环境变量
export SPARK_HOME=/usr/BigData/spark-1.6.0
#在Path中加入Spark的路径
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
3.复制到其他节点
我们在Master节点上安装配置完成Spark后,将整个spark-1.6.1目录拷贝到其他节点,并在各个节点上更改/etc/profile文件中的环境变量即可。(可能需要root用户)
4.测试
在Master节点启动集群
/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh
- 1
完成之后,Master节点上用jps命令可以看到,多了Master与Worker,Slave节点上多了Worker。也可以打开浏览器输入Master:8080,看到如下活动的Workers,证明安装配置并启动成功
5.总结
如果没有启动成功,记得去看spark安装目录下logs目录中的日志文件,看是哪里出了错,网络问题、端口占用或者未开放、配置文件配置出错,防火墙拦截等等可能的情况,需要再去琢磨一下了。
Spark集群完全分布式安装部署相关推荐
- K8S集群应用市场安装部署:第一篇
这里是引用 操作系统要求 服务器配置信息 基础环境部署 3.1. NTP时钟源同步 3.2. 关闭firewalld服务 3.3. 关闭SElinux服务 3.4. 系统调优配置 3.5. 开启IP转 ...
- Spark学习之路 (二)Spark2.3 HA集群的分布式安装
<2021年最新版大数据面试题全面开启更新> 欢迎关注github<大数据成神之路> 目录 一.下载Spark安装包 1.从官网下载 2.从微软的镜像站下载 3.从清华的镜像站 ...
- zookeeper集群伪分布式安装测试-windows
1.安装jdk 2. 安装Zookeeper. 在官网http://zookeeper.apache.org/下载zookeeper.我下载的是zookeeper-3.4.13版本. ...
- Spark笔记整理(一):spark单机安装部署、分布式集群与HA安装部署+spark源码编译...
[TOC] spark单机安装部署 1.安装scala 解压:tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名:mv scala-2.10.5/ scala 配置 ...
- ansible安装部署CDH集群,与手动安装部署CDH集群,及CM配置和用户权限配置
前言 CDH大数据平台 CDH是Cloudera发布的一个自己封装的Hadoop商业版软件发行包,里面不仅包含了Cloudera的商业版Hadoop,能够十分方便地对Hadoop集群进行安装,部署和管 ...
- window安装python3后怎么用pyspark_pyspark:连接spark集群Windows环境搭建
软件 1.anaconda(python3.6) 2.spark-2.4.3-bin-hadoop2.7(spark版本要和集群上的一样) 3.JDK1.8 python环境配置 pip instal ...
- Mac M1搭建hadoop+spark集群教程
最近一直在搞Mac虚拟机,尝试了parallel.vmware.utm,感觉效果都不是很好,踩了了很多很多坑,parallel破解直接劝退我,并且也不是很稳定:wmware for m1刚开始装了一次 ...
- 使用docker安装部署Spark集群来训练CNN(含Python实例)
使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需 ...
- Storm 04_Storm单机模式搭建完全分布式安装部署集群drpc
一.环境要求 JDK 1.6+ java -version Python 2.6.6+ python -V ZooKeeper3.4.5+ storm 0.9.4+ ----------------- ...
最新文章
- Spring Cloud Greenwich版本已发布!
- 实验室管理好助手——Bio-lab
- Mac系统兼容软件 CrossOver 试用到期了怎么办
- PL/SQL-2 复合数据类型
- java web 模型,从零构建轻量级Java Web框架
- WHYZOJ-#60 工资(二分)
- 【APICloud系列|38】 微信登录分享、QQ登录分享实现方法
- 小米手机将终结卡顿?未来所有机型将升级新MIUI
- 令人郁闷的DateTime.ToString()方法
- IF Exists在Oracle中怎么用?
- PKU 2528 POJ 2528 Mayor's posters ( 线段树+离散化 ) ACM 2528 IN PKU
- JavaScript 如何求两个数的最小公倍数
- DNA 测序技术的发展:第三代测序法
- 微信小程序地图定位开发教程
- 一张图看懂offsetX, clientX, pageX, screenX的区别
- DHCP的原理与配置
- Ripple(瑞波) JavaScript(node.js) 客户端接口库RippleAPI
- altera DCFIFO IP核 功能仿真
- 活动延期 | Triton Meetup 2022
- ac3165无线网卡驱动linux,Linux下无法识别Intel Dual Band Wireless-AC 3165模块
热门文章
- NestedScrolling机制
- 左侧固定 右侧自适应三种方法
- Facebook也大干新闻聚合 “新闻快读”向所有媒体开放
- 线段树 洛谷 p1531 I hate it(I hate it too)
- PLSQL_性能优化系列10_Oracle Array数据组优化
- OpenscenGraph中控制swapbuffer的方法(用于多机大屏幕同步显示机制)
- 显示播客信息-bloginfo() 函数
- nginx反向代理配置实例分享
- jQuery css
- Unix整理笔记——安全性——里程碑M13