Spark 安装部署(Local+Standalone+Yarn等)
概述
Spark作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我们就分别看看不同环境下Spark的运行
下载地址:http://spark.apache.org/downloads.html
一、Local模式
想啥呢,你之前一直在使用的模式可不是Local模式哟。所谓的Local模式,就是不需要其他任何节点资源就可以在本地执行Spark代码的环境,一般用于教学,调试,演示等,之前在IDEA中运行代码的环境我们称之为开发环境,不太一样。
1.1 解压缩文件
将spark-3.0.0-bin-hadoop3.2.tgz
文件上传到Linux并解压缩,放置在指定位置,路径中不要包含中文或空格,课件后续如果涉及到解压缩操作,不再强调。
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module
mv spark-3.0.0-bin-hadoop3.2 spark-local
1.2 启动Local环境
- 进入解压缩后的路径,执行如下指令
bin/spark-shell
2) 启动成功后,可以输入网址进行Web UI监控页面访问
http://虚拟机地址:4040
1.3 命令行工具
在解压缩文件夹下的data目录中,添加word.txt文件。在命令行工具中执行如下代码指令(和IDEA中代码简化版一致)
sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
1.4 退出本地模式
按键Ctrl+C或输入Scala指令
:quit
1.5 提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
--class
表示要执行程序的主类,此处可以更换为咱们自己写的应用程序--master local[2]
部署模式,默认为本地模式,数字表示分配的虚拟CPU核数量,*代表使用本机的最大核数spark-examples_2.12-3.0.0.jar
运行的应用类所在的jar包,实际使用时,可以设定为咱们自己打的jar包- 数字
10
表示程序的入口参数,用于设定当前应用的任务数量
二、Standalone模式
local本地模式毕竟只是用来进行练习演示的,真实工作中还是要将应用提交到对应的集群中去执行,这里我们来看看只使用Spark自身节点运行的集群模式,也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave
模式。
集群规划:
Linux1 | Linux2 | Linux3 | |
---|---|---|---|
Spark | Worker Master | Worker | Worker |
2.1 解压缩文件
将spark-3.0.0-bin-hadoop3.2.tgz
文件上传到Linux并解压缩在指定位置
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module
mv spark-3.0.0-bin-hadoop3.2 spark-standalone
2.2 修改配置文件
- 进入解压缩后路径的
conf
目录,修改slaves.template
文件名为slaves
mv slaves.template slaves
- 修改slaves文件,添加worker节点
linux1
linux2
linux3
- 修改
spark-env.sh.template
文件名为spark-env.sh
mv spark-env.sh.template spark-env.sh
- 修改
spark-env.sh
文件,添加JAVA_HOME
环境变量和集群对应的master
节点
export JAVA_HOME=/opt/module/jdk1.8.0_144
SPARK_MASTER_HOST=linux1
SPARK_MASTER_PORT=7077
注意:7077端口,相当于hadoop3内部通信的8020端口,此处的端口需要确认自己的Hadoop配置
- 分发spark-standalone目录
xsync spark-standalone
2.3 启动集群
- 执行脚本命令:
sbin/start-all.sh
- 查看三台服务器运行进程
================linux1================
3330 Jps
3238 Worker
3163 Master
================linux2================
2966 Jps
2908 Worker
================linux3================
2978 Worker
3036 Jps
- 查看Master资源监控Web UI界面:http://linux1:8080
2.4 提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://linux1:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
--class
表示要执行程序的主类--master spark://linux1:7077
独立部署模式,连接到Spark集群spark-examples_2.12-3.0.0.jar
运行类所在的jar包- 数字
10
表示程序的入口参数,用于设定当前应用的任务数量
执行任务时,会产生多个Java进程
执行任务时,默认采用服务器集群节点的总核数,每个节点内存1024M。
2.5 提交参数说明
在提交应用中,一般会同时一些提交参数
bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
参数 | 解释 | 可选值举例 |
---|---|---|
–class | Spark程序中包含主函数的类 | |
–master | Spark程序运行的模式(环境) | 模式:local[*]、spark://linux1:7077、Yarn |
–executor-memory 1G | 指定每个executor可用内存为1G | |
–total-executor-cores 2 | 指定所有executor使用的cpu核数为2个 | |
–executor-cores | 指定每个executor使用的cpu核数 | |
application-jar | 打包好的应用jar,包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统,如果是file:// path,那么所有的节点的path都包含同样的jar | |
application-arguments | 传给main()方法的参数 |
2.6 配置历史服务
由于spark-shell停止掉后,集群监控linux1:4040页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。
- 修改
spark-defaults.conf.template
文件名为spark-defaults.conf
mv spark-defaults.conf.template spark-defaults.conf
- 修改
spark-default.conf
文件,配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://linux1:8020/directory
注意:需要启动hadoop集群,HDFS上的directory目录需要提前存在。
sbin/start-dfs.sh
hadoop fs -mkdir /directory
- 修改
spark-env.sh
文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://linux1:8020/directory
-Dspark.history.retainedApplications=30"
- 参数1含义:WEB UI访问的端口号为18080
- 参数2含义:指定历史服务器日志存储路径
- 参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。
- 分发配置文件
xsync conf
- 重新启动集群和历史服务
sbin/start-all.sh
sbin/start-history-server.sh
- 重新执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://linux1:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
7) 查看历史服务:http://linux1:18080
2.7 配置高可用(HA)
所谓的高可用是因为当前集群中的Master节点只有一个,所以会存在单点故障问题。所以为了解决单点故障问题,需要在集群中配置多个Master节点,一旦处于活动状态的Master发生故障时,由备用Master提供服务,保证作业可以继续执行。这里的高可用一般采用Zookeeper
设置
集群规划:
Linux1 | Linux2 | Linux3 | |
---|---|---|---|
Spark | Master Zookeeper Worker | Master Zookeeper | Worker Zookeepe rWorker |
- 停止集群
sbin/stop-all.sh
- 启动Zookeeper
xstart zk
- 修改spark-env.sh文件添加如下配置
注释如下内容:
#SPARK_MASTER_HOST=linux1
#SPARK_MASTER_PORT=7077
添加如下内容:
#Master监控页面默认访问端口为8080,但是可能会和Zookeeper冲突,所以改成8989,也可以自定义,访问UI监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=linux1,linux2,linux3
-Dspark.deploy.zookeeper.dir=/spark"
- 分发配置文件
xsync conf/
- 启动集群
sbin/start-all.sh
- 启动linux2的单独Master节点,此时linux2节点Master状态处于备用状态
[root@linux2 spark-standalone] sbin/start-master.sh
- 提交应用到高可用集群
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://linux1:7077,linux2:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
- 停止linux1的Master资源监控进程
- 查看linux2的Master 资源监控Web UI,稍等一段时间后,linux2节点的Master状态提升为活动状态
三、Yarn模式
独立部署(Standalone)模式由Spark自身提供计算资源,无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。但是你也要记住,Spark主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的Yarn环境下Spark是如何工作的(其实是因为在国内工作中,Yarn使用的非常多)。
3.1 解压缩文件
将spark-3.0.0-bin-hadoop3.2.tgz
文件上传到linux并解压缩,放置在指定位置。
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module
mv spark-3.0.0-bin-hadoop3.2 spark-yarn
3.2 修改配置文件
- 修改hadoop配置文件
/opt/module/hadoop/etc/hadoop/yarn-site.xml
, 并分发
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value>
</property><!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
- 修改
conf/spark-env.sh
,添加JAVA_HOME
和YARN_CONF_DIR
配置
mv spark-env.sh.template spark-env.sh
。。。
export JAVA_HOME=/opt/module/jdk1.8.0_144
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop
3.3 启动HDFS以及YARN集群
3.4 提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
查看http://linux2:8088页面,点击History,查看历史页面
3.5 配置历史服务器
- 修改spark-defaults.conf.template文件名为spark-defaults.conf
mv spark-defaults.conf.template spark-defaults.conf
- 修改spark-default.conf文件,配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://linux1:8020/directory
注意:需要启动hadoop集群,HDFS上的目录需要提前存在。
[root@linux1 hadoop] sbin/start-dfs.sh
[root@linux1 hadoop] hadoop fs -mkdir /directory
- 修改spark-env.sh文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://linux1:8020/directory
-Dspark.history.retainedApplications=30"
- 参数1含义:WEB UI访问的端口号为18080
- 参数2含义:指定历史服务器日志存储路径
- 参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。
- 修改spark-defaults.conf
spark.yarn.historyServer.address=linux1:18080
spark.history.ui.port=18080
- 启动历史服务
sbin/start-history-server.sh
- 重新提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
- Web页面查看日志:http://linux2:8088
四、K8S & Mesos模式
Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核,在Twitter得到广泛使用,管理着Twitter超过30,0000台服务器上的应用部署,但是在国内,依然使用着传统的Hadoop大数据框架,所以国内使用Mesos框架的并不多,但是原理其实都差不多,这里我们就不做过多讲解了。
容器化部署是目前业界很流行的一项技术,基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes(k8s),而Spark也在最近的版本中支持了k8s部署模式。这里我们也不做过多的讲解。给个链接大家自己感受一下:https://spark.apache.org/docs/latest/running-on-kubernetes.html
五、Windows模式
在同学们自己学习时,每次都需要启动虚拟机,启动集群,这是一个比较繁琐的过程,并且会占大量的系统资源,导致系统执行变慢,不仅仅影响学习效果,也影响学习进度,Spark非常暖心地提供了可以在windows系统下启动本地集群的方式,这样,在不使用虚拟机的情况下,也能学习Spark的基本使用。
5.1 解压缩文件
将文件spark-3.0.0-bin-hadoop3.2.tgz
解压缩到无中文无空格的路径中
5.2 启动本地环境
- 执行解压缩文件路径下
bin
目录中的spark-shell.cmd
文件,启动Spark本地环境
- 在bin目录中创建input目录,并添加word.txt文件, 在命令行中输入脚本代码
5.3 命令行提交应用
在DOS命令行窗口中执行提交指令
spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.0.0.jar 10
六、 部署模式对比
模式 | Spark安装机器数 | 需启动的进程 | 所属者 | 应用场景 |
---|---|---|---|---|
Local | 1 | 无 | Spark | 测试 |
Standalone | 3 | Master及Worker | Spark | 单独部署 |
Yarn | 1 | Yarn及HDFS | Hadoop | 混合部署 |
七、端口号
- Spark查看当前Spark-shell运行任务情况端口号:4040(计算)
- Spark Master内部通信服务端口号:7077
- Standalone模式下,Spark Master Web端口号:8080(资源)
- Spark历史服务器端口号:18080
- Hadoop YARN任务运行情况查看端口号:8088
Spark 安装部署(Local+Standalone+Yarn等)相关推荐
- Spark运行模式Local+Standalone+Yarn+mesos
Spark运行模式Local+Standalone+Yarn+mesos bin/spark-submit --help 注意: --master MASTER_URL spark://host:po ...
- 2021年大数据Flink(三):Flink安装部署 Local本地模式
目录 Flink安装部署 Local本地模式 原理 操作 测试 Flink安装部署 Flink支持多种安装模式 - Local-本地单机模式,学习测试时使用 - Standalone-独立集群模式,F ...
- hadoop+zookeeper+Hbase+spark安装部署总结
hadoop+zookeeper+Hbase+spark安装部署总结 主要参考:https://blog.csdn.net/sunxiaoju/article/details/85918135 计算机 ...
- 详解Spark运行模式(local+standalone+yarn)
一.简述 Spark 有多种运行模式: 1.可以运行在一台机器上,称为 Local(本地)运行模式. 2.可以使用 Spark 自带的资源调度系统,称为 Standalone 模式. 3.可以使用 Y ...
- Spark 安装部署与快速上手
核心概念 Spark 是 UC Berkeley AMP lab 开发的一个集群计算的框架,类似于 Hadoop,但有很多的区别. 最大的优化是让计算任务的中间结果可以存储在内存中,不需要每次都写入 ...
- spark 安装部署与介绍
spark spark 概述 一. spark和hadoop 二. 应用常景和解决 生态系统组件 应用场景 Spark执行任务流程图 三. Spark安装 四. Spark部署模式 1.单机本地模式( ...
- Spark(一)-- Standalone HA的部署
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/45629643 首先交代一下集群的规模和配 ...
- 2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)
文章目录 引言 相关教程直通车: day01_Flink概述.安装部署和入门案例 今日目标 Flink概述 什么是批处理和流处理 为什么需要流计算 Flink的发展史 Flink的官方介绍 Flink ...
- 安装部署(七) HBase集群安装部署与测试
HBase集群安装部署与测试 Hadoop 2.7.2 Spark 2.0.0 Kafka 0.10.0.0 HBase 1.2.2 Zookeeper 3.4.8 参考: http://www.t ...
最新文章
- spring上下文是什么意思_Java程序员只会CRUD连Spring事务传播机制都不懂?
- 实验楼 “python3简明教程” 挑战三:玩转函数
- shiro session 设置取不到_SpringCloud+shiro+前后端分离
- 【Git】git add -A = git add . + git add -u
- 哥谈的是语言,不是寂寞
- C ++ 数组 | 多维数组(MultiDimensional Arrays)_2
- mysql必会语法_sql语法:sql必读必会(二)mysql中的函数大全
- 【绘图】matlab 绘制窗口分布
- 对数组操作[:,:4]
- matpower常用标准算例
- 能源管理系统—能源在线监测平台搭建
- python xlrd读取excel慢_与xlrd相比,使用openpyxl读取Excel文件要慢很多
- 计算机毕业设计Python+Django的医院排队叫号系统(源码+系统+mysql数据库+Lw文档)
- 如何制作生成GIF?手把手教你生成GIF动态图
- Markdownpad2安装注册
- day69 【哈希,HashSet,HashMap】
- 面试题——对称加密和非对称加密
- python代替易语言_基于hook的python机器人,彻底取代itchat
- iphone型号表_iPhone各地区型号对照表.doc
- dw选项卡代码_DW软件新建一个html网页
热门文章
- 【优达学城测评】P3: Wrangle OpenStreetMap Data--Using Beautiful Soup(4)
- 学计算机需要右脑还是左脑,心理学:你第一眼看到的是什么?看出你左脑发达还是右脑发达!...
- 互动直播之WebRTC服务开源技术选型【转】
- 【打工人摸鱼系列】python做皮卡丘桌宠,工作都有效率了呢
- Mahout – Clustering (聚类篇)
- 2022-08-14 SSH 相关命令详解
- 4-多点温度采集模块设计--DS18B20两个字节的16进制温度数转换为温度值
- c#中cookies的存取操作
- SAP SD配置详解之一:销售分销组织结构配置
- ai智能写作软件哪个好?分享这三款好用的软件