Spark运行模式Standalone 模式
Standalone 模式
Standalone 模式概述
standalone n. 脱机; adj. 单独的,独立的;
local 本地模式毕竟只是用来进行练习演示的,真实工作中还是要将应用提交到对应的集群中去执行
所在开发中使用 Spark 自身节点运行的集群模式,也就是我们所谓的独立部署(Standalone)模式。
Spark 的 Standalone 模式体现了经典的master-slave 模式。
独立部署(Standalone)模式 = 主从
集群规划:
集群部署
》1 解压缩文件
将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到Linux 并解压缩在指定位置
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module
mv spark-3.0.0-bin-hadoop3.2 spark-standalone
》2 修改配置文件
1)进入解压缩后路径的 conf 目录
cd /opt/module/spark-standalone/conf
修改 slaves.template 文件名为 slaves
mv slaves.template slaves
2)修改 slaves 文件,添加work 节点
hadoop102
hadoop103
hadoop104
3)修改 spark-env.sh.template 文件名为 spark-env.sh
mv spark-env.sh.template spark-env.sh
4)修改 spark-env.sh 文件,添加 JAVA_HOME 环境变量和集群对应的 master 节点
export JAVA_HOME=/opt/module/jdk1.8.0_144
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077
注意:7077 端口,相当于 hadoop 部通信的 8020 端口,此处的端口需要确认自己的 Hadoop
配置
5)分发 spark-standalone 目录
Mysync spark-standalone
》 3启动集群
1)执行脚本命令:
sbin/start-all.sh
2)查看三台服务器运行进程
================hadoop102================
3330 Jps
3238 Worker
3163 Master
================hadoop103================
2966 Jps
2908 Worker
================hadoop104================
2978 Worker
3036 Jps
3)查看 Master 资源监控Web UI 界面:
http://hadoop102:8080
提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
1)–class 表示要执行程序的主类
2)–master spark://hadoop102:7077 独立部署模式,连接到Spark 集群
3)spark-examples_2.12-3.0.0.jar 运行类所在的 jar 包
4)数字 10 表示程序的入口参数,用于设定当前应用的任务数量
执行任务时,会产生多个 Java 进程
[dev1@hadoop102 ~]$ jps
2400 Worker
2338 Master
3050 SparkSubmit
3164 Jps
3117 CoarseGrainedExecutorBackend
执行任务时,默认采用服务器集群节点的总核数,每个节点内存 1024M。
》 5提交参数说明
在提交应用中,一般会同时一些提交参数
bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
配置历史服务
由于 spark-shell 停止掉后,集群监控 hadoop102:4040 页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。
1)修改 spark-defaults.conf.template 文件名为 spark-defaults.conf
mv spark-defaults.conf.template spark-defaults.conf
2)修改 spark-default.conf 文件,配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:9000/directory
注意:需要启动 hadoop 集群,HDFS 上的directory 目录需要提前存在。
sbin/start-dfs.sh
hadoop fs -mkdir /directory
3)修改 spark-env.sh 文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory
-Dspark.history.retainedApplications=30"
- 参数 1 含义:WEB UI 访问的端口号为 18080
- 参数 2 含义:指定历史服务器日志存储路径
- 参数 3 含义:指定保存Application 历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。
4)分发配置文件
Mysync conf
5)重新启动集群和历史服务
sbin/start-all.sh
sbin/start-history-server.sh
6)重新执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
7)查看历史服务:http://hadoop102:18080
配置高可用( HA)
所谓的高可用是因为当前集群中的 Master 节点只有一个,所以会存在单点故障问题。所以为了解决单点故障问题,需要在集群中配置多个 Master 节点,一旦处于活动状态的 Master 发生故障时,由备用 Master 提供服务,保证作业可以继续执行。这里的高可用一般采用Zookeeper 设置
集群规划:
1)停止集群
sbin/stop-all.sh
2)启动Zookeeper(hadoop102,hadoop103,hadoop104)
zkServer.sh start
3)修改 spark-env.sh 文件添加如下配置
注释如下内容 :
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077
添加如下内容:
#Master 监控页面默认访问端口为 8080,但是可能会和 Zookeeper 冲突,所以改成 8989,也可以自定义,访问 UI 监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104
-Dspark.deploy.zookeeper.dir=/spark"
4)分发配置文件
Mysync conf/
5)启动集群
sbin/start-all.sh
6)启动 hadoop103 的单独 Master 节点,此时 hadoop103 节点 Master 状态处于备用状态
sbin/start-master.sh
7)提交应用到高可用集群
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
8)停止 hadoop102 的 Master 资源监控进程
kill -9 进程号
9)查看 hadoop103 的 Master 资源监控Web UI,稍等一段时间后,hadoop103 节点的 Master 状态提升为活动状态
Spark运行模式Standalone 模式相关推荐
- Spark环境搭建Standalone模式
2.4 Standalone模式 在Standalon模式中,Spark集群由Master节点和Worker节点构成,使用内置的Standalon框架进行资源管理.Spark程序通过与Master节 ...
- Spark学习之standalone模式部署实战
Standalone模式部署实战 spark有好几种运行模式,本次我们来挑一种standalone模式来操作一下,就是spark独自包揽除了存储文件操作之外的所有操作,包括集群管理,任务调度,程序计算 ...
- 安装部署Spark 1.x Standalone模式集群
Configuration spark-env.sh HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop ...
- 深入理解Spark 2.1 Core (五):Standalone模式运行的原理与源码分析
概述 前几篇博文都在介绍Spark的调度,这篇博文我们从更加宏观的调度看Spark,讲讲Spark的部署模式.Spark部署模式分以下几种: local 模式 local-cluster 模式 Sta ...
- Spark运行模式(local standalond,yarn-client,yarn-cluster,mesos-client,mesos-cluster)
spark部署在单台机器上面时,可以使用本地模式(Local)运行:当部署在分布式集群上面的时候,可以根据自己的情况选择Standalone模式(Spark自带的模式).YARN-Client模式或者 ...
- 第三章 Spark运行模式及原理
第三章 Spark运行模式及原理 目录 Spark运行模式概述 Local模式 Standalone模式 Local cluster模式 Mesos模式 YARN standalone/YARN cl ...
- Spark基础学习笔记05:搭建Spark Standalone模式的集群
文章目录 零.本讲学习目标 一.Spark集群拓扑 (一)集群拓扑 (二)集群角色分配 二.搭建集群 (一)私有云上创建三台虚拟机 (二)利用SecureCRT登录三台虚拟机 1.登录master虚拟 ...
- Spark集群环境搭建(standalone模式)
Spark集群环境搭建(standalone模式) 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称) ...
- Spark入门实战系列--4.Spark运行架构
注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 1. Spark运行架构 1.1 术语定义 lApplication:Spark Applic ...
最新文章
- java内部类人打电话依赖手机_Java内部类及反射类面试问题,90%的人都不知道
- 抓豆瓣的电影评论数据
- Python list 操作
- MySQL Schema设计(三)利用Python操作Schema
- 工业用微型计算机笔记(3)-存储单位与基本组成
- vue 导入excel解析_【Vue 笔记】Vue 读取excel数据并生成数组
- Windows Server 2008关闭默认windows共享
- jvm(3)-垃圾收集器与内存分配策略
- java ndc_通过slf4j/log4j的MDC/NDC 实现日志追踪
- android webviewclient 点击事件,Android Api WebViewClient 详细解析
- Window下JDK、Tomcat、eclipse安装与配置
- 计算当前时间往加N天后的时间,Date,SimpleDateFormat,Calendar
- Spring.Net配置多数据源
- P3194 [HNOI2008]水平可见直线
- 实现ls -l功能 和目录实现
- 简单的三步教你下载PyCharm汉化插件,让你学习Python事功半倍
- [渝粤教育] 南京师范大学 会计学基础 参考 资料
- w10用的c语言编译软件,STVP STM8 COSMIC C编译器在WIN10上的安装使用
- c语言计算二元一次不定方程,二元一次不定方程的解
- 酒店标识的要求不同其设计也不同