Spark _16 _SparkUIMaster HA
SparkUI
- SparkUI界面介绍
可以指定提交Application的名称
./spark-shell --master spark://henu1:7077 --name myapp |
- 配置historyServer
- 临时配置,对本次提交的应用程序起作用
./spark-shell --master spark://node1:7077 --name myapp1 --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://node1:9000/spark/test |
停止程序,在Web Ui中Completed Applications对应的ApplicationID中能查看history。
- spark-default.conf配置文件中配置HistoryServer,对所有提交的Application都起作用
在客户端节点,进入../spark-1.6.0/conf/ spark-defaults.conf最后加入:
//开启记录事件日志的功能 spark.eventLog.enabled true //设置事件日志存储的目录 spark.eventLog.dir hdfs://node1:9000/spark/test //设置HistoryServer加载事件日志的位置 spark.history.fs.logDirectory hdfs://node1:9000/spark/test //日志优化选项,压缩日志 spark.eventLog.compress true |
启动HistoryServer:
./start-history-server.sh |
访问HistoryServer:node4:18080,之后所有提交的应用程序运行状况都会被记录。
Master HA
Master的高可用原理
Standalone集群只有一个Master,如果Master挂了就无法提交应用程序,需要给Master进行高可用配置,Master的高可用可以使用fileSystem(文件系统)和zookeeper(分布式协调服务)。
fileSystem只有存储功能,可以存储Master的元数据信息,用fileSystem搭建的Master高可用,在Master失败时,需要我们手动启动另外的备用Master,这种方式不推荐使用。
zookeeper有选举和存储功能,可以存储Master的元素据信息,使用zookeeper搭建的Master高可用,当Master挂掉时,备用的Master会自动切换,推荐使用这种方式搭建Master的HA。
Master高可用搭建
- 在Spark Master节点上配置主Master,配置spark-env.sh
export SPARK_DAEMON_JAVA_OPTS=" -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node3:2181,node4:2181,node5:2181 -Dspark.deploy.zookeeper.dir=/sparkmaster0821" |
- 发送到其他worker节点上
- 找一台节点(非主Master节点)配置备用 Master,修改spark-env.sh配置节点上的MasterIP
- 启动集群之前启动zookeeper集群:
../zkServer.sh start |
- 启动spark Standalone集群,启动备用Master
- 打开主Master和备用Master WebUI页面,观察状态。
注意点
- 主备切换过程中不能提交Application。
- 主备切换过程中不影响已经在集群中运行的Application。因为Spark是粗粒度资源调度。
测试验证
提交SparkPi程序,kill主Master观察现象。
./spark-submit --master spark://node1:7077,node2:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000 |
Spark _16 _SparkUIMaster HA相关推荐
- hadoop和spark主备HA配置说明
hadoop和spark主备HA配置说明 1. 环境说明 集群中包括4个节点:2个Master(主备),2个Salve,节点之间局域网连接,可以相互ping通.节点IP地址分布如下: Hadoop ...
- spark standalone zookeeper HA部署方式
虽然spark master挂掉的几率很低,不过还是被我遇到了一次.以前在spark standalone的文章中也介绍过standalone的ha,现在详细说下部署流程,其实也比较简单. 一.机器 ...
- hadoop和spark HA部署
hadoop和spark主备HA配置说明 1. 环境说明 集群中包括4个节点:2个Master(主备),2个Salve,节点之间局域网连接,可以相互ping通.节点IP地址分布如下: Hadoop ...
- 第12 课:HA下的Spark集群工作原理解密
第12 课:HA下的Spark集群工作原理解密 本期内容: 1.Spark高可用HA实战 2. Spark集群工作原理详解 1,Spark高可用HA实战 Spark本身是Master/Slaves结构 ...
- spark面试总结1
Spark Core面试篇01 一.简答题 1.Spark master使用zookeeper进行HA的,有哪些元数据保存在Zookeeper? 答:spark通过这个参数spark.deploy.z ...
- 【Spark篇】---Spark中Master-HA和historyServer的搭建和应用
一.前述 本节讲述Spark Master的HA的搭建,为的是防止单点故障. Spark-UI 的使用介绍,可以更好的监控Spark应用程序的执行. 二.具体细节 1.Master HA 1.Mast ...
- Spark面试精选题(03)
1.Spark master使用zookeeper进行HA的,有哪些元数据保存在Zookeeper? 答:spark通过这个参数spark.deploy.zookeeper.dir指定master元数 ...
- 【大数据面试题】(八)Spark 相关面试题
1.spark中的RDD是什么,有哪些特性? 答:RDD(Resilient Distributed Dataset)叫做分布式数据集,是spark中最基本的数据抽象,它代表一个不可变,可分区,里面的 ...
- Spark面试精选题(04)
1.MRV1有哪些不足 1) 可扩展性(对于变化的应付能力) a) JobTracker内存中保存用户作业的信息 b) JobTracker使用的是粗粒度的锁 2) 可靠性和可用性 ...
最新文章
- C#中的表达式和运算符
- git 常用命令备查
- Sql Server内置函数实现MD5加密
- linux下使用c++17编译filesystem
- linux cpu不足处理运维,Linux运维知识之Linux服务器CPU占用率较高问题排查思路
- 修改 Joomla! 1.5 的 HTML 输出而不动核心文件 (附api文档)
- go语言解析html
- f4 stm32 神经网络_STM32神经网络开发工具箱将AI技术引入边缘和节点嵌入式设备...
- delphi中Record 和Packed Record的区别
- mxnet导入图像数据
- 虚函数virtual
- java web主流框架整合开发 光盘_开发者突击:Java Web主流框架整合开发(第2版)(附CD光盘1张)...
- TortoiseGit disconnected: no supported authentication methods available(server sent:publickey)
- python日志模块logging
- linux升级内核5.10 网卡无法启动,博通网卡在Linux 5.10内核下无法搜索到无线网络的解决...
- 给ftp服务器创建文件夹,ftp服务器上创建文件夹
- android 右边抽屉,android双抽屉:右抽屉切换
- CentOS7安装DockerCentOS7安装DockerCompose
- 北大核刊最新版2020目录_新食品原料目录大全(2020年最新版)
- mac键盘符号的使用_在Mac上使用表情符号的终极指南
热门文章
- LibreOJ - 3083 与或和(单调栈+位运算)
- 牛客 - 牛牛的滑动窗口(单调栈+思维+差分)
- CodeForces - 1355E Restorer Distance(三分)
- POJ - 2987 Firing(最大权闭合图)
- java定时增量同步,一种可配置的定时数据同步方法与流程
- mysql drivermanager_MYSQL 之 JDBC(二): 数据库连接(二)通过DriverManager获取数据库连接...
- opencv4 python 版本_Opencv4 with Python3.6
- TensorFlow2-神经网络基础
- 2013计算机大纲,2013计算机应用基础考试大纲
- POJ2154(Pólya定理与欧拉函数优化)