Spark配置高可用（HA）

基本介绍

所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。所以
为了解决单点故障问题，需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master
发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用
Zookeeper 设置。

集群规划

步骤

1. 停止集群

[root@hadoop102 spark-standalone]# sbin/stop-all.sh

2. 启动Zookeeper

[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start

3. 修改Spark中的 spark-env.sh 文件，修改如下配置
注释如下内容

#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077

添加如下内容

#Master 监控页面默认访问端口为 8080，但是可能会和 Zookeeper 冲突，所以改成 8989，也可以自定义，访问 UI 监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989 export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104
-Dspark.deploy.zookeeper.dir=/spark"

4. 分发配置文件

[root@hadoop102 spark-standalone]# xsync conf/

5. 启动集群

[root@hadoop102 spark-standalone]# sbin/start-all.sh

6. 启动 hadoop103 的单独 Master 节点，此时linux2 节点 Master 状态处于备用状态

[root@hadoop103 spark-standalone]# sbin/start-master.sh

7. 提交应用到高可用集群

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

8. 停止 hadoop102的 Master 资源监控进程

[root@hadoop102 spark-standalone]# kill -9 15635  //15635为自己的进程号

9. 查看hadoop103的 Master 资源监控Web UI，稍等一段时间后，hadoop103 节点的 Master 状态提升为活动状态

Spark配置高可用（HA）相关推荐

Spark: Structured JDBC 方式访问远程的高可用HA的HIVE
1. 背景 Spark: Structured JDBC 方式访问远程的高可用HA的HIVE,hive是看高可用的,连接信息如下 jdbc:hive2://xx.cdh1.test.dtwave.in ...
高可用(HA)Hadoop搭建Hive on Spark
高可用(HA)Hadoop搭建Hive on Spark 本文只介绍hive on spark搭建,Hadoop高可用(HA)请自行操作, 安装HIVE 1. 解压hive tar -zxvf apa ...
Hadoo集群--高可用HA配置（两台主机）
目录 1 Hadoop HA架构详解 1.1 HDFS HA背景 1.2 HDFS HA架构 1.3 HDFS HA配置要素 1.4 HDFS HA配置参数 1.5 HDFS自动故障转移 1.6 YA ...
linux集群-keepalived介绍-用keepalived配置高可用集群
2019独角兽企业重金招聘Python工程师标准>>> linux集群介绍: 以功能划分:高可用和负载均衡高可用集群:通常为两台服务器,一台工作,另外一台作为冗余.实现高可用的开源 ...
corosync+pacemaker实现高可用(HA)集群(二)
部署方案二(推荐):corosync+pacemaker 利用ansible自动安装corosync和pacemaker 注:关于ansible的具体使用可参见"ansible实现自动化自动 ...
集群介绍、keepalived介绍、用keepalived配置高可用集群
集群介绍根据功能划分为两大类:高可用和负载均衡高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务实现高可用的开源软件有:heartbeat.ke ...
greenplum配置高可用_Greenplum 的高可用是怎么做到的？
什么是高可用高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 ...
Web应用的负载均衡、集群、高可用(HA)解决方案整理总结
一.涉及到的几个组件 1.1.apache -- 它是Apache软件基金会的一个开放源代码的跨平台的网页服务器,属于老牌的web服务器了,支持基于Ip或者域名的虚拟主机,支持代理服务器,支 ...
配置高可用(名称节点高可用)
本文详细配置名称节点的高可用,什么是高可用可参考官方文档说在前面工作环境:VMware® Workstation 12 Pro 12.5.6 build-5528349 linux版本:CentO ...

Spark配置高可用（HA）

基本介绍

集群规划

步骤

Spark配置高可用（HA）相关推荐

最新文章

热门文章