spark standalone zookeeper HA部署方式
虽然spark master挂掉的几率很低,不过还是被我遇到了一次。以前在spark standalone的文章中也介绍过standalone的ha,现在详细说下部署流程,其实也比较简单。
一.机器
zookeeper集群
zk1:2181
zk2:2181
zk3:2181
spark master
spark-m1
spark-m2
spark worker
若干
二.步骤
1.进入spark-m1
修改conf/spark-env.sh
vi spark-env.sh
export SPARK_MASTER_IP=spark-m1
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181 -Dspark.deploy.zookeeper.dir=/spark"
启动master和slaves
./sbin/start-master.sh
./sbin/start-slaves.sh
2.进入spark-m2
修改conf/spark-env.sh
vi spark-env.sh
export SPARK_MASTER_IP=spark-m2
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181 -Dspark.deploy.zookeeper.dir=/spark"
启动master和slaves
./sbin/start-master.sh
./sbin/start-slaves.sh
三.检测
在spark-m1的web ui中可以看到状态
spark-m2中可以看到处于STANDBY状态
application提交时,master改为
--master spark://spark-m1:7077,spark-m2:7077
spark shell 测试
在spark-m1中启动spark Shell
spark-shell --master spark://spark-m1:7077,spark-m2:7077
连接后关闭spark-m1 master
./bin/stop-master.sh
发现spark-shell不会断开而是转到spark-m2的master上继续执行(该过程持续大概1分钟,woker会重新注册到spark-m2上),同时spark-m2变为alive状态。
可以在spark-m2的master日志中看到:
15/08/17 14:45:35 INFO ZooKeeperLeaderElectionAgent: We have gained leadership
15/08/17 14:45:36 INFO Master: I have been elected leader! New state: RECOVERING
15/08/17 14:45:36 INFO Master: Trying to recover worker:...
15/08/17 14:45:36 INFO Master: Trying to recover worker: ...
15/08/17 14:45:36 INFO Master: Trying to recover worker: ...
......
15/08/17 14:45:36 INFO Master: Worker has been re-registered: worker-...
15/08/17 14:45:36 INFO Master: Worker has been re-registered: worker-...
15/08/17 14:45:36 INFO Master: Worker has been re-registered: worker-...
...
15/08/17 14:45:36 INFO Master: Recovery complete - resuming operations!
部署结束
转载于:https://www.cnblogs.com/wuwuwu/p/6162581.html
spark standalone zookeeper HA部署方式相关推荐
- Flink Standalone模式HA部署
Standalone Cluster HA 前面我们配置的 Standalone 集群实际上只有一个 JobManager,此时是存在单点故障的,所以官方提供了 Standalone Cluster ...
- spark on yarn 完全分布式_Apache Spark探秘:三种分布式部署方式比较
[本文详细介绍了Spark的三种部署方式及其比较,欢迎读者朋友们阅读.转发和收藏!] 目前Apache Spark支持三种分布式部署方式,分别是 standalone . spark on mesos ...
- 分布式部署_Apache Spark探秘:三种分布式部署方式比较
[本文详细介绍了Spark的三种部署方式及其比较,欢迎读者朋友们阅读.转发和收藏!] 目前Apache Spark支持三种分布式部署方式,分别是 standalone . spark on mesos ...
- NSX-V edge HA部署
一.背景 因业务需要,将桌面接入流量分流至专用接口,从而多个租户都可走一个出口,而这将出现一个新问题,即该出口出现单点且威胁较大,影响所有租户业务流量.对此,需要对该出口边界edge设备进行HA部署. ...
- Apache Spark探秘:三种分布式部署方式比较
2019独角兽企业重金招聘Python工程师标准>>> 目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark o ...
- Spark支持三种分布式部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
- Spark的三种分布式部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
- Spark三种部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
- Spark源码分析:多种部署方式之间的区别与联系
作者:过往记忆 从官方的文档我们可以知道, Spark 的部署方式有很多种:local.Standalone.Mesos.YARN-..不同部署方式的后台处理进程是不一样的,但是如果我们从代码的角度来 ...
最新文章
- BED文件如何排序,sort按列排序
- linux c 定时器
- linux命令deploy_linux命令:du 命令
- 基于ASA防火墙的SSL ×××配置
- 【LeetCode】【HOT】21. 合并两个有序链表(递归)
- 深度学习和拓扑数据分析的六大惊人之举
- 创客匠人知识付费SaaS系统功能介绍
- 视频教程-Python实现自己的分布式区块链视频教程-区块链
- java 文件上传(使用多线程)
- 苹果logo_苹果 ARM Mac 发布会独特标志 Logo 亮相:橙色、红色、紫色和蓝色色调...
- 计算机网络层之 P2P
- Hbase - RIT机制
- webstorm2020背景和字体_WebStorm改变字体大小以及更换背景颜色
- 数据库中间件选型思考和实战
- android之animator 和animation 的区别
- python中rouge是什么程序_rouge与pyrouge使用事项
- 单片机STM32直连电调控制航模涵道电机的方法总结
- 【修真院JAVA小课堂】什么是压测,为什么要进行压力测试?JMETER工具的使用
- 飞信发送手机短信接口
- AdaBoost AdaRank