Spark 0.9.0启动脚本——sbin/start-slaves.sh

1. 运行sbin/spark-config.sh，设置SPARK_HOME和SPARK_CONF_DIR

2. 如果conf/spark-env.sh，则运行该脚本，设置可选环境变量

3. 检测环境变量SPARK_MASTER_PORT/SPARK_MASTER_IP，为master的端口/ip，默认为7077/{hostname}

以上三项基本同start-master.sh相同

4. 检测SPARK_WORKER_INSTANCES

1) 如果为空，则执行脚本sbin/slaves.sh并传入命令

sbin/slaves.sh的作用是使用ssh免登录进入slaves执行命令

传入的命令是sbin/start-slave.sh 1 spark://$SPARK_MASTER_IP:$SPARK_MASTER_PORT

2) 如果不为空，即启动多实例。检测SPARK_WORKER_WEBUI_PORT，不存在则默认8081

循环$SPARK_WORKER_INSTANCES遍，执行sbin/slaves.sh脚本并传入命令

传入的命令是sbin/start-slave.sh $(( $i + 1 )) spark://$SPARK_MASTER_IP:$SPARK_MASTER_PORT --webui-port $(( $SPARK_WORKER_WEBUI_PORT + $i ))

即传入的第一个参数是实例序号（1开始），webui-port设置为8081递增

转载于:https://www.cnblogs.com/hujunfei/p/3622189.html

Spark 0.9.0启动脚本——sbin/start-slaves.sh相关推荐

tomcat 多实例启动脚本
为什么80%的码农都做不了架构师?>>> tomcat 多实例启动脚本代码如下: #!/bin/sh# # Tomcat start/stop shell multiple ...
android+启动脚本,imx6q android 添加开机启动脚本
1.在xx/out/target/product/sabresd_6dq/root/init.rc中添加以下内容 ========================================== ...
superset启动脚本及安装
superset安装配置记录 ----灵感来自B站尚硅谷数仓3.0项目(尚硅谷NB) Superset 官网地址:http://superset.apache.org/ 1. 安装 Python 环境 ...
linux集群启动脚本,Hadoop2.2.0集群启动和停止Shell脚本
说明:Hadoop2.2.0集群启动和停止Shell脚本,以下脚本中出现的master,slave1,slave2,slave3均已配host. startupall.sh #!/bin/bash h ...
Qtopia-2.2.0启动脚本
在ARM上启动Qtopia-2.2.0: 使用USB鼠标的脚本: #!/bin/sh HOME=/root QTDIR=/opt/Qtopia QPEDIR=/opt/Qtopia QWS_MOUSE ...
Android8.0 开机启动脚本,Android开机启动shell脚本（Android 8.0测试OK）
Android 下做开机启动shell脚本的大致流程如下: 目录写shell脚本为脚本写te文件在init.rc中启动脚本添加Selinux权限写shell脚本比如新建一个init.tes ...
Spark学习之路（十五）SparkCore的源码解读（一）启动脚本
讨论QQ:1586558083 目录一.启动脚本分析 1.1 start-all.sh 1.2 start-master.sh 1.3 spark-config.sh(1.2的第5步) 1.4 lo ...
Spark配置启动脚本分析
2019独角兽企业重金招聘Python工程师标准>>> 今天想停止spark集群,发现执行stop-all.sh的时候spark的相关进程都无法停止.提示: no org.apach ...
Spark 2.2.0 集群部署
环境说明服务器1 主机名:node201 IP:10.0.0.201 OS: centos 7.4 hadoop: NameNode, ResourceManager, SecondaryNameN ...
Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN
Spark 概述 Apache Spark 是一个快速的, 多用途的集群计算系统. 它提供了 Java, Scala, Python 和 R 的高级 API,以及一个支持通用的执行图计算的优化过的引擎 ...

Spark 0.9.0启动脚本——sbin/start-slaves.sh

Spark 0.9.0启动脚本——sbin/start-slaves.sh相关推荐

最新文章

热门文章