spark-env.sh配置

2019独角兽企业重金招聘Python工程师标准>>>

SPARK_MASTER_IP 绑定一个外部IP给master.

SPARK_MASTER_PORT 从另外一个端口启动master(默认: 7077)

SPARK_MASTER_WEBUI_PORT Master的web UI端口 (默认: 8080),这个端口太常用，建议换一个

SPARK_WORKER_PORT 启动Spark worker 的专用端口(默认：随机)

SPARK_WORKER_DIR 伸缩空间和日志输入的目录路径(默认: SPARK_HOME/work);

SPARK_WORKER_CORES 作业可用的CPU内核数量(默认: 所有可用的);

SPARK_WORKER_MEMORY 作业可使用的内存容量，默认格式1000M或者 2G (默认: 所有RAM去掉给操作系统用的1 GB);注意：每个作业自己的内存空间由SPARK_MEM决定。

SPARK_WORKER_WEBUI_PORT worker 的web UI 启动端口(默认: 8081)

SPARK_WORKER_INSTANCES 没太机器上运行worker数量 (默认: 1). 当你有一个非常强大的计算机的时候和需要多个Spark worker进程的时候你可以修改这个默认值大于1 . 如果你设置了这个值。要确保SPARK_WORKER_CORE 明确限制每一个r worker的核心数, 否则每个worker 将尝试使用所有的核心

SPARK_DAEMON_MEMORY 分配给Spark master和 worker 守护进程的内存空间 (默认: 512m)

SPARK_DAEMON_JAVA_OPTS Spark master 和 worker守护进程的JVM 选项(默认: none)

转载于:https://my.oschina.net/u/2300159/blog/637065

spark-env.sh配置相关推荐

Spark远程调试配置，在IDEA中的配置
关于Spark集群部署参考:http://blog.csdn.net/tototuzuoquan/article/details/74481570 一.Spark远程调试配置: #调试Master,在 ...
Spark On Hive配置
查看Spark集群的搭建 Spark On Hive 配置步骤在Spark客户端安装包下的conf目录中创建文件hive-site.xml,配置hive的metastore路径 <config ...
Spark 安装与配置（Spark HA 集群部署）
配置 Spark HA 集群需要配置zookeeper https://blog.csdn.net/weixin_64358432/article/details/130211543 一 . 下载S ...
windows下spark开发环境配置
--本篇随笔由同事葛同学提供. windows下spark开发环境配置特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe.hadoop.dll等文件, ...
Yii2 使用 .env 来配置项目环境变量
2019独角兽企业重金招聘Python工程师标准>>> Yii2 高级版本使用命令 php init 初始化项目之后会提供类似 main.php 和 main-local.php 来 ...
Istio系列学习(十四)----Istio策略适配器配置和Env适配器配置
一.Istio策略适配器配置 Istio Adapter 机制的另外一个重要应用是策略执行. 策略执行Adapter 负责处理 Mixer 转发的 Check 请求,并将该请求分发给对应的策略执行后端 ...
React项目配置axios和反向代理和process.env环境配置等
React项目配置axios和代理和proces.env环境配置等 React项目配置axios和代理和proces.env环境配置等配置axios和代理 proces.env环境配置 React项 ...
项目部署脚本启动命令sh文件配置重新启动restart.sh配置停止流程stop.sh配置
目录目的: 1.restart.sh 配置重新启动命令 2.startup.sh 配置启动应用的命令配置 3.stop.sh 配置停止应用命令目的: 项目重构之后我们需要配置启动的脚本,这样可以使 ...
yii2 php init,Yii2 使用 .env 来配置项目环境变量
Yii2 高级版本使用命令 php init 初始化项目之后会提供类似 main.php 和 main-local.php 来区分本地和线上的开发环境变量配置. 但是基础版没有提供此功能,那么下面我 ...
spark-env.sh配置——Spark学习日记
大数据 Spark 不显示Worker问题配置好spark后,输入jps只有Master,没有Worker 修改spark-env.sh文件找到spark-env.sh位置 //我的spark-e ...

spark-env.sh配置

spark-env.sh配置相关推荐

最新文章

热门文章