Spark on Yarn：任务提交参数配置

当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。

以下参数配置为例子：

spark-submit

--master yarn-cluster   　　　　#使用集群调度模式(一般使用这个参数)

--num-executors 132      　　 # executor 数量

--executor-cores 2        　　　#设置单个executor能并发执行task数，根据job设置，推荐值2-16 （这里不是指CPU数，集群不限制CPU使用）

--driver-memory 4g 　　　　　#driver的内存大小，推荐值2-6G，不宜太大

--executor-memory 6g 　　　 #单个executor的内存大小，根据job需求以及并发数设置，最大不要超过30G

。。。

公式：

1、containers的最大值就是spark 设置的 num-executors值 ;

2、实际占用的总的vcores≈（executor-cores）*containers（实际executors）

3、内存计算公式：((实际占用的总的containers)*(executor-memory+512M))+(driver-memory)。

以下是我实际执行的情况：

submit.sh

#!/bin/sh
spark-submit --master yarn-cluster --class MyMain --num-executors 132 --executor-cores 2 --driver-memory 4g --executor-memory 6g xxx.jar

yarn resoruce manager监控的资源占用结果：

基本上按照上边公式。

参考资料：

Spark On YARN内存分配 https://yq.aliyun.com/articles/25468

spark on yarn - job提交重要参数说明：http://www.tuicool.com/articles/7vuu22b

spark-submit提交参数设置:http://www.cnblogs.com/gnool/p/5643595.html

Spark on Yarn：任务提交参数配置相关推荐

大数据培训：Spark性能调优与参数配置
Spark性能调优-基础篇众所周知,正确的参数配置对提升Spark的使用效率具有极大助力,帮助相关数据开发.分析人员更高效地使用Spark进行离线批处理和SQL报表分析等作业. 推荐参数配置模板如下 ...
Java代码使用Spark on Yarn 方式提交任务到带Kerberos认证的Hadoop集群
2019独角兽企业重金招聘Python工程师标准>>> 项目中遇到Spark Yarn方式提交到Hadoop集群,访问集群HDFS时发现使用的当前用户,没有访问权限,经过排查后发现H ...
spark on yarn任务提交及运行完整流程图
Running Spark on YARN
Running Spark on YARN 对 YARN (Hadoop NextGen) 的支持是从Spark-0.6.0开始的,后续的版本也一直持续在改进. Launching Spark on ...
CDH集群中YARN的参数配置
为什么80%的码农都做不了架构师?>>> CDH集群中YARN的参数配置前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为M ...
Spark性能相关参数配置详解
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化. 由于篇 ...
Spark性能调优系列：Spark参数配置大全（官网资料）
Spark参数配置大全 Spark提供了三个位置来配置系统 Spark属性控制大多数应用程序参数,可以使用SparkConf对象或Java系统属性来设置. 通过conf/spark-env.sh每个节 ...
Spark Standalone -- 独立集群模式、Spark 提交任务的两种模式、spark在yarn上运行的环境搭建、自己写的spark代码如何提交到yarn上并运行...
目录 Spark Standalone -- 独立集群模式 Standalone 架构图 Standalone 的搭建 1.上传.解压.重命名 2.配置环境变量 3.修改配置文件 conf 4.同步到 ...
Yarn 内存分配管理机制及相关参数配置
理解Yarn的内存管理与分配机制,对于我们搭建.部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考. 一.相关配置情况关于Yarn内存分配与管理,主要涉及到了ResourceM ...

Spark on Yarn：任务提交参数配置

Spark on Yarn：任务提交参数配置相关推荐

最新文章

热门文章