spark on yarn提交后vcore数不对

一、现象描述

比如提交命令：

./bin/spark-submit --class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cluster \--driver-memory 4g \--executor-memory 2g \    --num-executors 6--executor-cores 3 \--queue thequeue \lib/spark-examples*.jar \10理论上：vcores使用数 = executor-cores * num-executors + 1 = 6 * 3 = 18 + 1 = 19，但是实际中很可能你会在yarn监控界面上看到vcores数使用只是7，也就是executor-cores没起作用。二、解决方法这其实不是spark的问题，而是yarn调度器的一个特性，只需要修改“capacity-scheduler.xml”文件中的配置“yarn.scheduler.capacity.resource-calculator”即可，value由原来的“org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator”修改为“org.apache.hadoop.yarn.util.resource.DominantResourceCalculator”可能需要重启hadoop三、参考出处:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html配置“yarn.scheduler.capacity.resource-calculator”的解释为：The ResourceCalculator implementation to be used to compare Resources in the scheduler. The default i.e. org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator only uses Memory while DominantResourceCalculator uses Dominant-resource to compare multi-dimensional resources such as Memory, CPU etc. A Java ResourceCalculator class name is expected.也没翻译很明白，大概意思就是：默认的那个配置，只对内存起作用，而后改的那个配对内存、CPU核数等等都起作用。

转载于:https://www.cnblogs.com/yesecangqiong/p/10125333.html

spark on yarn提交后vcore数不对相关推荐

Spark通过YARN提交任务不成功（包含YARN cluster和YARN client)
无论用YARN cluster和YARN client来跑,均会出现如下问题. [spark@master spark-1.6.1-bin-hadoop2.6]$ jps 2049 NameNode ...
spark on yarn提交任务后总是accepted以及通过yarn关闭application
打开链接: http://Desktop:8088/proxy/application_1588324196554_0005/ 点击图中 Queue后面的default 会看到队列100% 解决方案[ ...
Spark on Yarn：任务提交参数配置
当在YARN上运行Spark作业,每个Spark executor作为一个YARN容器运行.Spark可以使得多个Tasks在同一个容器里面运行. 以下参数配置为例子: spark-submit -- ...
Spark On Yarn VCore Userd 值不正常（DefaultResourceCalculator / DominantResourceCalculator ）
Spark On Yarn VCore Userd 值不正常,目前集群有两个任务再跑,每个任务使用1cores. 在执行下面的脚本的时候.资源使用如下图: 执行脚本: spark-submit \ ...
spark：spark-submit 提交任务及参数说明（yarn）
Spark:对于提交命令的理解: https://blog.csdn.net/weixin_38750084/article/details/106973247 spark-submit 可以提交任务 ...
Spark任务提交后是如何完成提交过程的？源码解析！
Spark任务提交后是如何完成提交过程的?源码解析! 我们熟知的提交命令: sparksubmit v class xxx master spark://xxx7077 .... 然后我们 ...
Java搭建Spark程序，提交到Yarn
文章目录 Java搭建Spark程序,提交到Yarn测试 Demo Java搭建Spark程序,提交到Yarn测试 Demo pow文件依赖 <?xml version="1.0&qu ...
Spark Standalone -- 独立集群模式、Spark 提交任务的两种模式、spark在yarn上运行的环境搭建、自己写的spark代码如何提交到yarn上并运行...
目录 Spark Standalone -- 独立集群模式 Standalone 架构图 Standalone 的搭建 1.上传.解压.重命名 2.配置环境变量 3.修改配置文件 conf 4.同步到 ...
spark on yarn 完全分部署_大数据Spark面试题（一）
1.spark的有几种部署模式,每种模式特点?(☆☆☆☆☆) 1)本地模式 Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定.将Spark应用以多线程的方式直接运行在本地, ...

spark on yarn提交后vcore数不对

spark on yarn提交后vcore数不对相关推荐

最新文章

热门文章