【spark】Cluster deploy mode is not applicable to Spark shells

前言

使用CDH5.13 集成 apche spark2.4.2 使用spark-shell命令报错。

spark配置

spark-defaults.conf文件如下：

spark.master                     yarn
spark.deploy.mode                cluster
spark.submit.deployMode          cluster
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://nameservice1/tmp/spark/log/
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              1g
spark.driver.maxResultSize       2g
spark.executor.memory            2g
yarn.scheduler.maximum-allocation-mb  2048m
spark.executor.instances         600
spark.executor.extraJavaOptions  -XX:+PrintGCDetails
spark.shuffle.service.enabled    false
spark.history.fs.logDirectory    hdfs://nameservice1/tmp/spark/log/
spark.yarn.historyServer.address master:18080
#spark.executor.memoryOverhead    2900
#spark.driver.memoryOverhead      2900
#spark.yarn.executor.memoryOverhead 2900
#spark.yarn.driver.memoryOverhead 2900
spark.network.timeout 2000s
spark.executor.heartbeatInterval 800s
spark.files.fetchTimeout 1000s
spark.port.maxRetries 100
spark.sql.autoBroadcastJoinThreshold 536870912
spark.sql.shuffle.partitions 1500
spark.sql.broadcastTimeout      800000ms
spark.default.parallelism 1500
spark.executor.cores 1
spark.kryoserializer.buffer.max   256m
#spark.yarn.queue                  bi
spark.executor.extraJavaOptions  -Dfile.encoding=UTF-8
spark.driver.extraJavaOptions    -Dfile.encoding=UTF-8
spark.port.maxRetries           100

报错信息：

报错信息如下：

Exception in thread "main" org.apache.spark.SparkException: Cluster deploy mode is not applicable to Spark shells.at org.apache.spark.deploy.SparkSubmit.error(SparkSubmit.scala:857)at org.apache.spark.deploy.SparkSubmit.prepareSubmitEnvironment(SparkSubmit.scala:292)at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:143)at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

具体为：

解决方案

使用命令：

/bin/spark-shell --master yarn --deploy-mode client --num-executors 3 --executor-memory 2G --executor-cores 2

问题解决！

方法二：

将 spark-defaults.conf文件如下：

spark.deploy.mode                cluster
spark.submit.deployMode          cluster

改为 client模式

spark.deploy.mode                client
spark.submit.deployMode          client

【spark】Cluster deploy mode is not applicable to Spark shells相关推荐

【原创】大叔问题定位分享（12）Spark保存文本类型文件（text、csv、json等）到hdfs时为什么是压缩格式的...
问题重现 rdd.repartition(1).write.csv(outPath) 写文件之后发现文件是压缩过的 write时首先会获取hadoopConf,然后从中获取是否压缩以及压缩格式 org ...
【原创】大叔问题定位分享（11）Spark中对大表子查询加limit为什么会报Broadcast超时错误...
当两个表需要join时,如果一个是大表,一个是小表,正常的map-reduce流程需要shuffle,这会导致大表数据在节点间网络传输,常见的优化方式是将小表读到内存中并广播到大表处理,避免shuff ...
Kubernetes CKS 2021【3】---Cluster Setup - Dashboard
Kubernetes 访问 Dashboard tags: Dashboard 文章目录 Kubernetes 访问 Dashboard 1. 简介 2. 默认 dashboard 权限 3. 验证 ...
【收藏】使用springboot构建rest api远程提交spark任务
使用springboot构建rest api远程提交spark任务 https://blog.csdn.net/hlp4207/article/details/100831384
Kubernetes CKS【10】---Cluster Hardening - Restrict API Access
文章目录 1. 介绍 2. Practice - Anonymous Access 3. Practice - Insecure Access 4. Practice - Manual API Req ...
Kubernetes【升级】 CKS 2021【11】---Cluster Hardening - Upgrade Kubernetes
文章目录 1. 介绍 2. Practice - Create outdated cluster 3. Upgrade master node 4. Upgrade worker node 1. 介绍 ...
【redis】cluster相关知识点整理
cluster为redis带来了什么呢? 高达1000个节点的高性能和线性可扩展性,在多个节点间自动拆分数据集可接受的写安全度系统尝试(尽最大努力)保留来自与大多数主节点连接的客户端的所有写操作. ...
【maven】mvn deploy 报错 Failed to deploy artifacts: Could not transfer artifact
文章目录 1.场景1 1.1 概述 1.场景1 1.1 概述因为在windows下,内网环境,然后升级了flink,但是包是外网拷贝进去的,拷贝到我的本地,现在本地升级好了,需要将jar包发布到内网 ...
【Spark】Spark Quick Start（快速入门翻译）
本文主要是翻译Spark官网Quick Start.只能保证大概意思,尽量保证细节.英文水平有限,如果有错误的地方请指正,轻喷目录导航在右上角,感谢两个大佬(孤傲苍狼 JavaScript自动生成 ...

【spark】Cluster deploy mode is not applicable to Spark shells

前言

spark配置

报错信息：

解决方案

方法二：

【spark】Cluster deploy mode is not applicable to Spark shells相关推荐

最新文章

热门文章