CDH6.2配置spark.yarn.jars目录

按照官网的文档采用以下操作即可：

进入CM界面
选择spark服务
配置搜索spark-defaults.conf
添加spark.yarn.jars=hdfs://ns1/user/spark/jars
部署客户端并重启

但实际重启后发现节点上的配置文件依然是默认属性，没有分发覆盖，具体还没找到解决办法。

暂时采用软链的方式，如果不得已在CM界面修改了配置并部署，则需要重新创建软链：

创建外部配置文件vi /data/common/conf/spark/spark-defaults.conf

# 默认配置
...
...# yarn运行依赖jar
spark.yarn.jars=hdfs://ns1/user/spark/jars/spark/*,hdfs://ns1/user/spark/jars/hive/*,hdfs://ns1/user/spark/jars/dongao/*
# 编码问题
spark.driver.extraJavaOptions=-Dfile.encoding=utf-8
spark.executor.extraJavaOptions=-Dfile.encoding=utf-8

创建软链:

ln -s /data/common/conf/spark/spark-defaults.conf /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/conf/spark-defaults.conf

线索（20190826 - 待验证）

在元数据（processes表）中查到spark使用的脚本csd/csd.sh，于是在节点上搜了下locate csd，发现存在/opt/cloudera/cm/csd/SPARK_ON_YARN6_2-6.2.0.jar文件，于是下载查看。

在scripts/common.sh中发现了替换spark-default.conf属性的内容：

 # Set the location of the YARN jars to point to the install directory on all nodes.local jars="local:$SPARK_HOME/jars/*,local:$SPARK_HOME/hive/*"replace_spark_conf "spark.yarn.jars" "$jars" "$SPARK_DEFAULTS"

感觉修改此文件将此段内容注释掉应该能够解决

CDH6.2配置spark.yarn.jars目录相关推荐

yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set
yarn集群下启动spark错误如下: WARN Client:66 - Neither spark.yarn.jars nor spark.yarn.archive is set, falling ...
spark.yarn.jars的配置
1.原因: 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations To make Spark runti ...
spark.yarn.archive spark.yarn.jars
参考自:http://spark.apache.org/docs/latest/running-on-yarn.html#preparations 在spark on yarn模式下,/usr/loc ...
flink实现类似spark.yarn.jars的操作
通常flink打包的时候会依赖很多flink相关的依赖,最后打出来的jar包非常大.在spark里面on yarn模式下,我们可以在spark下,通过将spark jars上传到hdfs的目录下,然后 ...
添加spark.yarn.jars 解决 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,
一:问题现象: 在spark on yarn 提交任务是,提示如下: WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive ...
Spark On Yarn --jars/spark.yarn.jars 踩坑与提升spark submit速度
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包,经过半下午的实验,终于搞清了两者的关系以及 spark.yarn.jars 和 ...
Neither spark.yarn.jars nor spark.yarn.archive is set
完整报错如下: (Python3.6) appleyuchi@Desktop:target$ spark-submit --class WordCountLocal --master yarn --d ...
spark执行优化——依赖上传到HDFS二(-conf spark.yarn.dist.jars或者--jars 的使用)
1.说明之前整理过一篇类似文章,但是这个spark.yarn.jar配置的目录最好只是放spark jars目录下的jar包,如果放入其他的jar包,很大概率会有冲突,而且如果项目比较多,jar包引 ...
关于spark yarn模式下的常用属性
前言整理了spark官网提供的一些常用的spark属性. Spark属性属性名默认值描述 spark.yarn.am.memory 512m 在Client模式下用于YARN Applicat ...

CDH6.2配置spark.yarn.jars目录

CDH6.2配置spark.yarn.jars目录相关推荐

最新文章

热门文章