spark之5：配置文件

2024-05-14 02:31:44

spark之5：配置文件

@(SPARK)[spark]

一、spark的参数设置方式

1、spark配置文件加载顺序

spark按以下优先级加载配置文件：
（1）用户代码中显式调用set()方法设置的选项
（2）通过spark-submit传递的参数
（3）配置文件中的值
（4）spark的默认值

以下会分别介绍各种方式。

2、set()方法

val conf = new SparkConf()
conf.set(“spark.app.name”, “ljh_test”)
conf.set(“spark.master”,”yarn-client”)
val sc = new SparkContext(conf)

3、spark-submit方式

bin/spark-submit
–class com.lujinhong.MyTest
–master yarn-client
–name “ljh_test”
myTest.jar

4、配置文件的方式

（1）spark-defaults.conf

主要是指conf/spark-defaults.conf，如：

# For monitoring
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://mycluster/tmp/spark-events
spark.history.fs.logDirectory    hdfs://mycluster/tmp/spark-events
spark.yarn.historyServer.address 10.1.1.100:18080
spark.ui.showConsoleProgress     true
spark.history.kerberos.enabled   true
spark.history.kerberos.principal hadoop/sparkhistoryserver@LUJINHONG.COM
spark.history.kerberos.keytab    /home/hadoop/conf/spark/spark.keytab# For executor
spark.cores.max                  300
spark.driver.memory              2g
spark.executor.memory            6g
spark.executor.cores             6
spark.driver.extraJavaOptions -XX:PermSize=512M -XX:MaxPermSize=2048M

文件中是以空格分开的键值对，默认加载conf/spark-defaults.conf，也可以在spark-submit中通过–properties-file指定路径。

（2）spark-env.sh

主要用于指定一些环境变量，尤其是指定YARN相关的目录，如

#!/usr/bin/env bash
export SPARK_HOME=/home/hadoop/spark
export SPARK_LOG_DIR=/home/hadoop/logs
export SPARK_PID_DIR=/home/hadoop/pids
export YARN_CONF_DIR=/home/hadoop/conf
export HADOOP_CONF_DIR=/home/hadoop/conf# for exporting for enviroment, such as lib/native
export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/home/hadoop/hadoop/lib/native
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/hadoop/hadoop/lib/native

（3）其它

其它的配置文件还有log4j.properties, metircs.properties等。

5、spark的默认值

spark之5：配置文件相关推荐

【Spark】SparkStreaming-加载外部配置文件
SparkStreaming-加载外部配置文件 spark加载配置文件_百度搜索Spark加载外部配置文件 - CSDN博客spark读取配置文件中的配置 - CSDN博客spark加载propert ...
2021年大数据Spark（六）：环境搭建集群模式 Standalone
目录环境搭建-Standalone 前言 Standalone 架构集群规划修改配置并分发修改slaves 分发到其他机器修改spark-env.sh 集群启动和 ...
Spark配置高可用（HA）
基本介绍所谓的高可用是因为当前集群中的 Master 节点只有一个,所以会存在单点故障问题.所以为了解决单点故障问题,需要在集群中配置多个 Master 节点,一旦处于活动状态的 Master 发 ...
监控Spark应用方法简介
监控Spark应用有很多种方法. Web接口每一个SparkContext启动一个web UI用来展示应用相关的一些非常有用的信息,默认在4040端口.这些信息包括: 任务和调度状态的列表 RDD大 ...
spark指定hive字段_Spark2.0集成Hive操作的相关配置与注意事项
前言补充说明 Hive中metastore(元数据存储)的三种方式:内嵌Derby方式 Local方式 Remote方式 [一].内嵌Derby方式这个是Hive默认的启动模式,一般用于单元测试,这 ...
spark ui的访问地址_Spark篇之HA集群搭建
一.下载Spark安装包可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hadoop2.6 二.部署和规划Spark集群提前准备好四台虚拟主机,三台主机 node1 node2 ...
Spark学习之路（五）Spark伪分布式安装
一.JDK的安装 JDK使用root用户安装 1.1 上传安装包并解压 [root@hadoop1 soft]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr ...
Spark- Linux下安装Spark
Spark- Linux下安装Spark 前期部署 1.JDK安装,配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器 ...
学习Spark——那些让你精疲力尽的坑
这一个月我都干了些什么-- 工作上,还是一如既往的写bug并不亦乐乎的修bug.学习上,最近看了一些非专业书籍,时常在公众号(JackieZheng)上写点小感悟,我刚稍稍瞄了下,最近五篇居然都跟技术 ...
从0到1搭建spark集群---企业集群搭建
今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群. 一.下载Spark安装包可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hado ...

最新文章

热门文章