Spark On Yarn基本原理及部署

文章目录

Spark On Yarn基本原理
Spark On Yarn架构图
Spark On Yarn部署及测试

Spark On Yarn基本原理

对于企业来说，如果在已有的Yarn群集的前提下单独准备Spark Standalone群集，本身对资源的利用率就不会很高，所以在很多企业的应用场景下，Spark一般会运行到Yarn的群集中。
YARN本身是一个资源调度框架，负责对运行在内部的计算框架进行资源调度管理，作为典型的计算框架，Spark本身可以直接运行在YARN中，并接受YARN调度。所以无需部署Spark集群，只需要找一台服务器，充当Spark的客户端，就可可提交任务到YARN集群。

Spark On Yarn架构图

YARN中的ResourceManager代替Spark中的Master角色。
YARN中的NodeManager代替Spark中的Worker角色。
Drvier角色运行在Yarn容器内或提交任务的客户端进程中。
Executor运行在Yarn提供的容器内。

Spark On Yarn部署及测试

部署方式与之前相同，需要注意点，确保spark-env,sh这个脚本中必须添加HADOOP_CONF_DIR与YARN_CONF_DIR两个环境变量：

  #具体环境变量根据自己系统来设定HADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoopYARN_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop

pyspark连接到Yarn中，使用以下命令：

# --deploy-mode 选项是指定部署模式, 默认是 客户端模式
# client就是客户端模式
# cluster就是集群模式
# --deploy-mode 仅可以用在YARN模式下
bin/pyspark --master yarn --deploy-mode client|cluster

我们可以在Yarn资源管理界面中查看这个任务，输入http://node1:8088

验证测试以下

  sc.parallelize([1,2,3,4,5]).map(lambda x: 2*x+1).collect()

如何查看子任务
输入node1:4040或点击如下图所示即可进入任务界面

退出pyspark之后yarn程序状态显示FINISHED
spark-submit提交到Yarn中，使用以下命令：

  bin/spark-submit --master yarn /export/server/spark-3.2.0/examples/src/main/python/pi.py 100

Spark On Yarn基本原理及部署相关推荐

spark on yarn 完全分部署_大数据Spark面试题（一）
1.spark的有几种部署模式,每种模式特点?(☆☆☆☆☆) 1)本地模式 Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定.将Spark应用以多线程的方式直接运行在本地, ...
Spark On YARN 集群安装部署
2019独角兽企业重金招聘Python工程师标准>>> 最近毕设需要用到 Spark 集群,所以就记录下了部署的过程.我们知道 Spark 官方提供了三种集群部署方案: Standa ...
spark on yarn 完全分布式_Apache Spark探秘：三种分布式部署方式比较
[本文详细介绍了Spark的三种部署方式及其比较,欢迎读者朋友们阅读.转发和收藏!] 目前Apache Spark支持三种分布式部署方式,分别是 standalone . spark on mesos ...
spark on yarn 部署问题
spark on yarn 部署报:java.io.IOException: Resource file:/usr/local/spark-1.6.3-bin-hadoop2.6/lib/spark- ...
Spark on YARN的部署
Spark on YARN的原理就是依靠yarn来调度Spark,比默认的Spark运行模式性能要好的多,前提是首先部署好hadoop HDFS并且运行在yarn上,然后就可以开始部署spark on ...
DSS部署-11、Spark on Yarn部署
文章目录第七部分 Spark on Yarn部署相关配置操作记录如下 spark-sql -e "show databases" 第七部分 Spark on Yarn部署相 ...
spark on yarn简单部署
spark on yarn无需启动master和worker进程.
Apache Spark源码走读之8 -- Spark on Yarn
欢迎转载,转载请注明出处,徽沪一郎. 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准.其主要职责将是分布式计算集群的 ...
spark on yarn 完全分布式_Spark编程笔记(1)-架构基础与运行原理
引言根据IBM前首席执行官郭士纳的观点,IT领域每隔十五年就会迎来一次重大变革 .当前我们正处于第三次信息浪潮(2010年前后),物联网.云计算和大数据技术突飞猛进. 信息爆炸是我们当前所需要解决 ...

Spark On Yarn基本原理及部署

文章目录

Spark On Yarn基本原理

Spark On Yarn架构图

Spark On Yarn部署及测试

Spark On Yarn基本原理及部署相关推荐

最新文章

热门文章