Spark-on-YARN （来自学习笔记）
Spark-on-YARN
1. 官方文档
http://spark.apache.org/docs/latest/running-on-yarn.html
2. 配置安装
1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。
2.安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spark程序将作为YARN的客户端用于提交任务
export JAVA_HOME=/usr/local/jdk1.7.0_80
export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.4/etc/hadoop
3.启动HDFS和YARN
3. 运行模式（cluster模式和client模式）
1.cluster模式
./bin/spark-submit--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
lib/spark-examples*.jar\
10
---------------------------------------------------------------------------------------------------------------------------------
./bin/spark-submit--class cn.toto.spark.day1.WordCount \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
/home/bigdata/hello-spark-1.0.jar\
hdfs://mycluster/wchdfs://mycluster/out-yarn-1
注意：hdfs的上面的端口默认是9000
2.client模式
./bin/spark-submit--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
lib/spark-examples*.jar\
10
spark-shell必须使用client模式
./bin/spark-shell--master yarn --deploy-mode client
3.两种模式的区别
cluster模式：Driver程序在YARN中运行，应用的运行结果不能在客户端显示，所以最好运行那些将结果最终保存在外部存储介质（如HDFS、Redis、Mysql）而非stdout输出的应用程序，客户端的终端显示的仅是作为YARN的job的简单运行状况。
client模式：Driver运行在Client上，应用程序运行结果会在客户端显示，所有适合运行结果有输出的应用程序（如spark-shell）
4.原理
cluster模式：
Spark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的NodeManager节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全生命周期的应用。具体过程：
1. 由client向ResourceManager提交请求，并上传jar到HDFS上
这期间包括四个步骤：
a).连接到RM
b).从RM的ASM（ApplicationsManager）中获得metric、queue和resource等信息。
c). upload app jar and spark-assembly jar
d).设置运行环境和container上下文（launch-container.sh等脚本)
2. ResouceManager向NodeManager申请资源，创建SparkApplicationMaster（每个SparkContext都有一个ApplicationMaster）
3. NodeManager启动ApplicationMaster，并向ResourceManagerAsM注册
4. ApplicationMaster从HDFS中找到jar文件，启动SparkContext、DAGscheduler和YARN ClusterScheduler
5. ResourceManager向ResourceManagerAsM注册申请container资源
6. ResourceManager通知NodeManager分配Container，这时可以收到来自ASM关于container的报告。（每个container对应一个executor）
7. Spark ApplicationMaster直接和container（executor）进行交互，完成这个分布式任务。
client模式：
在client模式下，Driver运行在Client上，通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor container进行交互，并将最后的结果汇总。结束掉终端，相当于kill掉这个spark应用。一般来说，如果运行的结果仅仅返回到terminal上时需要配置这个。
客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和executor，另外ApplicationMaster和executor都是装载在container里运行，container默认的内存是1G，ApplicationMaster分配的内存是driver- memory，executor分配的内存是executor-memory。同时，因为Driver在客户端，所以程序的运行结果可以在客户端显示，Driver以进程名为SparkSubmit的形式存在。
Spark-on-YARN （来自学习笔记）相关推荐
- 第13课 spark内核架构解密学习笔记
第13课 spark内核架构解密学习笔记 2016.01.16 内容: 1.通过手动绘图的方式解密spark内核架构 2.通过案例验证spark内核架构 3.spark架构思考 第一阶段:彻底精通s ...
- YARN体系学习笔记
一.基本组成结构 1. ResourceManager 负责对各个NodeManager 上的资源进行统一管理和调度.包含两个组件: * Scheduler:调度器根据容量.队列等限制条件(如每个队列 ...
- mapreduce的shuffle机制（来自学习笔记）
3. MAPREDUCE原理篇(2) 3.1 mapreduce的shuffle机制 3.1.1 概述: MapReduce中,mapper阶段处理的数据如何传递给reduce阶段,是MapReduc ...
- 标注工具——yarn的学习笔记
1 前言 yarn是比npm更加先进的一种包管理工具: 2 安装yarn管理工具 安装的方法参考yarn的官网 --- 2 - Installation | Yarn - Package Manage ...
- 分布式文档系统-document id的手动指定与自动生成两种方式解析(来自学习笔记：龙果学院ES课程)
1.手动指定document id (1)根据应用情况来说,是否满足手动指定document id的前提: 一般来说,是从某些其他的系统中,导入一些数据到es时,会采取这种方式,就是使用系统中已有数据 ...
- Kafka中topic的Partition，Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念（来自学习笔记）
1.1． Kafka中topic的Partition 在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic ...
- Kafka是什么，JMS是什么，常见的类JMS消息服务器，为什么需要消息队列（来自学习笔记）
1.Kafka是什么 Apache Kafka是一个开源消息系统,由Scala写成.是由Apache软件基金会开发的一个开源消息系统项目. Kafka最初是由LinkedIn开发,并于2011 ...
- 工作流调度系统介绍，常见工作流调度系统对比，azkaban与Oozie对比，Azkaban介绍与特性（来自学习笔记）
1. 工作流调度器azkaban 1.1 概述 1.1.1为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序.hive ...
- Spark基础学习笔记06：搭建Spark On YARN模式的集群
文章目录 零.本讲学习目标 一.在Spark Standalone模式的集群基础上修改配置 二.运行Spark应用程序 (一)启动Hadoop的HDFS和YARN (二)运行Spark应用程序 (三) ...
最新文章
- 清除Squid缓存的小工具
- 参考别人博客，自己实现用idea运行eclipse项目--学生管理系统-
- （LeetCode 153）Find Minimum in Rotated Sorted Array
- vuejs linux windows,vue.js环境在window和linux安装
- Python 函数式编程
- java中 queryparam_@PathParam 和 @QueryParam
- 一种QC-LDPC码对突发噪声抑制的MATLAB仿真
- 校园招聘最重要的有2点 第一个是不要抱死一家公司
- QT错误：collect2:ld returned 1 exit status
- C# ADO.NET中设置Like模糊查询
- 4K \1080P 高质量视频素材网站。
- FPGA-09FPGA-RGB TFT-LCD显示
- java微信授权登录回调地址，微信开发者工具，注册微信公共平台
- “生成能够被扫描枪正常扫描出中文的二维码”
- Windows10下安装Elasticsearch8.1.1过程遇到的问题
- 编译原理大作业-PL0语言编译器
- 【计算机网络-自顶向下】3—Transport layer运输层（概述、多路复用与分解、UDP、可靠数据传输、TCP、拥塞控制）
- 截图方法get_screenshot_as_file（）注意点
- python爬取标题和作者时间的小程序
- matlab三维 旋转矩阵,matlab中的三维坐标系与旋转