关于yarn的一些心得

2024-04-30 07:07:13

为什么80%的码农都做不了架构师？>>>

yarn的用途

如果使用yarn进行资源管理，那么各种任务在启动的时候，都会通过yarn申请资源，从而会在yarn里留下痕迹。通过resource manager可以看到有多少应用在yarn里执行。

为什么yarn里有很多应用执行了很多天也不结束？

在使用RM观察yarn应用清单的时候，往往会发现很多应用持续执行了很多天，Name都是Hive On Spark,用户都是Hive。这是什么情况？

这个往往是用户使用了一个客户端，连在大数据平台上，始终没有退出导致。例如，用户用hue，或者beeline，一旦执行了connect命令，这个session就是一个yarn 应用。如果不退出，则它就会作为一个任务一直挂在RM里，不结束。也许这个时候，它并占用太多资源。

如何把作业给明显地区分出来？

如果都用beeline去连接数据库，如何区分作业是否跑完？会不会作业看起来都一个样？

如果全部使用默认设置，上述情况的确会发生。但是也有办法。那就是通过设置job name来搞定。

对于spark作业来说，有一个spark.yarn.tags属性可以在beeline里先设置好，然后再执行sql。这个时候，在RM里，就可以查到这个作业的tags了。

例如：

beeline> set spark.yarn.tags="mac,debug"
beeline> select count(*) from table_1;

转载于:https://my.oschina.net/pearma/blog/1605033

关于yarn的一些心得相关推荐

安装yarn 心得分享
初次使用yarn ,坑的我,全局安装完@vue/cli,安装之后就是说vue不是内部命令,研究好久,总结一下分享大家一起学习 1,首先安装yarn: 安装yarn 去官网下载yarn 安装包默认安装 ...
react项目中的参数解构_一天入门React学习心得
一天入门React学习心得阅读前必读本文写的仓促,算是一个学习笔记吧,算是一个入门级的学习文章.如果你刚刚入门,那么可能一些入门的视频可能更加适合你.但如果具备一些知识,比如Vue,那么视频就不适 ...
Linux 下配置 Hadoop2.x 高可用 zookeeper Yarn，详细步骤。
此系列文章是探索大数据道路的记录,有些记录是为了备忘,有些记录是为了学习心得内容,有些是为了给大家提供一个好的学习资料.持续更新中-大家也可以到我的私人blog查看该系列文章.blog.cutexim ...
[转载]Hadoop 2.X 日志文件和MapReduce的log文件研究心得
之前一直不清楚MapReduce阶段System.out打印到哪儿去了.现在知道了,任务分发了节点后,是无法再客户端窗口查看的.要想查看,需要打开默认关闭的JobHistoryServer进程.存放在 ...
大数据杂谈篇：认识大数据生态(个人心得分享)
内容简介一.什么是大数据?它可以做什么? 二.走进大数据生态框架 1.Hadoop 2.Spark 3.Hive 4.HBase 5.Kafka 6.Flume 7.Zookeeper 三.初识大数 ...
神经网络程序设计学习心得
神经网络程序设计学习心得简枢 SB16225001 本学期有幸再次选择了孟宁老师的2016年秋-网络程序设计课程.该课程主要聚焦于神经网络程序设计,基于深度学习神经网络等机器学习技术实现一个医学 ...
centos7 搭建Spark On Yarn集群
背景: 之前我已经搭好了hadoop3和hive3,但是了解hive3.1.2只能匹配spark2.4版本,所以我这次安装spark2.4.5. Hive3 Hadoop3 首先保证h ...
Java EE学习心得
–Java EE学习心得 1. 称为编程专家的秘诀是: 思考-----编程--------思考------编程--.. 编程不能一步到位,不能一上来就编,必须先思考如何写,怎样写?然后再编程 ...
centos 安装 node12以及yarn
安装node 12 curl -sL https://rpm.nodesource.com/setup_12.x | bash - yum install nodejs 安装yarn curl -sL ...

最新文章

热门文章