CCAH-CCA-500-4题:Where are Hadoop task log files stored?

4.Where are Hadoop task log files stored?

For each YARN job, the Hadoop framework generates task log file. Where are Hadoop task log files stored?
A.Cached by the NodeManager managing the job containers, then written to a log directory on the NameNode
B.Cached in the YARN container running the task, then copied into HDFS on job completion
C.In HDFS, in the directory of the user who generates the job
D.On the local disk of the slave mode running the task

问题:
对于每个yarn job,hadoop框架产生的task日志文件存储在哪个位置上？

解析:
    1.对于学习hadoop有段时间的和亲手搭建过,就会知道log文件一般肯定是存储在 local disk（本地磁盘）上,而不是存储在hdfs文件系统中。
    2.一般输出位置由yarn.nodemanager.log-dirs参数设置(Default Path is ${yarn.log.dir}/userlogs)
    <property>
      <name>yarn.nodemanager.log-dirs</name>
      <value>/home/root/workspace-yarn/nm/log</value>
    </property>.
   如果不配置将使得NodeManager进程处于Unhealthy状态，无法提供服务，现象是提交作业时，作业一直处于pending状态无法往下执行,所以必须配置。

CCAH-CCA-500-4题:Where are Hadoop task log files stored?相关推荐

Hadoop–Task 相关
在MapReduce计算框架中,一个应用程序被划分为Map和Reduce两个计算阶段.他们分别由一个或多个Map Task 和Reduce Task组成. Map Task: 处理输入数据集合中的一片 ...
ChinaSkills技能大赛网络系统管理Debian模块（样题一）||RSERVER TASK配置
该模块基于2021年全国职业院校技能大赛网络系统管理样题一的赛题,详细完整解答整个赛题. 关于本模块的技术支持可私信本人(小白奋斗ing)(B站同名) RSERVER TASK 1.NETWORK • ...
51 nod 1495 中国好区间奇葩卡时间题 700ms 卡O(n*log(n)), 思路：O(n)尺取法
题目: 这个题目竟然叫中国好区间,要不要脸.欸,不得不说还蛮顺口的,哈哈哈. 首先我们有一个数组a.可以递推得来,O(n)时间复杂度. 定义left(有效区间的左端点),bigger(有效区间中大于等 ...
在RedHat Enterprise Linux 上Oracle 9i的安装配置与调优
1 安装配置Oracle 9i数据库本章描述内容如下所示: 1.1 安装前的准备工作介绍在安装Oracle之前所需的准备工作. 1.2安装前的系统设置介绍在安装Oracle之前所必须的系统设置. ...
splunk 索引过程
术语: Event :Events are records of activity in log files, stored in Splunk indexes. 简单说,处理的日志或话单中中一行记录 ...
Hadoop十岁！Doug Cutting成长史+他眼中大数据技术的未来
上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上.今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝.最近CSDN和InfoQ都在制 ...
c语言程序上级考试答案,[转载]计算机C语言二级上级考试套题（二）
第5套 1. 程序填空题请补充函数fun,该函数的功能是:判断某一个年份是否为闰年. 例如,1900年不是闰年,2004是闰年. 注意:部分源程序给出如下. 请勿改动main函数和其他函数中的任何内 ...
Hadoop常见错误解析
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量 ...
成为大数据顶尖程序员，先过了这些Hadoop面试题！（附答案解析）
导读:在大数据开发岗位的需求下,工资待遇水涨船高,不少编程人员在面对职业瓶颈期的时候,会选择转编程方向发展. 你是否已经意识这是你人生中的一个重要转机?能不能抓住这个时代的机遇,就在于你对大数据信息的 ...

CCAH-CCA-500-4题:Where are Hadoop task log files stored?

CCAH-CCA-500-4题:Where are Hadoop task log files stored?相关推荐

最新文章

热门文章