Hadoop之WEBUi界面功能介绍及日志配置查看

启动Hadoop服务器
sbin/start-all.sh
浏览器访问
http:// hadoop-senior01.test.com:8088

Cluster Metrics：集群指标

apps（提交、排队、运行、完成）

Containers：容器数

Memory：（使用的内存、总共内存、剩余内存）

VCores（CPU虚拟内核书）：（使用的、总共的，剩余的）

Cluster Nodes Metrics:集群节点指标

activenode：正在运行的

decommissioning node：正在退出的

lost node：丢失的

unhealthy：不健康的

rebootedNode：重启的

User metrics for dr.who：通过浏览器访问的默认用户

apps：同上

containers：（运行的、排队的、剩余的）

memory同上

vcores同上

show entries：

id、user、name、application（应用）、queue（队列）、starttime开始时间、state状态、finalState结束状态、runningContainers（container进程）、memory内存、VCores（cpu）、

progress（进度）、TrackIngUI（ApplicationMaster正在跑的时候会被打开，查看应用的情况）

Application应用：
new新的
new Saving：新保存的
SUbmitted：提交的
Accepted：已经接受的
RUNNING：正在跑的作业
Finished：结束的作业
Failed：失败的作业
KIlled:杀死的作业

Scheduller：资源调度器

聚合日志：

先启动hadoop：
sbin/start-alll.sh
一个mapreduce如何放到yarn上进行执行
WordCound程序
单机访问：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.x.x.jar wordcount <input> <input>
服务器访问本地
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.x.x.jar wordcount file:<input> file:<input>
WEB UI监控
节点状况
MapreduceApplication状况
Container分配状况

a、含义：
分布式计算作业放到NodeManager运行，日志信息放到NodeManager本地目录：
yarn.nodemanager.log-dirs:${yarn.log.dir}/userlogs
通过配置将本地日志放到HDFS服务器上，即集合日志的概念

聚合日志配置yarn-site.xml：

#启用日志聚合功能
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
#存放多长时间
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>3600</value>
</property>

yarn.log-aggregation-enable
是否启用日志聚合功能，日志聚合开启后保存到HDFS上
yarn.log-aggregation.retain-seconds
聚合后的日志在HDFS上保存多长时间，单位为s
yarn.log-aggregation.retain-check-interval-seconds
删除任务在HDFS上执行的间隔，执行时候将满足条件的日志删除（超过保存时间的日志），
如果是0或者负数，则为参数2设置值的1/10

yarn.nodemanager.log.retain-seconds
当不启用日志聚合此参数生效，日志文件保存本地的时间，单位为s
yarn.nodemanager.remote-app-log-dir
当应用程序运行结束后，日志被转移到的HDFS目录（启用日志聚集功能时有效），修改为保存的日志文件夹
yarn.nodemanager.remote-app-log-dir-suffix
远程日志目录子目录名称（启用日志聚集功能时有效）

启动历史服务器：

mapreduce.jobhitory.address
jobhistory的rpc访问地址
mapreduce.jobhistory.webapp.address
jobhistory的http访问地址
启动：sbin/mr-jobhistory-daemon.sh start historyserver
WEB UI
http:// <主机名>：19888
停止：sbin/mr-jobhistory-daemon.sh stop historyserver

作业执行完成之后，无法访问container，无法访问

也可以通过50070查看日志：

Hadoop之WEBUi界面功能介绍及日志配置查看相关推荐

1、solr包结构介绍，solrCore的安装配置，solr部署到Tomcat，多solrCore配置，配置中文分词器，界面功能介绍，Schema.xml的基本使用，数据导入
一.下载solr,下载地址是:http://archive.apache.org/dist/lucene/solr/,选择自己想要的solr的版本,本项目使用的版本是4.10.3 二.如果想下载Luc ...
三十九、SPSS神器界面功能介绍，计算变量和个案计数和加权
@Author : By Runsen @Date:2020/5/14 在2020年一月初,也是我大三上的寒假,我开始写书,为什么呢?因为化工原理和化工热力学挂了,我需要重拾自己的自信. 对于一个大学 ...
02.虚拟功能介绍虚拟机网络配置xshell远程连接
文章目录 0.运维三大职责 1.虚拟机功能介绍 1.1快照 1.2挂起操作 1.3复制系统 1.4克隆机修改ip 1.5删除虚拟系统 1.6导出系统 2.操作规范 2.1第一个规范 2.2第二个规范 ...
hadoop配置文件聚集功能（设置日志可以查看）
日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上. 日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试. 没有配置之前history中logs没有内容具体步骤: 1. ...
视频剪辑软件VEGAS Movie Studio 15版本界面功能介绍
听说最近VEGAS的家庭系列软件Movie Studio又出了新版的Movie Studio 15,那么具体有哪些新的功能和改动呢?一起跟随小编来看看吧! 首先,从软件的LOGO说起,新版的Movie ...
Android N 多窗口分析之freeform流程分析一（界面功能介绍）
先上两张效果图开下开启freeform时的功能在NavigationBar上点击了Recent 按钮时,会弹出图1 的界面点击图1中的Email上的Button(图1标示),进入Email应用界面 ...
[VMM 2008虚拟化之初体验-2] 界面功能介绍
最近比较忙,博客更新比较慢,没关系,慢慢来.因为我们都是在学习,所以机器的配置可能比较低,所以采取的方案是VMM 2008的所有组件都安装在一台机器上. 目前我的配置是: 处理器:Intel 酷睿2双 ...
Marketing Cloud profile界面功能介绍
Profile列表界面: Last Interaction - 最后一次交互的渠道 Interest:该客户感兴趣的内容 Engagement Score:客户engagement指数,越高越好 Se ...
Hadoop学习笔记—1.基本介绍与环境配置
一.Hadoop的发展历史说到Hadoop的起源,不得不说到一个传奇的IT公司-全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的G ...

Hadoop之WEBUi界面功能介绍及日志配置查看

Hadoop之WEBUi界面功能介绍及日志配置查看相关推荐

最新文章

热门文章