CDH平台YARN日志查看和问题排查

1.查看YARN中作业的web端口

方式一：通过ResourceManagerWeb UI 查看日志：( 这种方式可以查看当前正在执行以及历史所有任务）

1.1 先找到 YARN ResourceManager 角色所在服务器的IP地址，可通过如下图方式进行查看。 CM操作路径：集群-YARN-实例-ResourceManage角色-主机。

1.2 然后查找端口，通过查找yarn-site配置项 yarn.resourcemanger.webapp.address 的值，默认是8088. 如下图所示。操作路径：集群-YARN-配置-yarn.resourcemanger.webapp.address配置项的值。

1.3 最终通过在浏览器输入 ip:端口即可。如下图所示：

方式二：通过 JobHistroyServer WebUI 查看日志（这种方式可以看到历史所有任务）

2.1 先找到YARN JobHistoryServer 角色部署的机器ip ，如下图所示。通过路径集群-实例-jobhistory server-主机查看。

2.2 通过查看yarn-site.xml配置项 mapreduce.jobhistory.webapp.address 的值来确定端口，如下图所示。路径：集群-配置- mapreduce.jobhistory.webapp.address 配置项的值，默认端口是19888。

2.3 通过ip:端口即可访问jobhistory webapp ui 。如下图所示。

2. 查看节点的IP地址
linux服务器直接使用ifconfig可以获取节点的ip地址

ifconfig

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 192.168.0.12  netmask 255.255.255.0  broadcast 192.168.0.255inet6 fe80::f816:3eff:fea9:d718  prefixlen 64  scopeid 0x20<link>ether fa:16:3e:a9:d7:18  txqueuelen 1000  (Ethernet)RX packets 459016996  bytes 194580488959 (181.2 GiB)RX errors 0  dropped 0  overruns 0  frame 0TX packets 368730025  bytes 113690018291 (105.8 GiB)TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

如果是使用的云服务器，一般显示的是内网地址，内网地址无法直接访问，可以使用如下方式获取外网地址：

curl cip.cc

显示：

IP   : 222.93.xxx.xxx
地址  : 中国  江苏  苏州
运营商 : 电信数据二 : 江苏省苏州市 | 电信数据三    : URL   : http://www.cip.cc/222.93.xxx.xxx

3.外网无法直接通过IP:Port访问的问题
其实问题很简单，因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名，而域名在Hosts又被解析成内网IP。

你使用netstat -apn | grep 8088看一下监听情况。

你会发现监听的是你的内网IP，而不是外网IP，所以HDFS的WEB UI就无法访问啦。

解决办法：如果你使用的是Apache Hadoop，那么需要去手动修改hdfs-site.xml的dfs.namenode.http-address，修改为0.0.0.0:50070。如果使用的是ClouderaManager，那么去HDFS->配置->搜索NameNode Default Group ，然后把NameNode Default Group圈上即可。

注意调整完毕后，需要重新启动HDFS

PS：多说一句，我个人建议在linux做一个VPN，然后连接上后，内网访问。这样相对来说会安全些。
4.yarn的日志的查看
4.1 dos端分析日志
MR运行缓慢问题：

INFO  : The url to track the job: http://cdh3:8088/proxy/application_1608273223539_24776/
INFO  : Starting Job = job_1608273223539_24776, Tracking URL = http://cdh3:8088/proxy/application_1608273223539_24776/
INFO  : Kill Command = /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hadoop/bin/hadoop job  -kill job_1608273223539_24776
INFO  : Hadoop job information for Stage-6: number of mappers: 1; number of reducers: 0
INFO  : 2021-03-01 12:57:37,956 Stage-6 map = 0%,  reduce = 0%
INFO  : 2021-03-01 12:57:54,249 Stage-6 map = 1%,  reduce = 0%, Cumulative CPU 20.28 sec
INFO  : 2021-03-01 12:58:17,658 Stage-6 map = 2%,  reduce = 0%, Cumulative CPU 41.31 sec
INFO  : 2021-03-01 12:58:54,249 Stage-6 map = 3%,  reduce = 0%, Cumulative CPU 63.1 sec
INFO  : 2021-03-01 12:59:25,721 Stage-6 map = 4%,  reduce = 0%, Cumulative CPU 80.04 sec
INFO  : 2021-03-01 12:59:50,096 Stage-6 map = 5%,  reduce = 0%, Cumulative CPU 100.91 sec
INFO  : 2021-03-01 13:00:21,575 Stage-6 map = 6%,  reduce = 0%, Cumulative CPU 118.26 sec
INFO  : 2021-03-01 13:00:44,931 Stage-6 map = 7%,  reduce = 0%, Cumulative CPU 139.41 sec

（1）查看ResourceManager节点位置：

（2）查看hive服务节点

（3）hive和yarn日志位置
hive日志位置：

[root@cdh2 hive]# pwd
/var/log/hive

yarn日志位置：

[root@cdh3 hadoop-yarn]# pwd
/var/log/hadoop-yarn

（4）任务查看

[root@cdh3 ~]# yarn application -list
WARNING: YARN_OPTS has been replaced by HADOOP_OPTS. Using value of YARN_OPTS.
21/03/01 10:56:51 INFO client.RMProxy: Connecting to ResourceManager at cdh3/192.168.0.57:8032
Total number of applications (application-types: [], states: [SUBMITTED, ACCEPTED, RUNNING] and tags: []):1Application-Id       Application-Name        Application-Type          User       Queue               State         Final-State         Progress                        Tracking-URL
application_1608273223539_24728 select * from ods_tmeter a join...c.meter_id (Stage-6)             MAPREDUCE          hive  root.users.4238a0b923820dcc509a            RUNNING           UNDEFINED           26.87%                   http://cdh2:45721

关注点：
任务id：application_1608273223539_24728
Application-Name：select * from ods_tmeter a join…c.meter_id (Stage-6)
Progress：26.87%
注意显示的阶段：Stage-6
注意这个命令不会实时刷新，可多次执行，查看任务进度。
（5）explain查看执行计划

 Stage: Stage-6Map ReduceMap Operator Tree:TableScanalias: cfilterExpr: meter_id is not null (type: boolean)Statistics: Num rows: 827649 Data size: 248294960 Basic stats: COMPLETE Column stats: NONEFilter Operatorpredicate: meter_id is not null (type: boolean)Statistics: Num rows: 827649 Data size: 248294960 Basic stats: COMPLETE Column stats: NONEMap Join Operatorcondition map:Inner Join 0 to 1keys:0 _col2 (type: string)1 meter_id (type: string)outputColumnNames: _col0, _col1, _col2, _col6, _col7, _col8, _col9, _col10, _col11, _col12, _col13, _col14, _col15, _col16, _col17, _col18, _col19, _col20, _col21, _col22, _col23, _col24, _col25, _col26, _col27, _col28, _col29, _col30, _col31, _col32, _col33, _col34, _col35, _col36, _col37, _col38, _col39, _col40, _col41, _col42, _col43, _col44, _col45, _col46, _col47, _col51, _col52, _col53, _col54, _col55, _col56, _col57, _col58, _col59, _col60, _col61, _col62, _col63, _col64, _col65, _col66, _col67, _col68, _col69, _col70, _col71, _col72Statistics: Num rows: 910413 Data size: 273124461 Basic stats: COMPLETE Column stats: NONESelect Operatorexpressions: _col0 (type: bigint), _col1 (type: bigint), _col2 (type: string), _col6 (type: int), _col7 (type: string), _col8 (type: string), _col9 (type: string), _col10 (type: string), _col11 (type: int), _col12 (type: int), _col13 (type: int), _col14 (type: string), _col15 (type: string), _col16 (type: string), _col17 (type: string), _col18 (type: string), _col19 (type: int), _col20 (type: string), _col21 (type: int), _col22 (type: int), _col23 (type: string), _col24 (type: string), _col25 (type: int), _col26 (type: string), _col27 (type: string), _col28 (type: string), _col29 (type: int), _col30 (type: int), _col31 (type: int), _col32 (type: string), _col33 (type: string), _col34 (type: int), _col35 (type: string), _col36 (type: int), _col37 (type: int), _col38 (type: int), _col39 (type: int), _col40 (type: string), _col41 (type: string), _col42 (type: string), _col43 (type: string), _col44 (type: string), _col45 (type: int), _col46 (type: string), _col47 (type: string), _col51 (type: bigint), _col52 (type: string), _col53 (type: timestamp), _col54 (type: double), _col55 (type: double), _col56 (type: double), _col57 (type: double), _col58 (type: double), _col59 (type: double), _col60 (type: double), _col61 (type: double), _col62 (type: double), _col63 (type: double), _col64 (type: double), _col65 (type: double), _col66 (type: double), _col67 (type: double), _col68 (type: double), _col69 (type: double), _col70 (type: double), _col71 (type: double), _col72 (type: double)outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9, _col10, _col11, _col12, _col13, _col14, _col15, _col16, _col17, _col18, _col19, _col20, _col21, _col22, _col23, _col24, _col25, _col26, _col27, _col28, _col29, _col30, _col31, _col32, _col33, _col34, _col35, _col36, _col37, _col38, _col39, _col40, _col41, _col42, _col43, _col44, _col45, _col46, _col47, _col48, _col49, _col50, _col51, _col52, _col53, _col54, _col55, _col56, _col57, _col58, _col59, _col60, _col61, _col62, _col63, _col64, _col65, _col66Statistics: Num rows: 910413 Data size: 273124461 Basic stats: COMPLETE Column stats: NONEFile Output Operatorcompressed: falseStatistics: Num rows: 910413 Data size: 273124461 Basic stats: COMPLETE Column stats: NONEtable:input format: org.apache.hadoop.mapred.SequenceFileInputFormatoutput format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormatserde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDeExecution mode: vectorizedLocal Work:Map Reduce Local Work

（6）查看表的统计信息

analyze table table_name compute statistics

可以查看表的详细情况，包括字段、行数、数据量大小等。

# 部分内容
INFO  : Executing command(queryId=hive_20210301125923_98edaef4-9abb-4f04-b3d3-289ee83d266c): analyze table ods_tmeterdata compute statistics
INFO  : Starting task [Stage-1:STATS] in serial mode
INFO  : Table 1dac07d54e85a5d7_default.ods_tmeterdata stats: [numFiles=564, numRows=11280186, totalSize=248294963, rawDataSize=3327614868, numFilesErasureCoded=0]

（7）查看join的key的分布情况

select key_column, count(*)
from table_name
group by key_column

参考资料：https://blog.csdn.net/qq_36039236/article/details/108216786
4.2 日志聚集
如果cdh中配置了历史服务器，那么MR运行的yarn日志就会存放在hdfs上，可以通过yarn-site.xml，查看目录位置：

<property><name>yarn.nodemanager.remote-app-log-dir</name><value>/app-logs</value>
</property>

查看目录：

[hdfs@node1 root]$ hdfs dfs -ls /app-logs/hdfs/logs
Found 1 items
drwxrwx---   - hdfs hadoop          0 2017-05-02 04:18 /app-logs/hdfs/logs/application_1493700892407_0007

2）查看日志文件信息（注意日期和时间）

[hdfs@node1 root]$ hdfs dfs -ls /app-logs/hdfs/logs
Found 1 items
drwxrwx---   - hdfs hadoop          0 2017-05-02 04:18 /app-logs/hdfs/logs/application_1493700892407_0007

如果访问权限不一致，可能导致报错：

ls: Permission denied: user=root, access=READ_EXECUTE, inode="/app-logs/hdfs/logs":hive:hadoop:drwxrwx---

可以通过如下方式，更改权限：

方式一：修改文件权限给root

hadoop fs -chown -R root:root  /app-logs/hdfs/logs

方式二：开放文件权限给所有人

hadoop fs -chmod -r 777 /app-logs/hdfs/logs

3）查看日志详情（注意查看节点重启前的几个敏感app）

yarn logs -applicationId application_1493700892407_0007（同2）

CDH平台YARN日志查看和问题排查相关推荐

hadoop yarn 获取日志_Hadoop YARN日志查看方式
点击关注上方"知了小巷", 设为"置顶或星标",第一时间送达干货. Hadoop YARN日志查看方式实验环境CDH6.3.2 Hadoop版本 $ hado ...
yarn application日志查看
Yarn application 日志查看方式一:正在运行任务,可以在任务启动后或者在yarn application UI页面找到applicationId,然后在服务器上查看:yarn logs ...
查看CDH平台各个组件的版本
查看CDH平台各个组件的版本 1.查看所有组件 2.任意选择一台主机 3.点击组件 4.查看此主机上所有角色的版本
Linux命令--more（查看日志文件内容，排查问题）
原文网址:Linux命令--more(查看日志文件内容,排查问题)_IT利刃出鞘的博客-CSDN博客简介说明本文介绍Linux的more命令的用法. more命令适用于查看比较大的文件,例如:日 ...
接口响应时间长排查，通过nginx日志查看接口响应时间
场景 vue项目中,页面请求接口响应速度非常慢,F12打开谷歌控制台,查看network,发现响应时间为1.14秒排查问题接口响应速度慢,后端打断点进入接口到返回这段时间有很快,要判断是什么问题, ...
如何查看yarn container日志查看yarn任务所有container信息 yarn gc日志的查看和简单分析
查看yarn任务日志任务运行中和结束时查看container的日志 GC日志的简单分析文章目录一.shell和yarn基础命令准备二.app日志查看 1. 直接使用yarn logs,可选择指 ...
CDH平台部署规划方案
此方案包含部分实施要点,作为部署实施参考.主要针对RHEL/Centos7.x系统,其他系统可能会有不同. 主机配置章节包含了部分针对Hadoop的操作系统优化. 服务版本操作系统 CentOS ...
华为服务器虚拟化断电,服务器断电日志查看
服务器断电日志查看内容精选换一换在安装完驱动后请执行以下操作清除系统日志.Windows 2008和Windows 2012的日志路径获取方式为:右键单击"计算机",选择&q ...
日志查看_实时查看容器日志
实时查看容器日志介绍一款使用了几个月的开源小工具,Dozzle.它是一款轻量.简单的容器日志查看工具. 本篇将简单介绍如何使用它,包括搭配 Traefik,以及如何快速从源码构建它. 写在前面这款 ...

CDH平台YARN日志查看和问题排查

CDH平台YARN日志查看和问题排查相关推荐

最新文章

热门文章