SparkSteaming程序异常问题排查步骤

程序运行环境：Spark on yarn cluster环境

异常问题排查步骤：

1.首先在yarn页面查看程序的运行情况，点击running页面查看程序是否掉线。

2.不掉线的情况,点击上图的 Tracking UI对应的：ApplicationMaster进入任务详细信息页面，查看jobs 和Streaming页面查看是否正常。

3.如果程序有问题，在Streaming页面就可以此批次下的异常记录进行排查。

上图为正常情况，未贴上异常问题图片，如有问题此批次下就可看异常明显。

4.此外也可以通过其他方法查看

（1）通过Executors页面查看,此页面可以查看driver和executor上运行的报错信息。

因有时在页面上查看异常时，可能偶遇页面无法打开的情况，顾需要了解如何在服务器上查看log

(2)服务器上查看log

1.首先通过上图Executor页面，可以知道driver对应的地址，假如为172.34.3.12,登录此台服务器。切换为yarn 用户：su - yarn

在yarn用户下，使用jps -m | grep Application_id 查找此application的进程。此时会发现运行在此服务器上的applicationMaster也及driver. 确认此applicationMaster运行在此服务器上，使用：find /hadoop/yarn -name app.log查找对应的 application_id运行的app.log文件，查看程序运行情况，注意，如果程序停止后此log也会丢失。默认的app.log的地址：hadoop/yarn/local/usercache/spark/appcache/application_1542545489360_9520/container_e28_1542545489360_9520_01_000001/log/app.log

2.可以查看其excutor 的运行log,如上图executor id=1, 找到对应的ip地址，到此服务器上。切换为yarn 用户：su - yarn ,使用jps -m | grep Application_id 查找此application的进程，此时运行的是CoarseGrainedExecutorBackend，这是executor的守户进程。确认此application_id运行的executor后，在/hadoop/yarn/log/可以查看Executor 上执行Application的log信息，默认地址：cd /hadoop/yarn/log/application_1542545489360_9520/container_e28_1542545489360_9520_01_000002

在此目录下会有：directory.info launch_container.sh stderr stdout 在stderr中查看log信息。

SparkSteaming程序异常问题排查步骤相关推荐

HDFS集群常见异常及排查步骤
1.问题一: 权限问题.比如hdfs需要写入目录的权限不足,本地目录工作异常,(权限问题),出现异常后大家不要看到一堆错误代码就心慌,不必害怕.hadoop目录下有个日志文件夹. 如果那个节点出现问 ...
服务器流量异常排查步骤（查看进程的流量）
服务器流量异常排查步骤(查看进程的流量) 参考文章: (1)服务器流量异常排查步骤(查看进程的流量) (2)https://www.cnblogs.com/pangguoping/p/5836725. ...
CentOS服务器上搭建Gitlab安装步骤、中文汉化详细步骤、日常管理以及异常故障排查
CentOS服务器上搭建Gitlab安装步骤.中文汉化详细步骤.日常管理以及异常故障排查参考文章: (1)CentOS服务器上搭建Gitlab安装步骤.中文汉化详细步骤.日常管理以及异常故障排查 ( ...
PLC故障排查步骤的思路和方法
PLC故障排查步骤的思路和方法 PLC硬件损坏或软件运行出错的概率极低,检查故障时,重点应放在PLC的外围电气元件,PLC的故障大多数是外围接口信号故障,维修时,只要PLC有部分控制的动作正常,就不用 ...
java 宕机_Java应用/JVM宕机排查步骤操作
相信大家都遇到过,自己的Java应用运行一段时间就宕机了或者响应请求特别慢.这时候就需要我们了来找出问题所在了.绝大部分都是代码问题导致的. 一.服务宕机如果是服务宕机,发生致命问题导致进程已经死掉 ...
Java线上CPU内存冲高问题排查步骤
1 引言作为一名从事Java开发快一年的程序员,在线上经常碰到某个模块的Pod发出CPU与内存告警的问题,而这些问题会导致系统响应缓慢甚至是服务不可用.一般情况下可以通过重启或者调高Pod的资源量或 ...
小程序异常监控及错误处理
小程序异常监控收集 web端与小程序错误监控差异在 Web 端监测的是页面完整的 url,而小程序端监测的是路由地址: 小程序页面属于app内部的页面,使用时已全部加载完毕,因此监控页面性能时不统计 ...
uboot下tftp下载文件失败的排查步骤
1.排查步骤 (1)网线是否已经插上单板并连接正常; (2)可以先把网线插到其他设备上,确认网线是否可以正常工作; (3)确认单板与PC之间是否是网络直连:如果不是网络直连,则要先尝试去ping网关地 ...
c++程序异常定位方法
文章目录 (一).core.dump (二).dmesg (三).pstack (四).strace (五).valgrind 对于c++程序来说,以segment fault为代表的程序异常行为前奇 ...

SparkSteaming程序异常问题排查步骤

SparkSteaming程序异常问题排查步骤

SparkSteaming程序异常问题排查步骤相关推荐

最新文章

热门文章