记一次nodemanager无法启动的情况

早上看CDH发现有一个nodemanager挂掉

然后查看对应的日志。发现在日志里面并没有错误。，然然后发现服务器的磁盘满了，赶紧清理磁盘空间

清理磁盘的时候发现主要是/tmp目录下面生成了很多

类似这种的日志。

清理完空间之后重启nodemanager。发现还是启不来

到这里之后发现就停住了。。。。然后CDH页面就挂了nodemanager还是起不来。

继续查看

发现8042端口注册不上。然后继续追述上个日志只要nodemanager启动就会recovering application

所以 find 一下

find /* -name *application application_1560341746674_1515*

发现 /data/yarn/nm/usercache/root/appcache/* 目录下面很多类似的文件，时间为头一天晚上7点过，继续看zabbix监控发现

内存不足，

然后晚上九点过显示磁盘空间不足，解决办法

rm -fr /data/yarn/nm/usercache/*

删除cache之后重启nodemanager正常

并且删除

/var/lib/hadoop-yarn/yarn-nm-recovery/*

问题分析：由于这台机器上跑大任务，导致内存不足，内存不足 yarnnodemanager会一直报警写到 /tmp目录下，产生很多大文件，进而导致磁盘不足，

删除/tmp 下面的日志之后启动node 但是一直起不来，yarn会去cache里面 recovering任务，但是这些任务已经过时导致一直起不来，解决办法就是删除这些cache

详细信息可以参考

https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Yarn-NodeManager-fails-to-start-and-crashing-with-SIGBUS/m-p/67382#M3640

https://mapr.com/docs/61/AdministratorGuide/c-config-nodemanager-restart.html

转载于:https://www.cnblogs.com/ZFBG/p/11135425.html

记一次nodemanager无法启动的情况相关推荐

在未启动程序情况点击视图设计器弹出未将对象引用窗体的解决方案
请问下在未运行程序情况点击视图设计器弹出未将对象引用窗体解决方案: 1.看后台进程是不是相关的进程在启动,如果有关闭进程:重启vs,即可 2.重启电脑转载于:https://www.cn ...
记一次hadoop namenode 启动失败问题及解决过程（启动几秒钟后又挂了）
这是个小问题,但如果新手接触的话可能会花费一番时间才能解决,甚至会不知所措.在此重点记录的还是解决问题的方式. 问题描述在自己虚拟机上新安装了hadoop.在做单节点启动测试时发现namenode启 ...
记一次openshift origin-node启动报错
记一次openshift证书问题(origin-node因证书未自动更新,启动失败,导致集群服务不正常) 1.事件简述:某天访问公司openshift3.10集群上部署应用时访问报错app unava ...
Vmware 8导致apache2无法启动的情况
为了调Web前端的方便,在Windows下保留了一个xampp,今天突然出现apache启动后自动关闭的情况,比较郁闷..记得之前有过Skype占用80端口的情况,这次又是哪家抢占端口? XAMPP无 ...
S3C2440的内存情况在NAND FLASH或者NOR FLASH启动的情况下
1,从NANDFLASH启动时,在ARM上电时,ARM会自动把NANDFLASH前4K的内容拷贝到S3C2440内部SRAM中,同时把SRAM的地址映射到0X00000000.ARM上电后会从SRAM ...
oracle服务器不识别tc服务,记一次ORACLE无法启动登陆事故
打开XSHELL 登陆ORACLE用户 1.sqlplus scott/scott 提示登陆失败 2.sqplus / as sysdba 启动数据库提示 3.查找日志操作日志:$ORACLE_HO ...
mysql无法启动修复_记一次MySQL无法启动及修复经历
记得有次本地的MySQL无法启动,网上说,去删掉InnoDB日志就行,我就傻乎乎的去删掉了InnoDB相关的文件,果然,没有任何问题,正常启动了. 可是谁曾想,过了几天,故障复现了,我就按部就班的又去 ...
解决MyEclipse里Tomcat端口被占用而无法启动的情况
今天在MyEclipse里启动Tomcat时,控制台报错(myeclipse2013,tomcat 7.0.52) 错误显示java.lang.Exception: Socket bind faile ...
mysql docker oom_记一次 K3s MySQL 启动 OOM 排查
以前用Docker Compose做开发环境,MySQL也在Docker里运行,一切使用正常.后来开发环境迁移到K3s(轻量级的K8s),但是MySQL一启动就被OOM Killer干掉,所以一直没迁 ...
记一次windows 10启动报错 An operat ing system wasn‘t found. Try disconnecting any drives that don‘t con问题
电脑启动时报错: 戴尔台式机启动时报错 An operat ing system wasn't found. Try disconnecting any drives that don't conta ...

记一次nodemanager无法启动的情况

记一次nodemanager无法启动的情况相关推荐

最新文章

热门文章