磁盘过热导致 3D32B80D NIM thread blocked故障
昨天机房空调坏了,气温过高,导致很多机器宕了!重启之后开始开始告警!系统为AIX6.1,与另一台主机做了HACMP。
错误信息为:
3D32B80D 0630172411 P S topsvcs NIM thread blocked
173C787F 0630172211 I S topsvcs Possible malfunction on local adapter
刚开始以为是网卡故障经检查排除!后对系统进行性能测试!
System configuration: lcpu=8 drives=11 paths=66 vdisks=0
tty: tin tout avg-cpu: % user % sys % idle % iowait
0.0 11.9 13.0 33.8 45.2 8.0
Disks: % tm_act Kbps tps Kb_read Kb_wrtn
hdisk1 90.4 47563.7 265.3 88 238860
hdisk0 92.6 47617.8 265.5 84 239136
hdisk2 0.0 0.0 0.0 0 0
hdisk5 0.0 0.0 0.0 0 0
hdisk3 0.0 0.0 0.0 0 0
hdisk4 0.0 0.0 0.0 0 0
hdisk6 72.7 73962.3 290.6 371568 0
hdisk7 0.0 0.0 0.0 0 0
hdisk9 0.0 7.2 1.8 0 36
hdisk8 48.8 13020.6 208.6 64880 532
cd0 0.0 0.0 0.0 0 0
Total Paging Space Percent Used
4096MB 1%
system Configuration: lcpu=8 mem=23552MB
kthr memory page faults cpu
----- ----------- ------------------------ ------------ -----------
r b avm fre re pi po fr sr cy in sy cs us sy id wa
3 1 2235313 2103640 0 0 0 17475 69850 0 1949 50107 12770 5 34 54 8
3 1 2235347 2103699 0 0 0 17504 17510 0 2199 58415 12838 11 31 46 12
2 1 2235433 2103596 0 0 0 17126 44291 0 1998 51542 12286 13 33 42 12
3 1 2235434 2103426 0 0 0 17999 44201 0 2089 52374 12540 13 31 43 13
2 1 2235421 2103530 0 0 0 18058 18766 0 2109 55067 12629 8 31 51 9
经测试发现内存、交换空间、cpu资源还有很多空闲,但hdisk0、hdisk1这两块磁盘过热,长时间观察使用率一直居高不下!确定为磁盘过热导致其他进程挂起,无法响应其他节点请求,产生网络超时错误!
iostat 3 5 --确定哪块磁盘过热
lspv --确定磁盘属于哪个vg
lvmstat -v vg_name -e --开启lvm分析报告
lvmstat -v vg_name --查看哪个lv过热
lslv lv_name --查看lv的mount point字段值
ps -ef|grep mount_point --找到一直占用资源的进程名
发现进程后通知应用,将应用迁移到磁盘阵列上!
本文转自戴柏阳的博客博客51CTO博客,原文链接http://blog.51cto.com/daibaiyang119/600952如需转载请自行联系原作者
daibaiyang119
磁盘过热导致 3D32B80D NIM thread blocked故障相关推荐
- mysql数据库binlog日志截断报错,导致mysql主从同步失败故障排查
mysql数据库binlog日志截断报错,导致mysql主从同步失败故障排查 Got fatal error 1236 from master when reading data from binar ...
- 教你解决主板过热导致的频繁死机
故障现象:一台Tualatin/256MB DDR/GeForce2 MX440主机频繁死机,以为感染病毒,经查杀后未发现任何病毒.又认为是硬盘碎片过多,导致系统不稳定.但整理硬盘碎片,甚至格式化C盘 ...
- 服务器开启虚拟机就死机,解决ESXi服务器上磁盘锁导致虚拟机卡死的问题
解决ESXi服务器上磁盘锁导致虚拟机卡死的问题 解决ESXi/ESX服务器上磁盘锁导致虚拟机假死.卡死的问题 当虚拟机被卡死或假死时,在文件夹里面只有如下内容信息: 1. .vswp 2. -flat ...
- K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路
K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路 文章目录 K8S集群中Node节点资源不足导致Pod无法运行的故障排查思路 1.Node节点资源不足可能会产生的故障 2.Node节点 ...
- 导致word文档损坏故障发生的原因是什么?
当Word软件找不到你要打开的特定Word文件时,一般会发出"找不到此文件"的错误信息.此故障主要是由Word文件损坏引起的.导致word文档损坏故障发生的原因是什么? word文 ...
- 解决Linux服务器磁盘爆满导致的MySQ错误Can‘t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock
@[解决Linux服务器磁盘爆满导致的MySQ错误Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.so ...
- 磁盘不足导致内存溢出问题
工作时候测试环境出现大面积服务挂掉,当重启服务后(脚本判断服务挂了之后会定时重启),一段时间后服务又挂掉了,这时候查看测试环境内存使用情况, 从图片可以看到内存只剩下200多M,buff缓存中的数据居 ...
- pcieport 0000:00:1.0:AER: PCIe Bus Error: severity=Corrected--解决ubuntu磁盘爆满导致无法开机问题
在ubuntu跑程序的时候结果数据太大导致磁盘爆满导致无法开机,出现了pcieport 0000:00:1c.5: PCIe Bus Error: severity=Corrected.....的报错 ...
- 【存储数据恢复案例】IBM存储服务器更换故障磁盘,数据同步引发其他磁盘问题导致业务中断-数据恢复
环境: IBM V7000存储 AIX+Sybase+V7000存储阵列柜 12块600G容量的SAS机械硬盘(其中一块为热备盘) 故障描述: IBM V7000磁盘故障,在更换磁盘数据同步的时候,另 ...
最新文章
- 对微软Microsoft Dynamics CRM 的认识
- springboot 整合hbase
- linux修改http版本信息,动态库中的soname中版本号的修改
- python安装jupyter出现问题_有关jupyterhub安装的问题
- 快节奏多人在线游戏网络入门系列教程(4):爆头!滞后补偿
- 【新星计划】怎么写好技术博客?
- Bulletproofs: Short Proofs for Confidential Transactions and More学习笔记
- Web前端实现3D旋转魔方相册【超详细】
- 光电信息科学与工程学c语言吗,光电信息工程专业排名_光电信息科学与工程专业可以考什么专业的研究生...
- 如何免费下载学术论文-谷粉学术
- 下班前几分钟,我彻底弄懂了并查集
- 看图写英语作文关于计算机,看图说话 英语作文图片上是一个小女孩看着电脑发呆,要求120字~...
- 小程序手机号码中间四位隐藏
- 语音识别评估标准-WER
- html字号计算,javascript – 获取div的计算字体大小
- 将视频格式转换为gif图片格式
- 怎么区分电脑风扇的正反面
- 文档处理容易“翻车”,来看看CCIG上的大咖怎么说
- Android--- 筛选框需求(1)房产类APP条件筛选框,包含区域(单选,多选),竖着排列(单选,多选),横向排列(单选,多选)
- 计算机磁盘管理分盘可以撤销吗,实用贴 | 新电脑拿到想给硬盘分区怎么办?分错如何挽救?...