linux宕机故障分析案例,[文章]Linux宕机故障分析案例

背景

在Linux系统环境下，服务器宕机发生的频率比较小，但是不少工程师或多或少都会遇到这种情况，有时候会手足无措，不知从何入手。笔者将借助一次案例分析，展示下Linux宕机故障事件的处理方法和思路。

宕机发生的原因不一，或者是硬件原因，或者是性能原因，或者是服务器触发了Linux的bug，导致内核崩溃等等。

案例分析

1、案情还原；

生产系统服务器dcspodsaa1在4月25日凌晨00：49分发生服务器宕机故障，当时系统管理员对硬件报错进行了截图(保留现场很重要)，看字面意思应该是服务器的swap设备发生损坏：

2、分析方法一：使用sosreport收集系统日志，检查/var/log/messages日志，查找系统重启前是否存在错误日志，图中kernel***/proc/kmsg started代表系统启动的第一条日志，在此之前没有发现异常日志，

3、分析方法二：检查服务器开启了kdump服务，并在/var/crash目录找到了当天生成的vmcore文件,使用crash工具分析vmcore文件，如下：

服务器发生了严重的系统崩溃panic错误

对kdmp文件的错误日志进行分析，发现了大量的swap 设备读写错误：

4、根据报错” Kernel panic –not syncing:Attempted to kill init”,查询到红帽官网KB：https://access.redhat.com/solutions/1450043，得到此次宕机事件的原因是系统 swap设备I/O读写失败，触发系统kill掉主进程“init”，系统发生内核崩溃，而关于系统swap分区读写错误产生的深层原因，涉及到Redhat底层内核的程序，建议开启红帽的官方case进行深度的分析处理。

5、分析方法三：检查系统历史性能记录，/var/log/sa/路径下记录了每天由sysstat服务收集的sar(system activity report)文件，默认每10分钟记录一次系统资源使用情况的信息，包括CPU、内存等。通过sar命令查看系统宕机时负载情况，没有发现资源使用异常，基本可以排除不是系统因性能不足从而导致宕机

4.25号性能记录文件

使用命令sar –A –F sa25 | more检查CPU性能信息和内存性能信息，没有发现异常情况。

其他配置

开启kdump：

安装依赖包

启动服务

设置开启启动

修改默认crashkernel参数为256M, 注意需重启系统才生效

使用crash工具分析vmcore文件：

1) 安装crash包，可使用yum安装

2) 安装kernel-debug内核版本，该rpm包必需和故障系统的内核版本一致

先使用unamre –r查看故障机版本

安装相应包

3) 启动crash检查

小结

因此，在处理故障时，一般的思路是：

1. 首先应查找故障前的错误日志线索，可以通过检查系统messages日志中的错误日志；

2. 如果没有，进而排查系统是否触发kdump服务(在系统由于内核崩溃而导致宕机时，可以捕获故障时内存中的故障信息)；

3. 另外也需要分析系统资源(CPU、内存等)使用上出现异常。

linux宕机故障分析案例,[文章]Linux宕机故障分析案例相关推荐

linux练习串口跟进程6,linux下串口测试程序
linux下串口测试程序通过简单的参数配置,执行文件+串口号+波特率 #include stdio.h #include stdlib.h #include unistd.h #include sy ...
Linux内存耗尽宕机6,转载：Linux服务器Cache占用过多内存导致系统内存不足最终java应用程序崩溃解决方案...
原文链接: https://blog.csdn.net/u014740338/article/details/66975550 问题描述 Linux内存使用量超过阈值,使得Java应用程序无可用内存, ...
CentOS Linux SELinux 安全上下文错误引起的宕机故障
(首发:学习日记 CentOS Linux SELinux 安全上下文错误引起的宕机故障 – 学习日记 ) 在某些情况下,我们会用一些外部的文件复制替换系统中原有的文件,如文件损坏,或者安装了错误版本 ...
linux内存不足宕机,记一次linux机器内存占用太多导致的服务宕机
背景最近我们测试环境部署的一个项目总是不停的宕机,之前也有过,但是最近特别频繁猜测可能是因为cup或者内存占用太大导致的服务宕机执行 1.登录linux服务器 2.top命令下面是对每一行信 ...
零基础到精通Linux，从这篇文章开始
2018年想做Linux运维的人应该如何学习才能快速精通Linux? Linux入门这么简单,为什么很多人学不会? 想要成为一个合格的运维工程师,到底怎么才能从零开始精通Linux? 作为一个运维小白 ...
oracle anonhugepage,案例:Oracle linux redhat检查Transparent HugePages状态并关闭
天萃荷净 ALERT: Disable Transparent HugePages on SLES11, RHEL6, OEL6 and UEK2 Kernels 随着去ioe的潮流越来越汹涌,随着内 ...
BSP板机支持包、linux启动分析、ARM裸机编程
文章目录一.BSP 二.驱动驱动的基本要素三.启动分析 1.uboot 2.uboot的作用 3.uboot相关命令关键的内容: 1)bootargs,启动参数 2)启动命令 3)修改启动延时 ...
Java内存溢出故障案例及Linux内存机制探究
文章目录 Java内存溢出故障案例及Linux内存机制探究 OOM Killer触发机制分析如何避免系统触发OOM Killer 这部分内容属于demo案例分享,解决线上运维问题,思路是最重要的 J ...
su user oracle does not exist,【案例】Linux文件系统无法mount 由superblock损坏导致
[案例]Linux文件系统无法mount 由superblock损坏导致时间:2016-12-19 10:33 来源:Oracle研究中心作者:网络点击: 次天萃荷净 Oracle ...
linux share目录多个机器访问,如何在linux下网上邻居访问另一台机windows共享的目录？（急）...
已经装好 samba-client 不知怎么用,请帮忙! | 随着Linux的普及,如何共享Linux下的文件成为用户关心的问题.其实,几乎所有的Linux发行套件都提供了一个很好的工具Samba-- ...

linux宕机故障分析案例,[文章]Linux宕机故障分析案例

linux宕机故障分析案例,[文章]Linux宕机故障分析案例相关推荐

最新文章

热门文章