Linux Kernel Panic 报错解决思路

作为系统管理员面对server重启都起不来，那是一个相当烦躁，接显示器查看经常会碰到遇到这样的字眼"Kernel Panic" 在这里Peace从网上搜了篇文章说的很详细贴出来与大家一起分享下~
正文如下：
Linux虽然没有蓝屏现象，不过Kernel报错有时也会让人头疼。有时重启后正常，linux系统运行一段时间后又down了，总不能出现问题就reboot啊。我从网上搜集一下资料，整理了出来，希望大家能在评论与我交流您的看法与经验。
什么是Kernel Panic?
wiki:
A kernel panic is an action taken by an operating system upon detecting an internal fatal error from which it cannot safely recover. The term is largely specific to Unix and Unix-like systems; for Microsoft Windowsoperating systems the equivalent term is “Bug check” (or, colloquially, “Blue Screen of Death“).
The kernel routines that handle panics (in AT&T-derived and BSD Unix source code, a routine known as panic()) are generally designed to output an error message to the console, dump an p_w_picpath of kernel memory to disk for post-mortemdebugging and then either wait for the system to be manually rebooted, or initiate an automatic reboot. The information provided is of highly technical nature and aims to assist a system administrator or software developer in diagnosing the problem.
Attempts by the operating system to read an invalid or non-permitted memory address are a common source of kernel panics. A panic may also occur as a result of a hardware failure or a bug in the operating system. In many cases, the operating system could continue operation after memory violations have occurred. However, the system is in an unstable state and rather than risking security breaches and data corruption, the operating system stops to prevent further damage and facilitate diagnosis of the error.
The kernel panic was introduced in an early version of Unix and demonstrated a major difference between the design philosophies of Unix and its predecessor Multics. Multics developer Tom van Vleck recalls a discussion of this change with Unix developer Dennis Ritchie:
I remarked to Dennis that easily half the code I was writing in Multics was error recovery code. He said, “We left all that stuff out. If there’s an error, we have this routine called panic, and when it is called, the machine crashes, and you holler down the hall, ‘Hey, reboot it.’”[1]
The original panic() function was essentially unchanged from Fifth Edition UNIX to the VAX-based UNIX 32V and output only an error message with no other information, then dropped the system into an endless idle loop. As the Unixcodebase was enhanced, the panic() function was also enhanced to dump various forms of debugging information to the console.
panic是英文中是惊慌的意思，Linux Kernel panic正如其名，linux kernel不知道如何走了，它会尽可能把它此时能获取的全部信息都打印出来。
有两种主要类型kernel panic：
1.hard panic(也就是Aieee信息输出)
2.soft panic (也就是Oops信息输出)
常见Linux Kernel Panic报错内容：
Kernel panic-not syncing fatal exception in interrupt
kernel panic – not syncing: Attempted to kill the idle task!
kernel panic – not syncing: killing interrupt handler!
Kernel Panic – not syncing：Attempted to kill init !
什么会导致Linux Kernel Panic?
只有加载到内核空间的驱动模块才能直接导致kernel panic，你可以在系统正常的情况下，使用lsmod查看当前系统加载了哪些模块。
除此之外，内建在内核里的组件（比如memory map等）也能导致panic。
因为hard panic和soft panic本质上不同，因此我们分别讨论。
hard panic
一般出现下面的情况，就认为是发生了kernel panic:
  1. 机器彻底被锁定，不能使用
  2. 数字键(Num Lock)，大写锁定键(Caps Lock)，滚动锁定键(Scroll Lock)不停闪烁。
  3. 如果在终端下，应该可以看到内核dump出来的信息（包括一段”Aieee”信息或者”Oops”信息）
  4. 和Windows蓝屏相似
原因：
对于hard panic而言，最大的可能性是驱动模块的中断处理(interrupt handler)导致的，一般是因为驱动模块在中断处理程序中访问一个空指针(null pointre)。一旦发生这种情况，驱动模块就无法处理新的中断请求，最终导致系统崩溃。
信息收集
根据panic的状态不同，内核将记录所有在系统锁定之前的信息。因为kenrel panic是一种很严重的错误，不能确定系统能记录多少信息，下面是一些需要收集的关键信息，他们非常重要，因此尽可能收集全，当然如果系统启动的时候就kernel panic，那就无法只知道能收集到多少有用的信息了。
  1. /var/log/messages: 幸运的时候，整个kernel panic栈跟踪信息都能记录在这里。
  2. 应用程序/库 日志: 可能可以从这些日志信息里能看到发生panic之前发生了什么。
  3. 其他发生panic之前的信息，或者知道如何重现panic那一刻的状态
  4. 终端屏幕dump信息，一般OS被锁定后，复制，粘贴肯定是没戏了，因此这类信息，你可以需要借助数码相机或者原始的纸笔工具了。
如果kernel dump信息既没有在/var/log/message里，也没有在屏幕上，那么尝试下面的方法来获取（当然是在还没有死机的情况下）：
  1. 如果在图形界面，切换到终端界面，dump信息是不会出现在图形界面的，甚至都不会在图形模式下的虚拟终端里。
  2. 确保屏幕不黑屏，可以使用下面的几个方法：
    • setterm -blank 0
    • setterm -powerdown 0
    • setvesablank off
  3. 从终端，拷贝屏幕信息（方法见上）
完整栈跟踪信息的排查方法
栈跟踪信息(stack trace)是排查kernel panic最重要的信息，该信息如果在/var/log/messages日志里当然最好，因为可以看到全部的信息，如果仅仅只是在屏幕上，那么最上面的信息可能因为滚屏消失了，只剩下栈跟踪信息的一部分。如果你有一个完整栈跟踪信息的话，那么就可能根据这些充分的信息来定位panic的根本原因。要确认是否有一个足够的栈跟踪信息，你只要查找包含”EIP”的一行，它显示了是什么函数和模块调用时导致panic。
使用内核调试工具(kenrel debugger ,aka KDB)
如果跟踪信息只有一部分且不足以用来定位问题的根本原因时，kernel debugger(KDB)就需要请出来了。
KDB编译到内核里，panic发生时，他将内核引导到一个shell环境而不是锁定。这样，我们就可以收集一些与panic相关的信息了，这对我们定位问题的根本原因有很大的帮助。
使用KDB需要注意，内核必须是基本核心版本，比如是2.4.18，而不是2.4.18-5这样子的，因为KDB仅对基本核心有效。
soft panic
症状：
  1. 没有hard panic严重
  2. 通常导致段错误(segmentation fault)
  3. 可以看到一个oops信息，/var/log/messages里可以搜索到’Oops’
  4. 机器稍微还能用（但是收集信息后，应该重启系统）
原因：
凡是非中断处理引发的模块崩溃都将导致soft panic。在这种情况下，驱动本身会崩溃，但是还不至于让系统出现致命性失败，因为它没有锁定中断处理例程。导致hard panic的原因同样对soft panic也有用（比如在运行时访问一个空指针)
信息收集：
当soft panic发生时，内核将产生一个包含内核符号(kernel symbols)信息的dump数据，这个将记录在/var/log/messages里。为了开始排查故障，可以使用ksymoops工具来把内核符号信息转成有意义的数据。
为了生成ksymoops文件,需要：
  • 从/var/log/messages里找到的堆栈跟踪文本信息保存为一个新文件。确保删除了时间戳(timestamp)，否则ksymoops会失败。
  • 运行ksymoops程序（如果没有，请安装）
  • 详细的ksymoops执行用法，可以参考ksymoops(8)手册。
Kernel panic实例：
今天就遇到 一个客户机器内核报错：“Kernel panic-not syncing fatal exception”
重启后正常，几个小时后出现同样报错，系统down了，有时重启后可恢复有时重启后仍然报同样的错误。
我先来解释一下什么是fatal exception?
“致命异常（fatal exception）表示一种例外情况，这种情况要求导致其发生的程序关闭。通常，异常（exception）可能是任何意想不到的情况（它不仅仅包括程序错误）。致命异常简单地说就是异常不能被妥善处理以至于程序不能继续运行。
软件应用程序通过几个不同的代码层与操作系统及其他应用程序相联系。当异常（exception）在某个代码层发生时，为了查找所有异常处理的代码，各个代码层都会将这个异常发送给下一层，这样就能够处理这种异常。如果在所有层都没有这种异常处理的代码，致命异常（fatal exception）错误信息就会由操作系统显示出来。这个信息可能还包含一些关于该致命异常错误发生位置的秘密信息（比如在程序存储范围中的十六进制的位置）。这些额外的信息对用户而言没有什么价值，但是可以帮助技术支持人员或开发人员调试程序。
当致命异常（fatal exception）发生时，操作系统没有其他的求助方式只能关闭应用程序，并且在有些情况下是关闭操作系统本身。当使用一种特殊的应用程序时，如果反复出现致命异常错误的话，应将这个问题报告给软件供应商。 ”
而且此时键盘无任何反应，必然使用reset键硬重启。
panic.c源文件有个方法，当panic挂起后，指定超时时间，可以重新启动机器
方法：
#vi /etc/sysctl.conf  添加
kernel.panic = 20 #panic error中自动重启，等待timeout为20秒
kernel.sysrq=1 #激活Magic SysRq  否则，键盘鼠标没有响应
按住 [ALT]+[SysRq]+[COMMAND], 这里SysRq是Print SCR键，而COMMAND按以下来解释！
b – 立即重启
e – 发送SIGTERM给init之外的系统进程
o – 关机
s – sync同步所有的文件系统
u – 试图重新挂载文件系统
配置一下以防万一。
很多网友安装linux出现“Kernel panic-not syncing fatal exception in interrupt”是由于网卡驱动原因。
解决方法：将选项“Onboard Lan”的选项“Disabled”,重启从光驱启动即可。
等安装完系统之后，再进入BIOS将“Onboard Lan”的选项给“enable”，下载相应的网卡驱动安装。
如出现以下报错：
init() r8168 … 
          … …
         … ：Kernel panic: Fatal exception
r8168是网卡型号。
在BIOS中禁用网卡，从光驱启动安装系统。再从网上下载网卡驱动安装。
#tar  vjxf  r8168-8.014.00.tar.bz2
 
# make  clean  modules       (as root or with sudo)
# make  install
# depmod  -a
# modprobe  r8168
安装好系统后reboot进入BIOS把网卡打开。
另有网友在Kernel panic出错信息中看到“alc880”，这是个声卡类型。尝试着将声卡关闭，重启系统，搞定。
安装linux系统遇到安装完成之后，无法启动系统出现Kernel panic-not syncing fatal exception。很多情况是由于板载声卡、网卡、或是cpu 超线程功能（Hyper-Threading ）引起的。这类问题的解决办法就是先查看错误代码中的信息，找到错误所指向的硬件，将其禁用。系统启动后，安装好相应的驱动，再启用该硬件即可。
另外出现“Kernel Panic — not syncing: attempted to kill init”和“Kernel Panic — not syncing: attempted to kill idle task”有时把内存互相换下位置或重新插拔下可以解决问题。
快乐学习，快乐分享！

转载于:https://blog.51cto.com/hepeace/1033079

Linux Lernel Panic 报错解决思路相关推荐

  1. Linux Kernel Panic报错解决思路

    Linux虽然没有蓝屏现象,不过Kernel报错有时也会让人头疼.有时重启后正常,linux系统运行一段时间后又down了,总不能出现问题就reboot啊.我从网上搜集一下资料,整理了出来,希望大家能 ...

  2. firefly AIO-RK3399J Linux SDK编译报错解决

    Firefly AIO-RK3399J Linux SDK编译报错解决 Zhang-Zhen 2020-09-30 22:01:04  收藏 分类专栏: RK3399工作记录 文章标签: linux  ...

  3. Linux/ubuntu:Chrome报错解决： error while loading shared libraries: libnss3.so libXss.so.1 libasound.so.

    下午在用nodejs在linux上操作puppeteer/chromium/chrome时报错如下: -> # node search.js count is 1 (node:15360) Un ...

  4. 混合血与泪的经验：Linux下vim---E325报错解决方法

    一.问题描述 有时候vim进入之前意外退出的文件时会出现如下报错: 二.如何解决 退出vim,返回当前目录. 在当前目录下rm -f 将下图中的框住的文件删掉,我这里要删的文件是**.mycode.c ...

  5. get_headers()请求https报错解决思路

    场景:项目中客户端上传文件到OSS后,返回给服务端一个OSS的文件对象名称. 服务端拿到文件对象名称后,需要通过OSSClient生成一个签名url,然后提供下载服务. 下载服务中,拿到URL后要去校 ...

  6. Intellij IDEA中push代码到github中引发的部分报错 解决思路

    一.Intellij IDEA中push代码到Github上时报错:OpenSSL SSL_read: Connection was reset, errno 10054 百度参考了这篇文章: 参考文 ...

  7. 遇到mysqladmin flush-hosts报错解决思路

    背景 今天早上遇到有Hue用户登录不上,查看集群状态服务有问题. 查看报错日志如下,应该是对应的用户报错链接太多了,导致报错.而我们这边的用户都是运维通过一个nginx中转过来的,所以都是同一个ip地 ...

  8. Linux/Debian/Ubuntu报错解决：W: Target Packages (main/binary-amd64/Packages) is configured multiple times

    此文首发于我的Jekyll博客:zhang0peter的个人博客 今天在ubuntu上更新库(apt update)的时候遇到了报错: -> # apt update Hit:1 http:// ...

  9. 使用addr2line 定位 FORTIFY: vsprintf: prevented write past end of buffer‘ 报错解决思路

    一.前言 C/C++平时用的不多,写段代码就错误百出,最近写了一段文件读取的.运行的时候直接so挂掉了.网上百度了一下 FORTIFY: vsprintf: prevented write past ...

最新文章

  1. 谈一谈浏览器解析CSS选择器的过程【前端每日一题-6】
  2. django权限系统实现步骤_Django权限机制的实现
  3. C:简单的学生信息处理程序实现
  4. 对于Dubbo一些自己的答案
  5. LINUX IRC使用
  6. python就业班 miniweb框架_mini-web框架
  7. 服务器上Oracle System如何修改system用户密码
  8. delphi如何获得select得到的信息_如何建立闭环的笔记体系
  9. php实现微信小程序人脸识别登录
  10. android音频框架
  11. Altium designer学习（二）pcb库不求人——立创商城导出封装库
  12. 重点人员动态管控系统开发方案，情指勤一体化平台建设
  13. 深圳神州行今日起单向收费 零月租成套餐亮点
  14. C++ 面向对象高级开发（侯捷）
  15. 阿里巴巴云连接池durid数据库密码加密
  16. iOS 自动生成各种尺寸的App Icon 和 Launch Image（ App Icon Gear）
  17. 【云宏大讲坛】超融合，融合的不仅是基础架构
  18. 去雾模块dehaze.py（可直接调用）
  19. HEVC代码学习35：xEncodeCU函数
  20. 2021-04-24

热门文章

  1. spring中lazy-init详解
  2. 二维码 | 如何实现一码多用
  3. mysql 代替intersect_MySQL不支持INTERSECT和MINUS及其替代方法_MySQL
  4. pythonsqlite3教程_使用 Python 在线操作 sqlite3
  5. hdu4421 2-sat(枚举二进制每一位)
  6. 【数字信号处理】离散时间信号 ( 离散时间信号知识点 | 信号定义 | 信号分类 | 根据确定性分类 | 根据周期性分类 | 根据离散型分类 )
  7. 【Groovy】闭包 Closure ( 闭包作为函数参数 | 代码示例 )
  8. 【Android Protobuf 序列化】Protobuf 使用 ( Protobuf 源码分析 | 创建 Protobuf 对象 )
  9. 【计算理论】自动机设计 ( 设计自动机 | 确定性自动机设计示例 | 确定性与非确定性 | 自动机中的不确定性 )
  10. 【数据挖掘】神经网络 后向传播算法 向前传播输入 案例计算分析 ( 网络拓扑 | 输入层计算 | 隐藏层计算 | 输出层计算 )