springboot服务器没响应,记一次springboot 故障：接口无响应--》CPU 100%---》log无法写入---》磁盘满了...

早上突然有小伙伴说系统无法访问，

以下记录下解决过程：

测试了一个接口结果如下

接口没有响应

先看下应用日志

日志使用tail -f 不会自己追加，用htop看到系统两个核都100%，看到是应用占用的

接下了分析下Java程序怎么占用的

先来个总的：

服务器CPU使用率一直很高，达到100% 定位方法

方法一：

转载：http://www.linuxhot.com/java-cpu-used-high.html

1.jps 获取Java进程的PID。

2.jstack pid >> java.txt 导出CPU占用高进程的线程栈。

3.top -H -p PID 查看对应进程的哪个线程占用CPU过高。

4.echo “obase=16; PID” | bc 将线程的PID转换为16进制,大写转换为小写。

5.在第二步导出的Java.txt中查找转换成为16进制的线程PID。找到对应的线程栈。

6.分析负载高的线程栈都是什么业务操作。优化程序并处理问题。

方法二：

1.使用top 定位到占用CPU高的进程PID

top

通过ps aux | grep PID命令

2.获取线程信息，并找到占用CPU高的线程

ps -mp pid -o THREAD,tid,time | sort -rn

3.将需要的线程ID转换为16进制格式

printf "%x\n" tid

4.打印线程的堆栈信息

jstack pid |grep tid -A 30

方法3:

1.确认占用过高的进程

ps -ef|grep mem-* 查看进程的pid

top -Hp PID 查看某进程PID的

jstack -l 21113 查看线程的堆栈

具体操作

jps 获取Java进程的PID。

8783

jstack pid >> java.txt 导出CPU占用高进程的线程栈

使用jstack 打印上面查到的java pid 中的线程

打印线程的堆栈信息

没有异常？？？

再去看下log，指定最后100行

哇哦，log写入停止前报了一个日志写入错误，日志写不进去，估计是磁盘的问题

果然，满了

看下谁占了，并依次往里看

删除占空间的应用日志后，发现/a**的分区磁盘容量回来了，但是根目录还是99%，从du -sh /*结果来看，/tmp占用的较多，看下/tmp挂载点是否和/在同一个分区上：df -h /tmp 结果如下

清除/tmp文件夹下的临时文件后

好了，重启下应用，正常了

我的天，原来绕这么一大圈只是磁盘问题，从查看应用日志发现日志不会追加就应该看出端倪了。。。

来源：https://www.icode9.com/content-4-677901.html

springboot服务器没响应,记一次springboot 故障：接口无响应--》CPU 100%---》log无法写入---》磁盘满了...相关推荐

Doom流量回放工具导致的测试环境服务接口无响应的排查过程
Doom流量回放工具导致的测试环境服务接口无响应的排查过程现象描述: a)部分接口(A组接口)无响应 b)部分接口(B组接口)正常响应 c)还有一部分接口(C组接口),场景1无响应,场景2正常响应 ...
解决wps writer未响应无法打印，一点打印就无响应死机，PDF用网页打开打印也会死机的问题
问题描述要打印word文件时,电脑出现wps writer未响应无法打印,一点打印就无响应死机,导出PDF用网页打开打印也会死机的情况.简单粗暴,下面直接上解决方案. 解决方案: 1.win + R ...
刀塔2国服服务器都未响应,电脑中玩dota2卡死出现无响应蓝屏红字warning：connection problem如何解决...
dota2是款众多玩家都非常青睐的一款网络游戏,可是在电脑中玩的时候,想必很多玩家都会碰到这样的现象,比如玩odta2选人或者进画面会卡住不动或者出现无响应的情况,或者右上角显示红字warning:c ...
电动车充电显示服务器无响应,纯电动汽车在充电时屏幕显示BMS无响应是怎么回事？...
问题描述:纯电动汽车在充电时屏幕显示BMS无响应是怎么回事? 领域专家:BMS无响应基本上可以分为以下几种: 第一,车辆和充电桩通讯没有成功.一般来说对于快速直流充电桩来说,在充电前,充电桩会和车辆进 ...
迅雷服务器未响应,win10系统打开迅雷就卡死无响应的解决方法
作为大多数用户都使用的win10系统,如果发生win10系统打开迅雷就卡死无响应的情况,想必大家都遇到过win10系统打开迅雷就卡死无响应的情况吧,那么应该怎么处理win10系统打开迅雷就卡死无响应呢 ...
苹果服务器暂停响应怎么打开,iPhone 应用卡死、无响应或无法退出怎么办？
如果您在 iPhone 上打开某个应用之后,出现停止响应.闪退或无法退出某个应用的情况,可以尝试按照以下办法解决问题: 应用停止响应: 1.如果在 iPhone 上打开应用之后无响应.卡死,可以尝试强 ...
win10打开程序响应很慢_Win10系统如何关闭全部无响应进程?
微信原文: Win10系统如何关闭全部无响应进程?mp.weixin.qq.com 我们在日常使用win10系统的过程中,不管你的电脑是什么配置,用的是机械硬盘还是固态硬盘,你肯定都遇到过程序无响应 ...
git pull 无响应_git clone 和 git pull 代码无响应
记录一下今天 git 拉代码遇到的一些异常情况: 无论是项目目录下 git pull 还是直接 git clone 都不能正常拉代码: 异常情况1 ssh: connect to host gitee ...
计算机无响应 win7,Win7系统计算机关闭时无响应的解决方案
Win7系统已经使用了很长时间,许多网友报道说,计算机无法响应win7系统的关机问题非常不便. 有什么方法可以永久解决win7系统计算机点关机无响应的问题,面对win7系统计算机点关机无响应的故障问题 ...

springboot服务器没响应,记一次springboot 故障：接口无响应--》CPU 100%---》log无法写入---》磁盘满了...

springboot服务器没响应,记一次springboot 故障：接口无响应--》CPU 100%---》log无法写入---》磁盘满了...相关推荐

最新文章

热门文章