java defunct_神奇的僵尸进程问题
现象描述
大概1个月多以前 在启动脚本中增加了tail -f,用来启动后追踪日志判断是否启动成功,后发现无法执行shutdown .sh(卡住 利用curl) 然后无奈使用kill -9,但通过ps -el 发现此时进程变为defunct 即僵尸进程,当时的解决办法无奈 只能找到僵尸进程的父进程kill,当时认为可能是tail的问题 后来启动脚本中去掉tail 发现问题解决。
But 当时一直没有来得及排查是如何引起僵尸进程的问题,这两天抽时间排查了一下,发现和tail没有一毛钱关系,艰难的排查过程1-尝试复现。
测试代码Defunct.java
import java.util.concurrent.TimeUnit;
public class Defunct{
public static void main(String[] args){
while (true) {
System.out.println("test defunct");
try {
TimeUnit.SECONDS.sleep(30);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}复制
#!/bin/bash
nohup java -cp defunct.jar Defunct &
echo "$!"
echo "$!" > pid复制
启动脚本start_tail.sh 使用了tail
#!/bin/bash
nohup java -cp defunct.jar Defunct &
echo "$!"
echo "$!" > pid
tail -f nohup.out复制
#!/bin/bash
pid=`cat pid`
echo $pid
kill $pid复制
分别用两个脚本测试,得出下面几个结论
start.sh启动的java进程的父进程是1 即init进程
start_tail.sh启动后 java进程的父进程是sh
sh分别有两个子进程 :一个是java子进程,一个是tail子进程
当启动start_tail.sh后 因为tail是前台进程 所以ctrl+c可以结束
此时sh和tail两个进程都结束了
而此时java进程的父进程变为了1
用这个例子做各种测试 都无法复现僵尸进程的问题
所以初步结论是貌似和tail没有什么关系
艰难的排查过程2-游戏服务器尝试复现
当初出现是在游戏服务器复现的 那么应该比较复现吧,修改了一下一个游戏服务器的启动脚本 默认是没有加tail 现在加上了tail -f,启动游戏服务器脚本 看到日志 启动成功 ctrl+c 退出tail,调用shutdown .sh 发现服务器顺利关闭
结论
竟然无法在游戏服务器复现
艰难的排查过程3-各种思考、查阅资料
首先从僵尸进程的产生原因入手,猜测是否是sh这个父进程没有调用waitpid去回收java子进程,查询网上类似的tomcat tail -f问题,思考当初1个多月以前的情形,其中有一个很重要的当初情形是shutdown的时候curl卡住了…
灵光一现
难道是当初操作失误了 没有按下ctrl+c 而是按下了ctrl+z
神奇的ctrl+z 复现测试代码defunct
启动start_tail.sh 然后ctrl+z
[xx@bulls deploy_defunct]$ sh start_tail.sh
3974
nohup: appending output to `nohup.out'
defunct2
^Z
[2]+ Stopped sh start_tail.sh复制
启动stop.sh 发现进程(3974)无法被stop
[xx@bulls deploy_defunct]$ sh stop.sh
3974
[xx@bulls deploy_defunct]$ jps
4146 Jps
3974 Defunct2
12790 MavsLauncher
3726 MavsLauncher复制
使用kill -9 尝试杀死进程 此时发现进程已经是defunct了
[xx@bulls deploy_defunct]$ kill -9 3974
[xx@bulls deploy_defunct]$ jps
3974 Defunct2
12790 MavsLauncher
4314 Jps
3726 MavsLauncher
[xx@bulls deploy_defunct]$ ps -el | grep 3974
0 Z 500 3974 3973 0 80 0 - 0 exit pts/4 00:00:00 java 复制
此时 只要使用fg命令 从后台调到前台 然后按下ctrl+c 则僵尸进程进程自动消失
[xx@bulls deploy_defunct]$ ps -el | grep 3974
0 Z 500 3974 3973 0 80 0 - 0 exit pts/4 00:00:00 java
[xx@bulls deploy_defunct]$ fg
sh start_tail.sh
^C
[xx@bulls deploy_defunct]$ ps -el | grep 3974复制
神奇的ctrl+z 复现游戏服务器defunct
启动脚本(有tail) 等待一段时间(将所有服务器全部开启) 并ctrl+z
[xx@bulls mavs-2]$ sh start.sh
......
^Z
[1]+ Stopped sh start.sh复制
此时执行shutdown.sh 发现没有任何反应(卡住) 无奈ctrl+c
[xx@bulls mavs-2]$ sh shutdown.sh
^C
[xx@bulls mavs-2]$ jps
9667 MavsLauncher
9796 Jps
[xx@bulls mavs-2]$ ll /proc/9667 | grep cwd
lrwxrwxrwx 1 xx xx 0 Dec 5 17:32 cwd -> /data/home/user00/xx/bulls/backend/mavs-2
[xx@bulls mavs-2]$ ps -el | grep 9667
0 T 500 9667 9666 7 80 0 - 1442848 signal pts/6 00:00:07 java
[xx@bulls mavs-2]$ ps -el | grep 9666
0 T 500 9666 8959 0 80 0 - 26521 signal pts/6 00:00:00 sh
0 T 500 9667 9666 7 80 0 - 1442848 signal pts/6 00:00:07 java
0 T 500 9669 9666 0 80 0 - 25241 signal pts/6 00:00:00 tail复制
此时执行jstack 也发现没有任何反应(卡住) 无奈ctrl+c
[xx@bulls mavs-2]$ jstack 9667
^C
此时执行kill -9 此时java进程已经变为了僵尸进程
[xx@bulls mavs-2]$ kill -9 9667
[xx@bulls mavs-2]$ ps -el | grep 9667
0 Z 500 9667 9666 1 80 0 - 0 exit pts/6 00:00:07 java 复制
此时用fg将暂停的脚本恢复 然后ctrl+c 则僵尸进程消失 顺利被回收
[xx@bulls mavs-2]$ fg
sh start.sh
^C
[xx@bulls mavs-2]$ ps -el | grep 9666
[xx@bulls mavs-2]$ ps -el | grep 9667复制
总结1
tail和造成defunct没有任何关系,根本原因是因为按下ctrl+z 将start_tail.sh切换到了后台
测试1 当start_tail.sh后 按下ctrl+z 如果直接被crt#session关闭了呢
更神奇的事情发生了 java进程直接被干掉了
!! 这个在游戏服务器也测试了 一定要注意!!
测试2 执行start_tail.sh 直接关闭ctr#session 则java进程还在 因为是nohup启动
测试3 当start_tail.sh后 按下ctrl+z 再按fg 恢复执行 此时之后可以顺利shutdown
总结2
正常启动脚本 没有tail java进程的父进程是1 即init进程 使用shutdown脚本关闭java进程后 自动被init进程回收,启动脚本加了tail,此时java进程的父进程是sh进程,sh进程有两个子进程 一个是java子进程 一个是tail子进程,直接ctrl+c 则sh进程和tail进程都结束 java进程的父进程变为了1,如果不ctrl+c 直接shutdown java进程 则java进程也会正常结束 即sh父进程会回收java子进程。
总结3
最终’罪魁祸首’是ctrl+z 其会暂停程序的运行,如果我们启动脚本没有加tail 则执行完nohup & 自动到后台,但是我们加了tail后 因为tail是前台进程 所以要么ctrl+c结束 要么ctrl+z,如果我们按下了ctrl+z 则sh启动的所有子进程都会暂停,所以我们的java进程此时处于暂停状态 所以shutdown/jstack都卡住了一样 只能ctrl+c退出,然后错误的操作就是使用kill -9 这个会把进程给干掉 但是因为父进程sh被暂停了 所以无法waitPid 执行子进程的回收操作 从而导致java进程变为了僵尸进程,而通过fg恢复后 ctrl+c 父进程和tail都退出 java进程被init进程接管,自动回收。
总结4
加tail -f 没有问题,但是一定不要忘了ctrl+c,如果ctrl+z 那么一定fg 然后ctrl+c,不过当出现了shutdown.sh卡住 或者操作jvm都没反应 可以怀疑是暂停了。
java defunct_神奇的僵尸进程问题相关推荐
- java defunct_神奇的Java僵尸(defunct)进程问题排查过程
现象描述 大概1个月多以前 在启动脚本中增加了tail -f 用来启动后追踪日志判断是否启动成功 后发现无法执行shutdown.sh(卡住 利用curl) 然后无奈使用kill -9 但通过ps - ...
- java 僵尸进程_神奇的Java'僵尸'进程问题
神奇的"僵尸"进程问题(java defunct) 现象描述 大概1个月多以前 在启动脚本中增加了tail -f 用来启动后追踪日志判断是否启动成功 后发现无法执行shutdown ...
- java 僵尸进程_神奇的Java僵尸(defunct)进程问题排查过程
现象描述 大概1个月多以前 在启动脚本中增加了tail -f 用来启动后追踪日志判断是否启动成功 后发现无法执行shutdown.sh(卡住 利用curl) 然后无奈使用kill -9 但通过ps - ...
- linux 查当前pid_杀死僵尸进程,你需要这些神奇高效的Linux命令行
Linux 高手,其实都是玩儿命令行很熟练的人. 命令行的学习捷径 Linux 命令有许多强大的功能:从简单的磁盘操作.文件存取,到进行复杂的多媒体图像和流媒体文件的制作,都离不开命令行. 在 Lin ...
- 1进程 ppid_杀死僵尸进程,你需要这些神奇的Linux命令行
Linux高手,其实都是玩儿命令行很熟练的人. 命令行的学习捷径 Linux命令有许多强大的功能:从简单的磁盘操作.文件存取,到进行复杂的多媒体图像和流媒体文件的制作,都离不开命令行. 在Linux的 ...
- linux僵尸进程杀不掉,杀死僵尸进程,你需要这些神奇高效的 Linux 命令
原标题:杀死僵尸进程,你需要这些神奇高效的 Linux 命令 Linux高手,其实都是玩儿命令行很熟练的人. 命令行的学习捷径 Linux命令有许多强大的功能:从简单的磁盘操作.文件存取,到进行复杂的 ...
- 杀死僵尸进程,需要这些神奇高效的 Linux 命令
一.五大系统运维状态 对运维来说,查看系统运行状态是最基础的工作之一. 要了解CPU.内存.进程.磁盘.网络,这五大运维系统的运行状态,需要掌握的运维命令有ls.ps.free.top.uptime. ...
- java 僵尸进程_孤儿进程与僵尸进程
开发中,在io密集型的场景下,我们可以使用多进程(多线程/协成更nber)来提高任务的处理速度.这就需要主进程需要等待所有工作进程执行完毕后才可以去汇总结果后退出. 但如果不规范的编写程序,就可能导致 ...
- java 僵尸进程_Linux 僵尸进程
Linux 允许进程查询内核以获得其父进程的 PID,或者其任何子进程的执行状态.例如,进程可以创建一个子进程来执行特定的任务,然后调用诸如 wait() 这样的一些库函数检查子进程是否终止.如果子进 ...
- linux java 僵尸进程_Linux 系统中僵尸进程
Linux 系统中僵尸进程和现实中僵尸(虽然我也没见过)类似,虽然已经死了,但是由于没人给它们收尸,还能四处走动.僵尸进程指的是那些虽然已经终止的进程,但仍然保留一些信息,等待其父进程为其收尸.配图源 ...
最新文章
- postgresql支持唯一约束吗_PostgreSQL:2列联合的唯一约束
- mac装windows遇到的问题总结
- JSON.parse与eval的区别
- 针对多类型数据库,集群数据库的有序GUID
- 设备树(device tree)学习笔记
- 区间调度之区间交集问题
- 根据ABAP BAdI definition名称找到SPRO里配置路径的办法
- 如何用WebIDE打开并运行CRM Fiori应用
- 如何避免重复请求/并发请求?这样处理才足够优雅
- hey 安装_如何在助理扬声器上调整“ Hey Google”的灵敏度
- LeetCode 1903. 字符串中的最大奇数
- JavaScript函数重载模拟
- 让Flex程序全屏幕运行
- VMS-B230/260如何登录存储控制器
- 小白理解transformer解析博客
- 力扣437(前缀和解法)
- 系统管理员设置了系统策略,禁止进行此安装。解决方案
- Python爬虫爬取表情包
- [IOS] Storyboard全解析-第二部分
- java反射异常ava.lang.IllegalArgumentException: argument type mismatch
热门文章
- C语言 推箱子游戏 地图编辑器(简单)
- 如何部署一个属于自己的网站
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) - 狂奔的蜗牛 - 博客频道 - CSDN.NET http://blog.csdn.net/hitwengqi/article/detai
- Reasoning-RCNN 论文笔记
- 文献检索--系统综述与meta分析
- 用Java创建一副扑克牌
- undefined reference to `__strncpy_chk‘ 解决方法
- word怎么压缩文件大小,word压缩变小
- 一个简单的界面拖动切换效果类ScrollViewGroup
- Drug Target Review | 人工智能(AI)在基因组学中的作用