java 僵尸进程_神奇的Java'僵尸'进程问题
神奇的"僵尸"进程问题(java defunct)
现象描述
大概1个月多以前 在启动脚本中增加了tail -f
用来启动后追踪日志判断是否启动成功
后发现无法执行shutdown.sh(卡住 利用curl) 然后无奈使用kill -9
但通过ps -el 发现此时进程变为defunct 即僵尸进程
当时的解决办法无奈 只能找到僵尸进程的父进程kill
当时认为可能是tail的问题 后来启动脚本中去掉tail 发现问题解决
But
当时一直没有来得及排查是如何引起僵尸进程的问题
这两天抽时间排查了一下 发现和tail没有一毛钱关系
艰难的排查过程1-尝试复现
测试代码Defunct.java
import java.util.concurrent.TimeUnit;
public class Defunct {
public static void main(String[] args) {
while (true) {
System.out.println("test defunct");
try {
TimeUnit.SECONDS.sleep(30);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}
启动脚本start.sh
#!/bin/bash
nohup java -cp defunct.jar Defunct &
echo "$!"
echo "$!" > pid
启动脚本start_tail.sh 使用了tail
#!/bin/bash
nohup java -cp defunct.jar Defunct &
echo "$!"
echo "$!" > pid
tail -f nohup.out
关服脚本stop.sh 这里使用kill关服
#!/bin/bash
pid=`cat pid`
echo $pid
kill $pid
分别用两个脚本测试,得出下面几个结论
start.sh启动的java进程的父进程是1 即init进程
start_tail.sh启动后 java进程的父进程是sh
sh分别有两个子进程
一个是java子进程 一个是tail子进程
当启动start_tail.sh后 因为tail是前台进程 所以ctrl+c可以结束
此时sh和tail两个进程都结束了
而此时java进程的父进程变为了1
用这个例子做各种测试 都无法复现僵尸进程的问题
所以初步结论是貌似和tail没有什么关系
艰难的排查过程2-游戏服务器尝试复现
当初出现是在游戏服务器复现的 那么应该比较复现吧
修改了一下一个游戏服务器的启动脚本 默认是没有加tail 现在加上了tail -f
启动游戏服务器脚本 看到日志 启动成功 ctrl+c 退出tail
调用shutdown.sh 发现服务器顺利关闭
结论
竟然无法在游戏服务器复现
艰难的排查过程3-各种思考、查阅资料
首先从僵尸进程的产生原因入手
猜测是否是sh这个父进程没有调用waitpid去回收java子进程
查询网上类似的tomcat tail -f问题
思考当初1个多月以前的情形
其中有一个很重要的当初情形是shutdown的时候curl卡住了...
灵光一现
难道是当初操作失误了 没有按下ctrl+c 而是按下了ctrl+z
神奇的ctrl+z 复现测试代码defunct
启动start_tail.sh 然后ctrl+z
[xx@achilles deploy_defunct]$ sh start_tail.sh
3974
nohup: appending output to `nohup.out'
defunct2
^Z
[2]+ Stopped sh start_tail.sh
启动stop.sh 发现进程(3974)无法被stop
[xx@achilles deploy_defunct]$ sh stop.sh
3974
[xx@achilles deploy_defunct]$ jps
4146 Jps
3974 Defunct2
12790 SpursLauncher
3726 SpursLauncher
使用kill -9 尝试杀死进程 此时发现进程已经是defunct了
[xx@achilles deploy_defunct]$ kill -9 3974
[xx@achilles deploy_defunct]$ jps
3974 Defunct2
12790 SpursLauncher
4314 Jps
3726 SpursLauncher
[xx@achilles deploy_defunct]$ ps -el | grep 3974
0 Z 500 3974 3973 0 80 0 - 0 exit pts/4 00:00:00 java
此时 只要使用fg命令 从后台调到前台 然后按下ctrl+c 则僵尸进程进程自动消失
[xx@achilles deploy_defunct]$ ps -el | grep 3974
0 Z 500 3974 3973 0 80 0 - 0 exit pts/4 00:00:00 java
[xx@achilles deploy_defunct]$ fg
sh start_tail.sh
^C
[xx@achilles deploy_defunct]$ ps -el | grep 3974
神奇的ctrl+z 复现游戏服务器defunct
启动脚本(有tail) 等待一段时间(将所有服务器全部开启) 并ctrl+z
[xx@achilles spurs-2]$ sh start.sh
......
^Z
[1]+ Stopped sh start.sh
此时执行shutdown.sh 发现没有任何反应(卡住) 无奈ctrl+c
[xx@achilles spurs-2]$ sh shutdown.sh
^C
[xx@achilles spurs-2]$ jps
9667 SpursLauncher
9796 Jps
[xx@achilles spurs-2]$ ll /proc/9667 | grep cwd
lrwxrwxrwx 1 xx xx 0 Dec 5 17:32 cwd -> /data/home/user00/xx/achilles/backend/spurs-2
[xx@achilles spurs-2]$ ps -el | grep 9667
0 T 500 9667 9666 7 80 0 - 1442848 signal pts/6 00:00:07 java
[xx@achilles spurs-2]$ ps -el | grep 9666
0 T 500 9666 8959 0 80 0 - 26521 signal pts/6 00:00:00 sh
0 T 500 9667 9666 7 80 0 - 1442848 signal pts/6 00:00:07 java
0 T 500 9669 9666 0 80 0 - 25241 signal pts/6 00:00:00 tail
此时执行jstack 也发现没有任何反应(卡住) 无奈ctrl+c
[xx@achilles spurs-2]$ jstack 9667
^C
此时执行kill -9 此时java进程已经变为了僵尸进程
[xx@achilles spurs-2]$ kill -9 9667
[xx@achilles spurs-2]$ ps -el | grep 9667
0 Z 500 9667 9666 1 80 0 - 0 exit pts/6 00:00:07 java
此时用fg将暂停的脚本恢复 然后ctrl+c 则僵尸进程消失 顺利被回收
[xx@achilles spurs-2]$ fg
sh start.sh
^C
[xx@achilles spurs-2]$ ps -el | grep 9666
[xx@achilles spurs-2]$ ps -el | grep 9667
总结1
tail和造成defunct没有任何关系
根本原因是因为按下ctrl+z 将start_tail.sh切换到了后台
测试1 当start_tail.sh后 按下ctrl+z 如果直接被crt#session关闭了呢
更神奇的事情发生了 java进程直接被干掉了
!! 这个在游戏服务器也测试了 一定要注意!!
测试2 执行start_tail.sh 直接关闭ctr#session 则java进程还在 因为是nohup启动
测试3 当start_tail.sh后 按下ctrl+z 再按fg 恢复执行 此时之后可以顺利shutdown
总结2
正常启动脚本 没有tail java进程的父进程是1 即init进程 使用shutdown脚本关闭java进程后 自动被init进程回收
启动脚本加了tail
此时java进程的父进程是sh进程
sh进程有两个子进程 一个是java子进程 一个是tail子进程
直接ctrl+c 则sh进程和tail进程都结束 java进程的父进程变为了1
如果不ctrl+c 直接shutdown java进程 则java进程也会正常结束 即sh父进程会回收java子进程
总结3
最终'罪魁祸首'是ctrl+z 其会暂停程序的运行
如果我们启动脚本没有加tail 则执行完nohup & 自动到后台
但是我们加了tail后 因为tail是前台进程 所以要么ctrl+c结束 要么ctrl+z
如果我们按下了ctrl+z 则sh启动的所有子进程都会暂停
所以我们的java进程此时处于暂停状态 所以shutdown/jstack都卡住了一样 只能ctrl+c退出
然后错误的操作就是使用kill -9 这个会把进程给干掉 但是因为父进程sh被暂停了 所以无法waitPid 执行子进程的回收操作 从而导致java进程变为了僵尸进程
而通过fg恢复后 ctrl+c 父进程和tail都退出 java进程被init进程接管 自动回收
总结4
加tail -f 没有问题
但是一定不要忘了ctrl+c
如果ctrl+z 那么一定fg 然后ctrl+c
不过当出现了shutdown.sh卡住 或者操作jvm都没反应 可以怀疑是暂停了
参考
java 僵尸进程_神奇的Java'僵尸'进程问题相关推荐
- java 僵尸进程_神奇的Java僵尸(defunct)进程问题排查过程
现象描述 大概1个月多以前 在启动脚本中增加了tail -f 用来启动后追踪日志判断是否启动成功 后发现无法执行shutdown.sh(卡住 利用curl) 然后无奈使用kill -9 但通过ps - ...
- java 关闭kafka进程_无法启动任何kafka进程
从快速启动页面运行kafka的说明不适用于我.无法启动任何kafka进程 卡夫卡建立精细 05:55:01/kafka-0.8.1-src:58 $sbt package [info] Set cur ...
- java多线程面试_面试之JAVA多线程
1如何创建线程 创建多线程实现类MyThread extends Thread,继承Thread后重载run()方法,在调用类中创建对象后调用start()方法执行该线程. 创建实现类MyThread ...
- linux查看java虚拟机内存_深入理解java虚拟机(linux与jvm内存关系)
本文转载自美团技术团队发表的同名文章 https://tech.meituan.com/linux-jvm-memory.html 一, linux与进程内存模型 要理解jvm最重要的一点是要知道jv ...
- java 解决死锁_如何解决java中的死锁问题
一.死锁的定义 死锁是指两个或两个以上的进程在执行过程中,由于竞争资源或者由于彼此通信而造成的一种阻塞的现象,若无外力作用,它们都将无法推进下去. 那么我们换一个更加规范的定义:集合中的每一个进程都在 ...
- 顺丰java面试题_顺丰java开发面试分享,顺丰java面试经面试题
今天要给大家分享的是一个小伙伴的顺丰java开发面试过程,其中包括了面试流程,面试题目,和回答,感兴趣的朋友可以来了解一下哈. 一.面试流程 是中午进行的面试,首先是做自我介绍,之后就是讲一下项目,然 ...
- 马士兵 java 学习笔记_马士兵java教程笔记1
---恢复内容开始--- 前记 虽然已经是个研究生了,但是会的东西还是特别的少 甚至连java都不能说是很会 所以准备从现在开始能好好的学习java 变成java master 标识符 标识符是由字母 ...
- java 运行批处理文件_如何从Java应用程序运行批处理文件?
在我的Java应用程序中,我想运行一个调用"scons -Q implicit-deps-changed build\file_load_type export\file_load_type ...
- java 注解 框架_深入浅析Java注解框架
我们经常会在java代码里面看到:"@Override","@Target"等等样子的东西,这些是什么? 在java里面它们是"注解". 下 ...
最新文章
- 在 JDK 9 中更简洁使用 try-with-resources 语句
- Py之pandas:字典格式数据与dataframe格式数据相互转换并导出到csv
- Github 2020 年度报告:你以为新冠击溃了开发者?不!他们创造了更多代码...
- 前端工程师能力评估测试题(2020最新版附答案及解析)
- java 如何将数字倒置_每日一个小算法之整数中每位上的数字进行反转 20190810
- kettle 调用存储过程_Mysql存储过程
- Redis 真得那么好用吗?
- 网络管理中的安全保障
- 2018 年力扣高频算法面试题汇总-难题记录-鸡蛋掉落
- 遍历Panel1中所有label控件的Text
- 绝大多数程序员不会测试
- MathType初级教程:怎么安装MathType
- 徐耀赐教授系列讲座——车道宽度理论在城市道路路网中的应用(编译文本)...
- 北斗在线app服务器,北斗卫星导航app,北斗卫星导航app官网手机版预约 v1.0 - 浏览器家园...
- ANE总结(Android+iPhone)
- js版本飞机大战(完整代码)
- 怎么给PPT文档加密
- 春暖花开,我们去踏青
- Spring Boot 统一处理全局异常
- 快速搭建kodexplorer+OnlyOffice私有云办公平台
热门文章
- vue源码分析系列三:render的执行过程和Virtual DOM的产生
- 机器学习 任务管理器中显示cpu占用很高,gpu很低,但是设置了Gpu运算
- 华为交换机修改concle密码
- 基于面部视频的实时心率检测系统 day four
- 0x0F1AFD76 (libcocos2d.dll) (Plane.exe 中)处有未经处理的异常: 0xC0000005: 读取位置 0x00000018 时发生访问冲突。
- 微信小程序开发工具调试
- 7z和winrar命令行压缩方法
- scala trait ,abstract class,case class,class 的一些琐碎注意事项,仅针对3.0以下
- Lenovo Y430P安装Linux无线网卡
- 3DMAX渲染AO(白膜)图的三种方法