ubuntu使用ctrl+z中断并kill进程导致显卡无法释放以及nvidia-smi命令阻塞

在用ubuntu服务器跑pytorch代码时无意中产生了这种错误，导致一切对显卡相关的操作都被阻塞。

问题具体描述：我在ubuntu服务器上创建了screen窗口，并在screen窗口内运行深度学习程序。程序跑到一半时错误地将ctrl+z当做了强制结束命令（实则是中断并休眠，结束是ctrl+c）将显卡上的进程切入了挂起状态，随后又将整个screen窗口进程kill掉了。导致的结果是显卡上进程成为了孤儿进程，并由PID为1的init进程接管。此时显卡资源被占用，一切对显卡的IO都会被阻塞（包括nvidia-smi指令）。想要结束孤儿进程第一种方法是必须杀死其父进程，但此刻的父进程是PID为1的系统进程不能被杀死；第二种方法是等其自动结束进程周期被init进程清理。然而我的孤儿进程由于以及处于挂起状态无法继续运行，init进程无法将其资源回收，显卡也会被一直占用，导致死锁。

解决方案：重启服务器

新技能get：

1、用ps命令查看进程信息，包括PID、PPID、STAT等

2、用pstree查看进程的父进程、子进程

3、僵尸进程、孤儿进程的成因及解决方案

4、区分ctrl+z及ctrl+c的作用

参考：

1、https://blog.csdn.net/YuZhiHui_No1/article/details/53011390

2、https://www.pianshen.com/article/47091344138/

ubuntu使用ctrl+z中断并kill进程导致显卡无法释放以及nvidia-smi命令阻塞相关推荐

Linux/ubuntu深度学习，查看cuda、cudnn、显卡、驱动的版本的命令
查看Linux/ubuntu深度学习的cuda.cudnn.显卡.驱动的版本 1.查看cudnn版本: 法一: nvcc -V 注意:V是大写的. 法二: cat /usr/local/cuda/ve ...
Linux后台进程管理以及ctrl+z（挂起）、ctrl+c（中断）、ctrl+\（退出）和ctrl+d（EOF）的区别
一.后台进程管理命令 fg.bg.jobs.&.ctrl + z.ctrl + c.ctrl + \.ctrl + d 1. & 加在一个命令的最后,可以把这个命令放到后台执行 ,如g ...
linux ctrl命令,Linux Ctrl+Z的使用方法
[日期:2008-12-01] 来源: 作者:Georgina 假设你发现前台运行的一个程序需要很长的时间,但是需要干其他的事情,你就可以用 Ctrl-Z ,终止这个程序,然后可以看到系统提示: [ ...
linux系统运行快捷键,Linux操作系统下运行命令时CTRL+Z的作用
命令运行时使用CTRL+Z,强制当前进程转为后台,并使之停止. 1.使进程恢复运行(后台) (1)使用命令bg Example: zuii@zuii-desktop:~/unp/tcpcliserv$ ...
如何在Linux中查看端口号并Kill进程
Linux 查看端口号并Kill进程题记利用netstat查看端口号 netstat命令参数通过Kill命令终止进程题记在Linux的日常使用中经常会出现端口进程被占用的情况(原因是多样的, ...
Ubuntu 16.04 - GeForce RTX 2080 Ti 安装 GPU 显卡驱动 (Display Driver)
Ubuntu 16.04 - GeForce RTX 2080 Ti 安装 GPU 显卡驱动 (Display Driver) NVIDIA 引领人工智能计算 - NVIDIA https://www ...
利用ctrl+z停掉任务再kill的暴力方法关闭ctrl+c ctrl+v都关不了的任务
有的那种任务ctrl+c停不了,ctrl+v也不行,只能ctrl+z停了摆在那. 这时候jobs -l 可以看到一个进程号. 然后 kill -9 进程号暴力结束这个进程 kill -15 进程号 ...
Linux重新执行中断的任务及Ctrl+c，Ctrl+z区别
Ctrl+c是强制中断程序的执行. Ctrl+z是将任务中断,但是此任务并没有结束,他仍然在进程中他只是维持挂起的状态. 用户可以使用fg/bg操作继续前台或后台的任务, fg:重新启动前台被中断的 ...
Ubuntu 系统下 AndroidStudio 工具使用ctrl+z 回退上一步的方法
Ubuntu 系统下使用 AndroidStudio 使用ctrl + z 不是回退上一步的方法 ,是把 as 工具返回home 了如果想使用ctrl + z 实现回退上一步 ,可以把Ubuntu ...

ubuntu使用ctrl+z中断并kill进程导致显卡无法释放以及nvidia-smi命令阻塞

ubuntu使用ctrl+z中断并kill进程导致显卡无法释放以及nvidia-smi命令阻塞相关推荐

最新文章

热门文章