Windows程序意外挂掉，但显存依然被占用
Windows程序意外挂掉，但显存依然被占用
- 1.软件环境
- 2.问题描述
- 3.解决方法
- 3.1.查找当前占用显存的程序
- 3.2.关闭显存占用程序
- 4.结果预览
1.软件环境
Windows10 教育版64位
Tensorflow-GPU 2.3.0
Keras 2.4.3
CUDA 10.1
2.问题描述
在使用Tensorflow进行模型训练时，很有可能会因为batch_size设置太大或者样本分辨率太大导致OOM（Out Of Memory）。
像这样：
这样：
这个时候程序已经挂掉退出了，此时如果你运行任何要占用显存的程序很可能会引发OOM！这个时候使用工具查看显存居然没有被释放，依然被程序占用达到95%：
任务管理查看显存被占用，也是一样的情况：
这就导致了我们无法运行任何占用显存的程序，也没法重新进行模型的训练！
Linux系统下可以使用fuser命令或者ps命令找到占用显存的程序，使用kill命令将其关闭即可，具体可以参考如下博客，在此不赘述：
- 解决GPU显存未释放问题
- 进程已死，显存还在被占用(无fuser命令)
重点是：Windows系统没有fuser命令或者ps命令可用，那这个时候又该怎么办呢？
3.解决方法
首先，重启肯定可以解决问题，但是有的时候电脑还真不能随便重启，比如：
- 你的电脑是服务器，随便重启就意味着宕机，特别是软、硬件比较复杂的机器，特别是你的系统盘还是机械硬盘。这个时候，开机自检都要等好一会儿，这就造成了服务的不可用；
- 有重要的工作没有保存，即使能够保存也丢失了撤销每一步操作的可能。如你在写Word，你在写代码，保存就意味着
ctrl+z没法用了；- 每次遇到问题都用重启回避的话，问题一直没有解决，为什么不直接面对问题本身呢？
- ·······
那么，我们如何在不重启电脑的情况下，解决这个问题呢？接着往下看：
3.1.查找当前占用显存的程序
首先，我们使用nvidia-smi命令，查找到目前使用显存的程序：
可以看到，最有嫌疑的程序就是当前虚拟环境中的python.exe，我们尝试将其关闭。
3.2.关闭显存占用程序
打开任务管理器，查看是否有python.exe相关的进程，遗憾的是并没有~~，pycharm下也没有python.exe进程：
那么怎么找到这个进程呢？
打开任务管理器→性能→资源监视器→CPU，在关联的句柄中输入python，可以看到python.exe已经被我们找到了：
这不就是我们的程序工作路径吗？？？？，那应该就是它搞的鬼，没得跑了！
此时，只需要右键该进程，选择结束进程即可！
4.结果预览
通过命令查看，显存已经被释放了：
自然就可以运行新的模型训练脚本了！
都看到这里了，还不赶紧点赞，评论，收藏走一波？
Windows程序意外挂掉，但显存依然被占用相关推荐
- 【Ubuntu-Tensorflow】程序结束掉GPU显存没有释放的问题
笔者在ubuntu上跑Tensorflow的程序的时候,中途使用了Win+C键结束了程序的进行,但是GPU的显存却显示没有释放,一直处于被占用状态. 使用命令 watch -n 1 nvidia-sm ...
- nvidia-smi 无进程占用GPU，但GPU显存却被占用了很多
下图是我当时遇到的问题 如上图,GPU1 显示占用了10G多的显存,但是却没有相应的进程.此时可使用如下命令查看进程: fuser -v /dev/nvidia* 显示如下图: 此时把这些进程全部 k ...
- 解决矩池云GPU显存未释放问题
很多用户反馈说终止程序之后,显存依然被占用,这里我们提供了两种解决方案,帮助用户解决这个问题. nvidia-smi查看 我们可以先用如下命令 nvidia-smi 查看一下当前GPU进程情况. _ ...
- pytorch显存管理
PyTorch使用缓存分配器来加速内存分配.允许在不进行设备同步的情况下快速重新分配内存.缓存分配器中未被占用得内存,用nvidia-smi查看也显示为使用 torch.cuda.empty_cach ...
- 不优雅地解决pytorch模型测试阶段显存溢出问题
在一次测试一个超分辨模型LESRCNN(作者提供了已训练好的模型)时,发生了CUDA out of memory的错误(虽然显卡有8G显存,但还是差了些): RuntimeError: CUDA ou ...
- 模型训练太慢？显存不够？这个方法让你的GPU联手CPU
随着深度学习模型复杂度和数据集规模的增大,计算效率成为了不可忽视的问题.GPU凭借强大的并行计算能力,成为深度学习加速的标配.然而,由于服务器的显存非常有限,随着训练样本越来越大,显存连一个样本都容不 ...
- 深度学习中GPU和显存分析
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 转自:机器学习AI算法工程 深度学习最吃机器,耗资源,在本文,我将 ...
- 3_深度学习中显卡的使用和显存的分配（20181213）
深度学习中显卡的使用和显存的分配(20181213) 1.查看机器上GPU的使用情况 2.tensorflow 中显卡使用和显存分配 1.显卡的使用,单显卡和多显卡调用 1.通过设置环境变量设置 禁用 ...
- 科普帖：深度学习中GPU和显存分析
深度学习最吃机器,耗资源,在本文,我将来科普一下在深度学习中: 何为"资源" 不同操作都耗费什么资源 如何充分的利用有限的资源 如何合理选择显卡 并纠正几个误区: 显存和GPU等价 ...
最新文章
- Go: 分布式学习利器（3） -- Go的数据类型和运算符
- osg中实现HUD（OSG初级篇1）
- 高响应比优先算法代码_以梦为码丨让每一行代码都充满温情
- tinyhttpd-0.1.0_hacking
- Bentley Descartes V8i安装教程
- 数据结构中图的一些定义
- python中的进程池Pool
- 今天的西红柿就跑了的P8U8源码
- Linux系统：centos7下搭建ZooKeeper3.4中间件，常用命令总结
- 04. 二维数组中的查找
- Coolite 换肤
- 服务器密码过期进不去系统,登陆服务器密码过期
- 网站文章采集器-万能文章采集器
- SpringSecurity实现自定义登录界面
- 中银泰定期存款理财技巧
- 售后的设计（退换货)
- Matlab：交换矩阵的两行（列）
- 读写文件时缓冲区多大好呢？我来告诉大家哈
- 用C语言代码实现布雷森汉姆直线插补
- simulink中detailed thyristor和thyristor的区别（针对latching current和turn-off time的对比仿真）