Ubuntu下GPU显存无法释放和多卡训练时候的一些总结

如果我们正在训练模型的时候，强制ctrl+C 结束进程的话，有时候，GPU的显存不会释放，

一般情况下，我们会用nvidia-smi 的命令进行查看哪个进程占用了GPU显存。

但是有时候我们发现不了具体的进程，应该就是驻留在GPU里了。

如果用这条指令进行查看的话，sudo fuser /dev/nvidia*

下面会出现一些选项，如果用kill 指令杀出的话，可能图形界面也会杀没了。

下面总结一下多卡训练时的一些问题。

如果多卡训练的话，确实得用同一级别的卡来进行训练，或者不能性能差太多的卡来进行训练

做了个测试，

单Gtx 1080ti 4.2 samples /s 一秒钟能跑 4.2个

单Gtx 1070 能跑 2.7-2.8 sample/s 一秒钟能跑2.8个

单nvidia P106 能跑 2.2 sample/s 一秒钟能跑2.2个

Gtx1080Ti +P106 3.8 samples/s 一秒钟能跑3.8个样本

这样看来如果Gtx 1080ti 和P106组会的话，会拖Gtx 1080Ti的后腿。

那么这种组会是不是没有意义了呢，不是的，可以分别跑不同的任务或者跑不同的参数。

可以看出在深度学习的应用中，P106 和1070 差的不是很多。

总体来看，Gtx 1080Ti 确实很猛，并且11GB大显存，什么模型都应该能够载入了。

Ubuntu下GPU显存无法释放和多卡训练时候的一些总结相关推荐

ubuntu服务器常见使用技巧及-kill掉后GPU显存不释放进程-
如何解决python进程被kill掉后GPU显存不释放的问题 1 重新开一个shell,然后输入: ps aux|grep user_name|grep python.所有该用户下的python程序就 ...
解决矩池云GPU显存未释放问题
很多用户反馈说终止程序之后,显存依然被占用,这里我们提供了两种解决方案,帮助用户解决这个问题. nvidia-smi查看我们可以先用如下命令 nvidia-smi 查看一下当前GPU进程情况. _ ...
【Ubuntu-Tensorflow】程序结束掉GPU显存没有释放的问题
笔者在ubuntu上跑Tensorflow的程序的时候,中途使用了Win+C键结束了程序的进行,但是GPU的显存却显示没有释放,一直处于被占用状态. 使用命令 watch -n 1 nvidia-sm ...
Linux--无进程却显示占用显存，GPU显存释放方法
文章目录一.用nvidia-smi查看对应的进程pid 二.用nvidia-smi查不到对应的进程pid 参考链接: Linux–无进程却显示占用显存,GPU显存释放方法程序结束掉,但GPU显存没 ...
pytorch 优化GPU显存占用，避免out of memory
pytorch 优化GPU显存占用,避免out of memory 分享一个最实用的招: 用完把tensor删掉,pytorch不会自动清理显存! 代码举例,最后多删除一个,gpu显存占用就会下降,训 ...
ubuntu安装nvidia显卡驱动+cuda9.0+cudnn7.0+查看cuda版本+安装tensorrt+python查看gpu显存
一,驱动安装显卡驱动和cuda版本关系卸载原先驱动 sudo apt-get remove --purge nvidia-\* ubuntu-drivers devices 查看显卡类型 Nvi ...
【已解决】探究CUDA out of memory背后原因，如何释放GPU显存？
目录 1 问题背景 2 问题探索 2.1 CUDA固有显存 2.2 显存激活与失活 2.3 释放GPU显存 3 问题总结 4 告别Bug 1 问题背景研究过深度学习的同学,一定对类似下面这个CUDA ...
解决Ubuntu系统找不到进程，但是GPU显存占满问题
Ubuntu系统有时候会出现GPU显存显示占满,但是使用top命令和nvidia-smi命令都查找不到进程. fuser -v /dev/nvidia* 通过上条命令查找进程,然后使用 sudo ki ...
释放pytorch占用的gpu显存_Pytorch 节省显存的训练方法总结
前言最近的工作中,用到了Pytorch框架训练医学图像分割模型.精心设计的模型经常会因为显存不足而失败.减小模型训练过程中对显存的占用,可能我们能想到最简单的方法就是减小batchsize,减少卷积 ...

Ubuntu下GPU显存无法释放和多卡训练时候的一些总结

Ubuntu下GPU显存无法释放和多卡训练时候的一些总结相关推荐

最新文章

热门文章