释放pytorch占用的gpu显存_Pytorch 节省显存的训练方法总结

前言

最近的工作中，用到了Pytorch框架训练医学图像分割模型。精心设计的模型经常会因为显存不足而失败。减小模型训练过程中对显存的占用，可能我们能想到最简单的方法就是减小batchsize，减少卷积核数量，裁剪输入图像的大小等。但是，以上方法可能会影响模型性能。经过多次尝试，总结了几种尽可能不改变模型结构，不影响模型性能且能够节省显存的训练方法。

清理GPU缓存

Pytorch提供了torch.cuda.empty_cache()函数用来清理GPU的缓存数据，在实际的模型训练中，我们可以将此函数与异常处理相结合，一旦发生显存溢出，异常处理机制可以捕获异常信息，清理GPU缓存，以保证模型正常训练。总体实现代码如下：

...

try:

output_data = model(input_data)

loss = calcloss(output_data,input_label)

...

except RuntimeError as exception:

if "out of memory" in str(exception):

print("GPU 显存不足！")

if hasattr(torch.cuda,"empty_cache"):

torch.cuda.empty_cache()

else:

raise exception

...

此方法能够起作用的前提是模型自身占用显存较小，如果模型过大，很容易丢失大量训练数据，影响模型性能。

改进反向传播中activation的存储方式

Tianq

释放pytorch占用的gpu显存_Pytorch 节省显存的训练方法总结相关推荐

PyTorch节省显存占用方法
1-使用inplace操作 2-使用混合精度运算参考: [1]混合精度训练 http://kevinlt.top/2018/09/14/mixed_precision_training/ [2]py ...
snb处理器hd3000显卡专用extra_一文看懂显卡的GPU，流处理器，显存，位宽，核心频率是啥？...
大家好,我是行者,今天的电脑配件中,显卡越来越贵,也越来越重要.有时比一块CPU能贵出2倍甚至更多.所以我们迫切的需要更深的认识这块卡,使我们能更好的去选择与运用它.下面我给大家介绍一下这几个常见名词 ...
pytorch节省显存_节省新房子的照明
pytorch节省显存 Our final move into the new house is this weekend. We did a three phase, three week move ...
torch.cuda.amp自动混合精度训练 —— 节省显存并加快推理速度
torch.cuda.amp自动混合精度训练 -- 节省显存并加快推理速度文章目录 torch.cuda.amp自动混合精度训练 -- 节省显存并加快推理速度 1.什么是amp? 2.为什么需要自动 ...
GPU信息查看以及确认Pytorch使用了GPU计算模块进行深度学习的训练
GPU信息查看以及确认Pytorch使用了GPU计算模块进行深度学习的训练目录 GPU信息查看以及确认Pytorch使用了GPU计算模块进行深度学习的训练 GPU基础信息查看 Pytorch是否使用 ...
显卡内存和计算机内存,显卡爆显存和满显存有什么区别
显卡"爆显存"就是指显卡的本地显存不够用了,显卡需要去借用内存;而"满显存"是指显存的使用量接近全部的本地显存容量. 因为现在的主流显存都是GDDR5,速度达到 ...
pytorch在调用GPU的时候出现cuda runtime error (2) : out of memory at ..\aten\src\THC\THCGeneral.cpp:50
这是因为GPU中的显存占满了,在任务管理器中关闭程序即可 @[TOC](pytorch在调用GPU的时候出现cuda runtime error (2) : out of memory at -\at ...
bios设置_bios怎么设置显存 bios设置显存教程【图文】
有些用户可能会发现打开电脑系统信息窗口显示的内存容量与实际容量不同,例如系统内存显示4G,可用3.73G.那么不可用的那部分内存到哪里去了呢?其实是被集成显卡占用当做显存使用了.下面我们就通过 bio ...
pytorch之多GPU使用—— CUDA_VISIBLE_DEVICES=0，1 python main.py
在输入命令行:可以直接指定多卡训练: CUDA_VISIBLE_DEVICES=0,1 python main.py 其中0,1 代表两个卡同时单独写一个0 或者1 时候是指定单卡进行训练. 下 ...

释放pytorch占用的gpu显存_Pytorch 节省显存的训练方法总结

释放pytorch占用的gpu显存_Pytorch 节省显存的训练方法总结相关推荐

最新文章

热门文章