解决Cuda out of memory的一种思路

在实际做实验的过程中，cuda of memory问题很常见，在整理过网上的思路后，大致有如下几种：

减小batch_size（常用）或减小模型参数和输入的大小（很少用到）。
在测试过程中加上如下语句：
```
with torch.no_grad()
```
内存就不会分配参数梯度的空间。

训练过程中遇到此情况可尝试在训练前释放cuda内存。

nvidia-smi 查看gpu的使用率，若使用率不高就使用torch.cuda.empty_cache()释放内存

这次又出现了新的问题，我将我遇到的情况总结如下：

#在修改完成后代码后，出现了cuda out of memory的问题，在经过三天的仔细排查后，终于找出了问题的所在：
#损失函数的定义有问题：
#原代码：
train_loss = loss_id + loss_tri
total_loss = train_loss + loss_kl _ loss_feature + loss_middle
train_loss.backward()
#在这个步骤中就会出现cuda out of memory的问题。
#在反向传播的时候需要正确的损失函数的公式来进行反向传播。
#修改后：
train_loss = loss_id +loss_tri
total_loss = train_loss + loss_kl + loss_feature + loss_middle
total_loss.backward()

这样就解决了部分情况下cuda out of memory的问题。希望能帮到大家。

解决Cuda out of memory的一种思路相关推荐

解决CUDA out of memory. Tried to allocate 2.10 GiB (GPU 0； 14.76 GiB total capac
解决CUDA out of memory. Tried to allocate 2.10 GiB (GPU 0; 14.76 GiB total capac...... 问题解决方案参考了一篇博文 ...
解决redis高并发问题的几种思路
解决redis高并发问题的几种思路 1:布隆过滤器首先,布隆过滤器能解决绝大部分恶意攻击的请求,比如我们数据库中的id通常都设为自增的,是有一定范围大小的,如果有黑客恶意用数据库中没有的id一直访问 ...
解决cuda out of memory
问题: pytorch默认使用第一块显卡 cuda o ,在运行bert代码时,因为长文本,我把padsize调到512.导致显存不足,会占用大量的显存.程序会反复报Runtime Error,cud ...
第七篇：使用 CUDA 进行计算优化的两种思路
前言本文讨论如何使用 CUDA 对代码进行并行优化,并给出不同并行思路对均值滤波的实现. 并行优化的两种思路思路1: global 函数在 global 函数中创建出多个块多个线程对矩阵每个元素 ...
解决Geoserver请求跨域的几种思路
文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1.背景描述跨域问题是浏览器同源安全制引起的特别常见的问题.不同前端语 ...
CUDA out of memory怎么解决
"CUDA out of memory" 错误可以通过以下几种方法解决: 减少 batch size 使用 GPU memory 压缩重新分配 GPU 内存卸载不必要的显存占用 ...
【已解决】探究CUDA out of memory背后原因，如何释放GPU显存？
目录 1 问题背景 2 问题探索 2.1 CUDA固有显存 2.2 显存激活与失活 2.3 释放GPU显存 3 问题总结 4 告别Bug 1 问题背景研究过深度学习的同学,一定对类似下面这个CUDA ...
如何解决“RuntimeError: CUDA Out of memory”问题
点击上方"AI公园",关注公众号,选择加"星标"或"置顶" 作者:Nitin Kishore 编译:ronghuaiyang 导读一些可以 ...
pytorch遇见RuntimeError: CUDA out of memory的解决
RuntimeError: CUDA out of memory 1.查看是否其他程序占用显存遇到此类错误后,对于py格式的文件来说,程序会进行终止,也就是当前程序占用的显存将会被释放.此时可用 w ...
出现 CUDA out of memory 的解决方法
目录 1. 问题所示 2. 原理分析 3. 解决方法 3.1 调batch_size大小 3.2 不考虑梯度 3.3 删除无用变量 3.4 kill进程(暴力放弃) 3.5 其他方法 1. 问题所示 ...

解决Cuda out of memory的一种思路

解决Cuda out of memory的一种思路相关推荐

最新文章

热门文章