训练模型时候显存爆炸的一种可能性以及解决办法

转载：https://wstchhwp.blog.csdn.net/article/details/108405102
模型训练的时候，爆显存了，可以调整batch，对数据进行crop等等操作。
今天发现一个模型，训练ok，每次测试的时候爆显存。开始以为是因为用了全图（1920x1080略大）进行inference，这是一方面。但后来发现忘了用with torch.no_grad():这导致模型运算的时候不能释放显存（记录了梯度信息），所以显存巨大。加了之后，用了不过3G显存就够了。确实inference不需要那么多显存的，以后记着这种不正常现象如何处理。

一般训练不爆显存，测试也不会爆；训练时的显存占用远多于inference

with torch.no_grad():output = self.model(lr)`

训练模型时候显存爆炸的一种可能性以及解决办法相关推荐

显存爆炸和pin_memory
参考:https://zhuanlan.zhihu.com/p/117270644 训练模型训练一半时显存爆炸的问题解决: pin_memory:表示要将load进来的数据是否要拷贝到pin_memo ...
计算机怎么看显卡内存容量,Win10系统显卡显存大小怎样查看？Win10查看显存大小的两种方法...
对于十分关心电脑配置的用户而言,查看电脑显卡显存大小是一件非常必要的事情.那么,Win10系统电脑该怎样查看显卡显存大小呢?虽然现在有很多软件都可以直接查看,但是不使用软件查看才是真正的好方法.下面, ...
关于模型训练中显存占用过大的或直接报显存爆炸的解决方法
模型训练显存爆炸解决方法在模型训练中,应该理解梯度.反向传播.图层.显存这些概念,在模型训练过程中,一般会分为训练+验证+测试 ,在这些过程中,一般在训练过程中会比较占用显存,因为涉及到反向传播,需 ...
Spring循环依赖的三种方式以及解决办法
Spring循环依赖的三种方式以及解决办法 [转]https://www.cnblogs.com/liuqing576598117/p/11227007.html 示例 https://github. ...
取子字符串的两种情形的解决办法（c#）
取子字符串的两种情形的解决办法(c#) 在实际应用中,对字符串的取子字符串操用的很多.下面是我今天在项目实践中碰到的两种情形(以前没有遇到),开始时心里真有点慌,怕又要搞半天搞不出来.我想程序员都有这 ...
Error LNK2001 无法解析的外部符号的几种情况及解决办法
Error LNK2001 无法解析的外部符号的几种情况及解决办法多线程下的单例模式这里要处理的是懒汉模式. [cpp] view plain copy class Singleton { p ...
linux下hg无法运行_Linux 无法启动常见的几种原因及解决办法
导致 Linux 无法启动的原因有很多,下面良许小编就将常见的几种原因及解决办法进行详述,希望对大家有所帮助. 文件系统配置不当,如 /etc/inittab文件./etc/fstab 文件等配置错误 ...
Java中OutOfMemoryError(内存溢出)的三种情况及解决办法
Java中OutOfMemoryError(内存溢出)的三种情况及解决办法相信有一定java开发经验的人或多或少都会遇到OutOfMemoryError的问题,这个问题曾困扰了我很长时间,随着解决各 ...
python编程midi键盘按键错乱_键盘按键错乱有以下几种相应的解决办法
电脑会出现的问题有很多,有的时候或许是主机有问题,有的时候或许是系统有问题,有的时候又或许是屏幕有问题.但这些问题都不是主编我今天要说的.小编我今天要说的呢,是关于键盘的,那就是当键盘按键错乱时,我们 ...

训练模型时候显存爆炸的一种可能性以及解决办法

训练模型时候显存爆炸的一种可能性以及解决办法相关推荐

最新文章

热门文章