pytorch 显存逐渐增大

在训练过程中,显存随着batch的增加而增大,特别是在预测的时候.

这时候可能是因为在训练过程中存储的数组是添加的而不是覆盖的.例如在预测过程中将所有结果逐渐添加保存到一个list中,导致list越来越大,占用的显存越来越多,从而导致oom或者卡死现象.

如果一定要使用添加数组,可以考虑使用np.save分布存储,再使用np.load读取,这样就不会添加进显存.

使用

torch.cuda.empty_cache() 可以清除没有用的显存占用.

不过在上述的情况下可能没有用.

pytorch 显存逐渐增大相关推荐

python 动态执行内存变化_详解Pytorch显存动态分配规律探索
下面通过实验来探索Pytorch分配显存的方式. 实验显存到主存我使用VSCode的jupyter来进行实验,首先只导入pytorch,代码如下: import torch 打开任务管理器查看主存与 ...
一文读懂 PyTorch 显存管理机制
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨米阿罗@知乎(已授权) 来源丨https://zhuanlan ...
综述：PyTorch显存机制分析
作者 | Connolly@知乎(已授权) 来源 | https://zhuanlan.zhihu.com/p/424512257 编辑 | 极市平台导读作者最近两年在研究分布式并行,经常使用Py ...
pytorch显存管理
PyTorch使用缓存分配器来加速内存分配.允许在不进行设备同步的情况下快速重新分配内存.缓存分配器中未被占用得内存,用nvidia-smi查看也显示为使用 torch.cuda.empty_cach ...
显存优化 | Pytorch的显存机制torch.cuda.empty_cache及周边概念
注:文中涉及一些内部底层实现机制,可能和大家外界看到的不一样,这里略过不做介绍.借着笔记,分享平时碰到的技术点,不高端,不炫酷,对你有用更好了. 最近在做模型的优化工作,主要涉及精度,速度和显存优化, ...
通过设置PYTORCH_CUDA_ALLOC_CONF中的max_split_size_mb解决Pytorch的显存碎片化导致的CUDA:Out Of Memory问题
问题的出现最近在基友的带动下开始投身ai绘画的大潮,于是本地部署了stable diffusion web ui,利用手上的24G显存开始了愉快的跑高分辨率图片之旅.然而某天在用inpaint功能修 ...
深度学习之GPU显存与利用率浅析小结
相信很多人,包括我在内,都对GPU的显存抱有不小的怨念,CUDA out of memory之类的问题一直困扰着咱等,今天这篇文章就是来浅析一下,说不定会有所帮助首先就一笔带过说一下GPU的重要性吧 ...
Flask 推理MXnet 模型时显存泄漏
1.问题描述使用Flask做MXnet模型推理API时,每调用一次API,显存持续增长,直至最终显存爆炸强制退出程序. 注:使用MXnet做模型推理时,存在输入图片size不固定的情况. 2.解决方 ...
CNN模型的计算量、参数、显存占用
经典CNN模型的计算量.参数.显存占用文章目录经典CNN模型的计算量.参数.显存占用 1. 深度学习复杂度 2. FLOPS概念 3.参数量计算 4. 输出特征图尺寸 5. 常用模型的FlOPs和 ...
OOM？教你如何在PyTorch更高效地利用显存
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨派派星来源丨CVHub 编辑丨极市平台导读本文介绍了如何在不减少输入数据尺寸以及Batch ...

pytorch 显存逐渐增大

pytorch 显存逐渐增大相关推荐

最新文章

热门文章