GPU显存占满利用率GPU-util奇低

如上图。
但是有显存占用说明模型应该是在跑的。后来既然GPU利用不起来，我干脆同时跑多个模型，想充分利用，但是效果还不是很明显，速度依然都很慢。
查了查资料发现可以在Dataloader里加pin_memory=True, num_workers=8，这样能将数据放入显存，并且通过多线程减少数据读入的时间，模型训练速度会快一些。但是我试了试也没有明显的效果，就很奇怪。
当然也试过增大batch size，但是治标不治本。

问题原因
所以到底为什么导致了这个原因呢？
后来我偶然为了减小最后的tensorboard log文件，我把一些用不到的tensorboard的写入比如直方图给删掉了，发现速度瞬间提上来了，然后再减小训练时的输出间隔，速度也有提升。立刻明白了，是因为训练的主要时间都花在了写日志上，文件IO耗时特别多，尤其是我设置的写入间隔还很小，所以GPU计算一瞬间，然后写很久的记录，计算一瞬间，再写很久的记录，最终导致速度特别慢。这也正是为了速度和我笔记本的GTX1050一样，因为大家比的都是写文件的速度。
最后的效果还是很好的，不愧是Tesla V100。ResNet50从最初跑一个epoch12分钟提升到四十多秒，如果删掉日志写入还能更快。而VG

GPU显存占满利用率GPU-util奇低相关推荐

GPU显存占满利用率GPU-util为0
文章目录 1.
解决Ubuntu系统找不到进程，但是GPU显存占满问题
Ubuntu系统有时候会出现GPU显存显示占满,但是使用top命令和nvidia-smi命令都查找不到进程. fuser -v /dev/nvidia* 通过上条命令查找进程,然后使用 sudo ki ...
GPU显存占满但利用率却很低
来帕多瓦联培已经一个多月了,最近调代码跑实验又发现了这个问题.这里提供另外一个解决思路.一个原因还是 cpu没跟上gpu节奏. 通常我们都会用尽可能大的 batch 来占满显存.但是如果cpu的读取和 ...
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
以下两个参数都可以使用nvidia-smi进行查看 GPU内存占用率: GPU内存的占用率往往是由模型大小和batchsize决定的,如果发现GPU占用率很小,比如40%,70%等等.如果此时网络结构 ...
TensorFlow 显存占用率高 GPU利用率低
文章目录 nvidia-smi指令动态刷新GPU信息显存占用高,但是CPU使用率低回头再看 nvidia-smi指令命令位置: 所以Path中添加环境变量: C:\Program Files\ ...
GPU释放显存-----无进程但显存占满解决方法
记录自己在学习中遇到的问题在训练模型时打断训练进程,之后再想进行其他的训练或者验证步骤时,会提示显存已满 out of memory 使用 nvidia-smi 查看gpu使用情况,无法看见正在进行 ...
获取指定进程所占用内存、指定GPU显存信息、所有GPU型号和驱动
######################################################### # 获取指定进程所占用内存 ############################ ...
GPU显存 - 深度学习中 GPU 和显存分析
深度学习中 GPU 和显存分析原文作者陈云. 本文原载于知乎专栏--人工智障的深度瞎学之路深度学习最吃机器,耗资源,在本文,我将来科普一下在深度学习中: 何为"资源" 不同操作 ...
【tensorflow】 GPU 显存分配设置
import osimport tensorflow as tfconfig = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_f ...

GPU显存占满利用率GPU-util奇低

GPU显存占满利用率GPU-util奇低相关推荐

最新文章

热门文章