深度学习PyTorch、TensorFlow中GPU利用率与内存占用率很低的问题

上周，在一个使用Pytorch搭建的目标训练项目中，训练时，通过使用命令行执行NVIDIA-SMI（仅支持英伟达显卡）命令发现GPU的利用率基本一直停留在0%，并且显存占用率也较低。CSDN上有一篇分析比较好的博文，我将其中与GPU相关的分析摘抄如下：

1. GPU内存占用率问题

这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占用率很小的时候，比如40%，70%，等等。此时，如果你的网络结构已经固定，此时只需要改变batch size的大小，就可以尽量利用完整个GPU的内存。GPU的内存占用率主要是模型的大小，包括网络的宽度，深度，参数量，中间每一层的缓存，都会在内存中开辟空间来进行保存，所以模型本身会占用很大一部分内存。其次是batch size的大小，也会占用影响内存占用率。batch size设置为128，与设置为256相比，内存占用率是接近于2倍关系。当你batch size设置为128，占用率为40%的话，设置为256时，此时模型的占用率约等于80%，偏差不大。所以在模型结构固定的情况下，尽量将batch size设置大，充分利用GPU的内存。（GPU会很快的算完你给进去的数据，主要瓶颈在CPU的数据吞吐量上面。）

2. GPU利用率问题

这个是Volatile GPU-Util表示，当没有设置好CPU的线程数时，这个参数是在反复的跳动的，0%，20%，70%，95%，0%。这样停息1-2 秒然后又重复起来。其实是GPU在等待数据从CPU传输过来， 当从总线传输到GPU之后，GPU逐渐起计算来，利用率会突然升高，但是GPU的算力很强大，0.5秒就基本能处理完数据，所以利用率接下来又会降下去，等待下一个batch的传入。因此，这个GPU利用率瓶颈在内存带宽和内存介质上以及CPU的性能上面。最好当然就是换更好的四代或者更强大的内存条，配合更好的CPU。

另外的一个方法是，在PyTorch这个框架里面，在数据加载即Dataloader上做更改和优化， 包括num_workers（线程数），pin_memory， 会提升速度。解决好数据传输的带宽瓶颈和GPU的运算效率低的问题。在TensorFlow下面，也有这个加载数据的设置。

torch.utils.data.DataLoader(image_datasets[x],batch_size=batch_size, shuffle=True,num_workers=8,pin_memory=True)

为了提高利用率，**首先要将num_workers（线程数）设置得体，4、8、16是几个常选的几个参数。**本人测试过，将num_workers设置的非常大，例如24、32,等，其效率反而降低， 因为模型需要将数据平均分配到几个子线程去进行预处理，分发等数据操作，设高了反而影响效率。当然，线程数设置为1，是单个CPU来进行数据的预处理和传输给GPU，效率也会低。其次，当你的服务器或者电脑的内存较大，性能较好的时候，建议打开pin_memory打开， 就省掉了将数据从CPU传入到缓存RAM里面，再给传输到GPU上；为True时是直接映射到GPU的相关内存块上，省掉了一点数据传输时间。

————————————————
版权声明：本文为CSDN博主「是否龙磊磊真的一无所有」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_32998593/article/details/92849585

// 全文完

因笔者能力有限，若文章内容存在错误或不恰当之处，欢迎留言、私信批评指正。
Email：YePeanut[at]foxmail.com

深度学习PyTorch、TensorFlow中GPU利用率与内存占用率很低的问题相关推荐

深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
在深度学习模型训练过程中,在服务器端或者本地pc端,输入nvidia-smi来观察显卡的GPU内存占用率(Memory-Usage),显卡的GPU利用率(GPU-util),然后采用top来查看CPU ...
linux 用户使用率的限制,linux中限制CPU和内存占用率方法
查看cpu占用在命令行中输入 "top" 即可启动 top top 的全屏对话模式可分为3部分:系统信息栏.命令输入栏.进程列表栏. 使用top查看系统负荷 top命令可以动态监 ...
linux系统限制内存使用率,linux中限制CPU和内存占用率方法
在linux中CPU与内存占用率限制的方法有几种我这里整理常用的两种,希望文章对各位同学会有所帮助哦. 查看cpu占用在命令行中输入 "top" 即可启动 top top 的全屏 ...
深度学习PyTorch，TensorFlow中GPU利用率较低,使用率周期性变化的问题
在用tensorflow训练神经网络时,发现训练迭代的速度时而快时而慢,监督的GPU使用率也是周期性变化,通过了解,发现原因是: GPU在等待CPU读取,预处理,并传输数据过来,因此要提高GPU的使用 ...
深度学习——在TensorFlow中查看和设定张量的形态
参考书籍:<深度学习--基于Python语言和TensorFlow平台> import tensorflow as tfx = tf.placeholder(dtype=tf.float3 ...
李沐老师的《动手学深度学习PyTorch》中的d2lzh_python包的安装
关于RNN章节以及模型章节等会使用到d2l的python包 cmd下载地址:pip install d2l -i https://pypi.doubanio.com/simple/
C++调用Python文件，TensorFlow和PyTorch构建的深度学习模型，无法使用GPU的情况分析。
C++调用Python深度学习模型,包含TensorFlow和PyTorch等构造的模型,然后使用GPU出现问题.包含C++调用Python函数,C++加载模型到GPU,GPU内存占用过大,计算完毕内 ...
快速了解深度学习框架--tensorflow(更新中)
深度学习框架(工具)简单来说即库,需要import,比如tensorflow,Caffe- 深度学习框架提供了一系列的深度学习的组件(对于通用的算法,里面会有实现),当需要使用新的算法的时候就需要用户 ...
深度学习调用TensorFlow、PyTorch等框架
深度学习调用TensorFlow.PyTorch等框架一．开发目标目标提供统一接口的库,它可以从C++和Python中的多个框架中运行深度学习模型.欧米诺使研究人员能够在自己选择的框架内轻松建立模 ...

深度学习PyTorch、TensorFlow中GPU利用率与内存占用率很低的问题

深度学习PyTorch、TensorFlow中GPU利用率与内存占用率很低的问题相关推荐

最新文章

热门文章