训练内存溢出问题

问题描述

使用显卡为1660ti-6G,系统为Ubuntu16.04,使用的tensorflow版本为1.14.
在进行网络的训练的时,tensorflow会默认将显卡的显存占满,然后训练网络有时会出现如下错误:
Unknown: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.

解决方法

针对这种问题,需要人为的对程序所需要的显存进行限制
下面是针对两种显存限制方式(显存自适应增长和显存固定限制)实现的代码

def gpu_memory_config(mode,ratio=1):'''# gpu config function for memory overflow'''config = tf.ConfigProto()if(mode == "adaption"):config.gpu_options.allow_growth = True if(mode == "ratio"):config.gpu_options.peper_process_gpu_memory_fraction = ratioreturn config

通过以上代码完成对显存配置方式的选择,启动Session的时候来进行设定:

config = gpu_memory_config(adaption)
with tf.Session(config = config) as :
......

keras和tensorflow混合使用的条件下发生内存溢出的问题

import tensorflow as tf
from tensorflow import keras
import keras.backend.tensorflow_backend as KTF// 显存自适应(adaption)和显存固定限额(ratio)
model = *******
config = gpu_memory_config(mode)
session = tf.Session(config=config)
KTF.set_session(session)

通过tensorflow的后端来进行keras的显存超出问题的设置

batch_size设置导致tensorflow-gpu显存超出

Tensorflow-GPU显存错误

Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

解决方法

减小网络的batch_size的值

忽略训练过程中产生的警告和设备信息

import os
import logging
import warnings# TF_CPP_MIN_LOG_LEVEL = 1         //默认设置，为显示所有信息
# TF_CPP_MIN_LOG_LEVEL = 2         //只显示error和warining信息
# TF_CPP_MIN_LOG_LEVEL = 3         //只显示error信息os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"
warnings.filterwarnings("ignore")
logging.getLogger('tensorflow').setLevel(logging.ERROR)

tensorflow-gpu版本使用问题和方法汇总相关推荐

win10 + bazel-0.20.0 + tensorflow-1.13.1 编译tensorflow GPU版本的C++库
win10 + bazel-0.20.0 + tensorflow-1.13.1 编译tensorflow GPU版本的C++库安装所需软件/库 Step1. 安装vs2015,CUDA 10.0和 ...
win7 64位安装tensorflow GPU版本
近日终于在win7上安装成功tensorflow GPU版本,并测试成功!这里将其中遇到的种种问题和解决方法做下记录,以供大家相互交流! 电脑配置:16G内存:处理器: AMD Athlon(tm ...
windows10下安装tensorflow(gpu版本)
windows10安装tensorflow的gpu版本(pip3安装方式) 前言: TensorFlow 有cpu和 gpu两个版本:gpu版本需要英伟达CUDA 和 cuDNN 的支持,cpu版本不 ...
Ubuntu 20.04 安装Tensorflow GPU版本（GTX-1060显卡）
Ubuntu 20.04 安装Tensorflow GPU版本 (GTX-1060显卡) 参考: https://cyfeng.science/2020/05/02/ubuntu-install-nv ...
根据显卡型号选择CUDA和cuDNN进行TensorFlow GPU版本安装
文章目录一.显卡型号二.CUDA 三.cuDNN 四.tensorflow-gpu 五.查看显卡利用率 Linux系统 Linux下Anaconda 参考文献此文章默认显卡支持CUDA和已安装显 ...
TensorFlow GPU 版本安装个人总结：Win10 + Python3.5 + CUDA 9.0.176 + cudnn v7.5.0.56 + TensorFlow 1.12.0
TensorFlow GPU 版本安装个人总结:Win10 + Python3.5 + CUDA 9.0.176 + cudnn v7.5.0.56 + TensorFlow 1.12.0 接触机器学 ...
windows10下 tensorflow gpu版本安装配置方法
最近要用到tensorflow,之前安装了cpu版本的,但训练模型速度实在是慢,打算安装一个GPU版本的tensorflow: 安装环境为:wiindows 10, anaconda python36 ...
通过Anaconda在Ubuntu16.04上安装 TensorFlow(GPU版本)
一. 安装环境 Ubuntu16.04.3 LST GPU: GeForce GTX1070 Python: 3.5 CUDA Toolkit 8.0 GA1 (Sept 2016) cuDNN v6 ...
tensorflow GPU版本配置加速环境
import tensorflow as tf tf.test.is_gpu_available() 背景环境:Anaconda .tensorflow_gpu==1.4.0 (这里就用1.4.0版 ...

tensorflow-gpu版本使用问题和方法汇总

tensorflow-gpu版本使用问题和方法汇总

训练内存溢出问题

问题描述

解决方法

keras和tensorflow混合使用的条件下发生内存溢出的问题

batch_size设置导致tensorflow-gpu显存超出

Tensorflow-GPU显存错误

解决方法

忽略训练过程中产生的警告和设备信息

tensorflow-gpu版本使用问题和方法汇总相关推荐

最新文章

热门文章