CUDA、CUDNN跑卷积神经网络报错CUDA error: CUBLAS_STATUS_EXECUTION_FAILED和CUDNN_STATUS_EXECUTION

笔者跑神经网络的时候遇到显存溢出问题。

系统：Ubuntu 16.04
CUDA：10.0.130
CUDNN：7.6.4.38
Python：3.6.12
PYTORCH: 1.2
TORCHVISION: 0.4

卷积神经网络的代码用CPU跑没问题，但是用CUDA+CUDNN跑报错：

RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED

载入参数前，加上语句：

torch.backends.cudnn.enabled = False

禁用CUDNN跑，报错：

RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)`

试着换CUDA和CUDNN版本：
CUDA: 11.1.105
CUDNN
Python: 3.6.6
PYTORCH: 1.8
TORCHVISION: 0.9
BATCHSIZE：64

CUDA+CUDNN跑报错：

RuntimeError: CUDA out of memory. Tried to allocate 392.00 MiB (GPU 0; 7.79 GiB total capacity; 5.32 GiB already allocated; 307.25 MiB free; 5.33 GiB reserved in total by PyTorch)

屏蔽CUDNN也报错：

RuntimeError: CUDA out of memory. Tried to allocate 56.00 MiB (GPU 0; 7.79 GiB total capacity; 5.46 GiB already allocated; 70.81 MiB free; 5.48 GiB reserved in total by PyTorch)

在网上搜，说在报错语句前后加清理缓存的语句：

if hasattr(torch.cuda, 'empty_cache'):torch.cuda.empty_cache()

还是没解决。

这个问题是显存不足，除了换显卡之外，修改模型大小可能是比较好的解决方法。

最后，BATCHSIZE改为8，运行成功。

CUDA、CUDNN跑卷积神经网络报错CUDA error: CUBLAS_STATUS_EXECUTION_FAILED和CUDNN_STATUS_EXECUTION_FAILED相关推荐

tez引擎跑hive 语句报错问题解决
tez引擎跑hive 语句报错问题解决现象: Container [pid=151320,containerID=***] is running beyond physical memory lim ...
windows10下编译dllib报错： ERROR: Failed building wheel for dlib
一.报错信息在安装dlib的时候,使用pip进行安装 pip install dlib 二.解决方式 1.检查自己是否已经安装了cmake 首先要检测自己本机是否已经安装了cmake,因为安装dli ...
python 安装pytorch apex 报错：“ERROR: Command errored out with exit status 1: /home/litt/anaconda3/envs/”
1.安装错误安装apex库时,执行安装 pip install -v --disable-pip-version-check --no-cache-dir --global-option=" ...
【c语言 gcc9.1.0环境下编译报错】error: ‘true’ undeclared (first use in this function)
问题网上验证一个单链表是否有环的c语言demo,放到gcc9.1.0的环境下编译,发现编译报错: error: 'true' undeclared (first use in this functi ...
linux下unzip解压报错“symlink error: File name too long”怎么办？提供解决方案。
点击上方↑↑↑蓝字[协议分析与还原]关注我们 " 分享unzip工具的一个bug." 最近在研究菠菜站,中间用到了Spidermonkey,碰到一些小波折,在这里分享出来,以便大家 ...
redis设置主从复制-slave Replication--解决报错：(error) READONLY You can't write against a read only slave.
我的个人博客:zhang0peter的个人博客主节点按照我上篇文章的内容配好redis后就可以了:ubuntu, debian 安装redis,设置开机自动启动和密码,允许外网访问在从节点安装好r ...
Sublime Text 3便携版下载安装和常用插件安装--顺便解决报错An error occured installing和no packages available for install
文章目录 Sublime Text 3便携版下载安装和常用插件安装 1.Sublime Text 3便携版下载: 2.sublime 插件控制器(Package Control)安装 2.1离线安装P ...
SAP LSMW 事务代码HUPAST的录屏后台执行报错 - Runtime error RAISE_EXCEPTION has occurred - 之分析
SAP LSMW 事务代码HUPAST的录屏后台执行报错 - Runtime error RAISE_EXCEPTION has occurred - 之分析因项目上成品库存管理启用了handlin ...
Vue报错：Error while running task D:\vue\forum:build with message‘spawn vue-cli-service ENOENT‘
Vue报错:Error while running task D:\vue\vueforum\forum:build with message'spawn vue-cli-service ENOENT ...

CUDA、CUDNN跑卷积神经网络报错CUDA error: CUBLAS_STATUS_EXECUTION_FAILED和CUDNN_STATUS_EXECUTION_FAILED

CUDA、CUDNN跑卷积神经网络报错CUDA error: CUBLAS_STATUS_EXECUTION_FAILED和CUDNN_STATUS_EXECUTION_FAILED相关推荐

最新文章

热门文章