问题描述

昨天在实现新想法的时候遇到这样的一个报错
CUDA error: device-side assert triggered 触发了设备端断言
报错的地方在计算loss的部分。我的任务是分割任务，label 0,1 表示背景和前景
loss中使用了dice loss，计算FP FN的时候需要用到1-label的操作去计算交集（这里是铺垫）

解决方法

参考这篇博文 CUDA error: device-side assert triggered
他遇到同样的报错，他考虑了原因可能有激活函数带来的损失函数输入错误
由于我的这个loss是自己重新实现的，我又检查了一遍，应该没问题。

检查loss的输入
- 观察输入的tensor tensor.size() tensor.type()
- 顺便记录一下 tensor.dtype 得到的是torch.float16 tensor.type() 得到的是 torch.HalfTensor
- 发现有点不对劲怎么有的是HalfTensor 有的是 FloatTensor
- 怀疑是不是numpy载入label的时候出问题了？numpy的label存的时候精度不一样嘛？
检查numpy文件
- 用matplot看了一下图片，感觉没问题，难道是opencv处理的时候里面还含有除了 0 1之外的数值？
- 用 np.unique() 看了一下，找到问题了！！ opencv处理之后还是灰度值，忘记/255了
  - 这样在做 1-label 的时候就会溢出，所以报错了

[CUDA报错] CUDA error: device-side assert triggered相关推荐

RuntimeError: cuda runtime error (59) : device-side assert triggered
问题在训练 Transformer 的过程中,pytorhc出现的问题:RuntimeError: cuda runtime error (59) : device-side assert trig ...
cuda runtime error (59) : device-side assert triggered when running transfer_learning_
cuda runtime error (59) : device-side assert triggered when running transfer_learning_ 参考:https://bl ...
ASSERT报错：error C2664: “AfxAssertFailedLine”: 不能将参数 1 从“TCHAR []”转换为“LPCSTR”...
转载请注明来源:崨雁嫀筝 http://www.cnblogs.com/xuesongshu 这个错误是我在把tinyxml修改为宽字符(Unicode)版本时候遇到的问题,我首先按关键字把所有有ch ...
面对CUDA报错的种种解决办法
面对CUDA报错的种种解决办法 1 cuda failure 4 1 cuda failure 4 检查是否被docker容器所挂载完?
windows10下编译dllib报错： ERROR: Failed building wheel for dlib
一.报错信息在安装dlib的时候,使用pip进行安装 pip install dlib 二.解决方式 1.检查自己是否已经安装了cmake 首先要检测自己本机是否已经安装了cmake,因为安装dli ...
python 安装pytorch apex 报错：“ERROR: Command errored out with exit status 1: /home/litt/anaconda3/envs/”
1.安装错误安装apex库时,执行安装 pip install -v --disable-pip-version-check --no-cache-dir --global-option=" ...
win10 VMware启动虚拟机报错hyper-v or device/credential guard enabled (76918)
@[TOC](VMware 报错hyper-v or device/credential guard enabled (76918)) 问题 VMware 启动装好的虚拟机时报错:Error : Yo ...
linux下unzip解压报错“symlink error: File name too long”怎么办？提供解决方案。
点击上方↑↑↑蓝字[协议分析与还原]关注我们 " 分享unzip工具的一个bug." 最近在研究菠菜站,中间用到了Spidermonkey,碰到一些小波折,在这里分享出来,以便大家 ...
redis设置主从复制-slave Replication--解决报错：(error) READONLY You can't write against a read only slave.
我的个人博客:zhang0peter的个人博客主节点按照我上篇文章的内容配好redis后就可以了:ubuntu, debian 安装redis,设置开机自动启动和密码,允许外网访问在从节点安装好r ...
Sublime Text 3便携版下载安装和常用插件安装--顺便解决报错An error occured installing和no packages available for install
文章目录 Sublime Text 3便携版下载安装和常用插件安装 1.Sublime Text 3便携版下载: 2.sublime 插件控制器(Package Control)安装 2.1离线安装P ...

[CUDA报错] CUDA error: device-side assert triggered

问题描述

解决方法

[CUDA报错] CUDA error: device-side assert triggered相关推荐

最新文章

热门文章