在Transformer模型中遇到这个问题

参考方法：https://www.jianshu.com/p/e1a0b14916f9

原因

class Add_Norm(nn.Module):def __init__(self):super(Add_Norm, self).__init__()self.dropout = nn.Dropout(config.p)def forward(self, x, sub_layer, **kwargs):sub_output = sub_layer(x, **kwargs)x = self.dropout(x + sub_output)layer_norm = nn.LayerNorm(x.size()[1:])out = layer_norm(x)return out

在Transformer模型中的Add_Norm模块的forward函数中，直接构造LayerNorm，导致GPU冲突。
所以只要将LayerNorm层在初始化函数中申明就好。

但我这个LayerNorm层的输入维度依赖于x的维度，所以不好这么做，只能简单粗暴的将其设为gpu显存中。

代码如下：

class Add_Norm(nn.Module):def __init__(self):super(Add_Norm, self).__init__()self.dropout = nn.Dropout(config.p)def forward(self, x, sub_layer, **kwargs):sub_output = sub_layer(x, **kwargs)x = self.dropout(x + sub_output)layer_norm = nn.LayerNorm(x.size()[1:]).to("cuda:0")out = layer_norm(x)return out

RuntimeError: CUDA error: an illegal memory access was encountered的解决方法相关推荐

RuntimeError: CUDA error: an illegal memory access was encountered
文章目录 4. 我的解决 1. 错误描述 2. 自我尝试 2.1 减小batch_size 2.2 换卡改代码 3. 调研情况 4. 我的解决后续发现其实是某张卡有问题, 0~3一共4个GPU,只在 ...
再次遇到RuntimeError: CUDA error: an illegal memory access was encountered
之前遇到过一次记录下来了,第一次遇到翻看之前的记录,首先想着如何让pycharm准确地显示错误. 1:os.environ['CUDA_LAUNCH_BLOCKING'] = '1',模型前加这句, ...
CUDA RuntimeError: CUDA error: an illegal memory access was encountered
我的CUDA version=11.4 百度.谷歌上能找的办法都找了,有各种解决办法减小batch_size的把所有net和输入都放入到相同设备的 net的train和eval状态检查的防止内存 ...
【解决汇总：待更新】CUDA error: an illegal memory access was encountered with channels_last
为方便查看,就直接贴图和网址了.仅供学习使用,如有侵权,请联系我删除. 一.调试方法: 链接原文: Recently, I encountered "an illegal memory a ...
CUDA error: an illegal memory access was encountered
报错原因1: 这种报错的是模型model.输入数据(input_image.input_label)没有全部移动到GPU(cuda)上,或者没有移动到同一块gpu上. **温馨提示:**debug时一 ...
torch.backends.cudnn.enabled = False会引起CUDA out of memory和CUDA error: an illegal memory access was
一般来说,题目所示这种问题都是由batch_size的设置引起的,修改batch_size之后就能有效解决.但是,我今天遇到一种情况,这个问题不是由batch_size引起的,而是由t ...
checkpoint = torch.load(args.state_dict) -＞RuntimeError: CUDA error: out of memory
进行eval,加载模型到gpu时,出现错误:RuntimeError: CUDA error: out of memory 疑似原因:有一个相似的模型(网络结构名相同,通道数不同)在另一块gpu上训练 ...
RuntimeError: CUDA error: out of memory
写在前面( 已解决) 记录一下很诡异的情况,实验室两台同样的电脑做服务器,相同的代码在一直使用的机子上是 ok 的,移到另一台配置好的电脑就开始在 model=model.cuda()的地方报错正式 ...
caffe 报错 Check failed: error == cudaSuccess (77 vs. 0) an illegal memory access was encountered
之前从没有遇到这样的问题,找了三个小时的bug和资料后,在此处发现了解决方案,他是这么说的: In my case the "top" and "bottom" ...

RuntimeError: CUDA error: an illegal memory access was encountered的解决方法

在Transformer模型中遇到这个问题

原因

RuntimeError: CUDA error: an illegal memory access was encountered的解决方法相关推荐

最新文章

热门文章