【解决方案】pytorch中loss变成了nan | 神经网络输出nan

loss_func = nn.MSELoss()
loss = loss_func(val, target)

最近在跑一个项目，计算loss时用了很普通的MSE，在训练了10到300个batch时，会出现loss tensor([[nan nan nan nan]]类似的情况。对这个异常的loss进行梯度下降，会导致net的输出变为nan。在网上查了解决方案，都不好用：

学习率过大；
loss过小（或者说除以了0 / 计算了 log(0)）；
存在脏数据输入NaN。

试过上述方法，却同样无效的小伙伴可以考虑：

自己手写 loss function ，在临界值处改为线性函数，知乎链接：【PyTorch】梯度爆炸、loss在反向传播变为nan；
或者参考我下面的方案。

这里我观察了临界值，打了90分钟的print，发现我的问题出在target上。

我的 target 计算公式，可能会得到 inf 的结果，导致无法正常的梯度下降。可以考虑：

检查 target 是否正确；
计算了 target 后，将其改为自己需要的值，如下。

target[target == float("Inf")] = 0

但请注意该方法在数学上的可行性。

【解决方案】pytorch中loss变成了nan | 神经网络输出nan | MSE 梯度爆炸/梯度消失相关推荐

通过PyTorch中的可视化理解卷积神经网络
[全文下载方式]: 关注公众号后台回复关键词: 20190120 在当今时代,机器已经成功地在理解,识别图像中的特征和对象方面达到了99%的准确度.我们每天都会看到它们,引用一些,识别相机中的脸部的智 ...
在PyTorch中使用卷积神经网络建立图像分类模型
概述在PyTorch中构建自己的卷积神经网络(CNN)的实践教程我们将研究一个图像分类问题--CNN的一个经典和广泛使用的应用我们将以实用的格式介绍深度学习概念介绍我被神经网络的力量和能力所 ...
神经网络训练中的梯度消失和梯度爆炸问题
梯度消失和梯度爆炸梯度消失的具体表现是,接近于输出层的权值更新相对正常,但是接近于输入层的权值基本不更新,或更新的非常慢.这样,深度网络的学习就等价于只有后几层的浅层网络的学习了. 梯度爆炸的具体的 ...
pytorch中的pre-train函数模型引用及修改（增减网络层，修改某层参数等）
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/whut_ldz/article/det ...
深度神经网络中的梯度丢失与梯度爆炸
神经网络的反向传播要理解梯度丢失(vanishing gradient)和梯度爆炸,首先需要理解神经网络的反向传播算法. 一般来说,训练一个神经网络需要很多个迭代.在每个迭代中,都包含两个步骤. 前 ...
深度学习--TensorFlow（4）BP神经网络（损失函数、梯度下降、常用激活函数、梯度消失梯度爆炸）
目录一.概念与定义二.损失函数/代价函数(loss) 三.梯度下降法二维w与loss: 三维w与loss: 四.常用激活函数 1.softmax激活函数 2.sigmoid激活函数 3.tanh ...
[深度学习-优化]梯度消失与梯度爆炸的原因以及解决方案
首先让我们先来了解一个概念:什么是梯度不稳定呢? 概念:在深度神经网络中的梯度是不稳定的,在靠近输入层的隐藏层中或会消失,或会爆炸.这种不稳定性才是深度神经网络中基于梯度学习的根本问题. 产生梯度不稳 ...
梯度消失和梯度爆炸_出现梯度消失与梯度爆炸的原因以及解决方案
在学习李宏毅老师机器学习的相关视频时,课下做了一个有关神经网络的小Demo,但是运行效果总是不尽人意,上网查询资料,才发现是梯度爆炸和梯度消失惹的祸.今天就让我们一起来学习一下梯度消失与梯度爆炸的概念 ...
时序数据采样、原始循环神经网络RNN、RNN梯度爆炸原因推导
时序数据的采样随机采样每个样本是原始序列上任意截取的一段序列.相邻的两个随机小批量在原始序列上的位置不一定相毗邻.因此,我们无法用一个小批量最终时间步的隐藏状态来初始化下一个小批量的隐藏状态.在训 ...

【解决方案】pytorch中loss变成了nan | 神经网络输出nan | MSE 梯度爆炸/梯度消失

【解决方案】pytorch中loss变成了nan | 神经网络输出nan | MSE 梯度爆炸/梯度消失相关推荐

最新文章

热门文章