交叉熵损失和NLL损失之间的区别

总结：

交叉熵 = NLL + SOFTMAX Layer

NLL损失

torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')

常用于多分类（设为C类）问题，且可以对每个分类提供相应的权重，这对于非平衡数据集的处理非常有用。

输入的数据为一阶张量，数据为对数化的概率，并且nll损失需要一个softmax层，如果不想自己创建该层，则使用交叉熵损失。

输出的数据为在[0,C-1]范围内的一个类别的数据，如：0，1，……，C-1.但是也可以指定ignore_index，就可以忽视某个类。

计算的过程如下：

例子：

#一阶的一个计算的例子
#指定了一个softmax层
import torch
m = torch.nn.LogSoftmax(dim = 1)
loss = torch.nn.NLLLoss()
input = torch.randn(3,5,requires_grad = True)
target = torch.tensor([1,0,4])
output = loss(m(input),target)
output.backward()

交叉熵损失

torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')

常用于多分类（设为C类）问题，且可以对每个分类提供相应的权重，这对于非平衡数据集的处理非常有用。

输入的数据是没有经过标准化的每一类的“打分”。

输出的数据为在[0,C-1]范围内的一个类别的数据，如：0，1，……，C-1.但是也可以指定ignore_index，就可以忽视某个类。

计算的过程如下：

例子：

#一阶的一个计算的例子
import torch
loss2 = torch.nn.CrossEntropyLoss()
input = torch.randn(3,5,requires_grad = True)
target = torch.tensor([1,0,4])
output2 = loss2(m(input),target)
output2.backward()

pytorch关于NLL的文档

pytorch关于交叉熵的文档

交叉熵损失和NLL损失的区别相关推荐

【算法】交叉熵损失和KL散度
参考资料: https://blog.csdn.net/b1055077005/article/details/100152102 https://zhuanlan.zhihu.com/p/35709 ...
RankNet学习思路+损函感悟+\pi \xu 学xi+交叉熵损函详
文章目录 RankNet学习思路 canci 损失函数感悟排序学习实践---ranknet方法 1 背景 2 排序学习 2.1 point wise过程 2.2 point wise缺点 2.3 p ...
为什么使用交叉熵代替二次代价函数_Softmax回归与交叉熵损失的理解
0.sigmoid.softmax和交叉熵损失函数的概念理解 sigmoid.softmax和交叉熵损失函数 1.使用场景在二分类问题中,神经网络输出层只有一个神经元,表示预测输出是正类的概率 ...
交叉熵损失函数VS均方差损失函数
均方差损失函数和交叉熵损失函数是比较常用的损失函数分类中常用交叉熵? MSE 均方误差损失也是一种比较常见的损失函数,其定义为: Cross Entropy Loss Function 二分类在二 ...
为什么交叉熵可以用来当损失？与MMD的区别？
为什么交叉熵可以用来当损失主要写一下思路,不做具体的详解. 1. 信息量-log(p)---->信息熵-plog(p) (信息量的期望) 此时只有一个分布 2. 进一步引入KL散度,此 ...
Pytorch踩坑记之交叉熵（nn.CrossEntropy，nn.NLLLoss，nn.BCELoss的区别和使用）
目录 nn.Softmax和nn.LogSoftmax nn.NLLLoss nn.CrossEntropy nn.BCELoss 总结在Pytorch中的交叉熵函数的血泪史要从nn.CrossEn ...
图像分类_03分类器及损失：线性分类+ SVM损失+Softmax 分类+交叉熵损失
2.3.1 线性分类 2.3.1.1 线性分类解释上图图中的权重计算结果结果并不好,权重会给我们的猫图像分配⼀个⾮常低的猫分数.得出的结果偏向于狗. 如果可视化分类,我们为了⽅便,将⼀个图⽚理解成⼀ ...
人脸识别-Loss-2010：Softmax Loss（Softmax激活函数 + “交叉熵损失函数”）【样本3真实标签为c_5，则样本3的损失：loss_3=-log(\hat{y}_5^3)】
一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等. 全连接层:等号左边部分就是全连接层做的事, W W W 是全连接层的参数,我们也称为权值, X X X 是全连接层的输 ...
常用损失函数：交叉熵损失
目录什么是损失函数均方误差与交叉熵为什么要使用交叉熵交叉熵与KL散度之间的关系参考文献什么是损失函数对于损失函数网上已经有充分的解释:"机器学习中所有的算法都需要最大化或最小化 ...

交叉熵损失和NLL损失的区别

交叉熵损失和NLL损失之间的区别

总结：

NLL损失

交叉熵损失

交叉熵损失和NLL损失的区别相关推荐

最新文章

热门文章