关于softmax loss这个概念

注意：
网上有很多softmax loss全称指的是：softmax layer with cross entropy loss.
但是：
softmax layer with cross entropy loss≠cross entropy loss

因为cross entropy loss不仅仅可以用于softmax的输出端。
那么文献中有没有提到“softmax loss”，有的：

<Confusion Weighted Loss for Ambiguous Classification>引文：
we deﬁne the softmax loss as the combination of a
cross-entropy loss, a softmax function and the last fully
connected layer

但是这类文献的引用量都不高，所以也就没有成为公认的概念。

https://blog.csdn.net/u014380165/article/details/77284921

关于softmax loss这个概念相关推荐

【AI-1000问】softmax loss和交叉熵有什么关系？
文章首发于微信公众号<有三AI> [AI-1000问]softmax loss和交叉熵有什么关系? 往期视频(前往公众号观看) softmax loss和交叉熵有什么关系? 想必大家也都听 ...
人脸识别-Loss-2016：Large Margin Softmax Loss【Margin：角度分类边界之间的空白角度区域】【增大Margin来提高分类精度】【缺陷：无法处理W_i≠W_j的情况】
尽管传统的softmax在卷积网络作为最常用的监督学习组件,但是他不能促进判别性强的特征的学习,在这篇论文里面首先提出一种基于Margin的L-Softmax损失函数,可以明确地促使学习到的特征具有类 ...
【技术综述】一文道尽softmax loss及其变种
本文首发于龙鹏的知乎专栏<有三AI学院> https://zhuanlan.zhihu.com/c_151876233 今天来说说softmax loss以及它的变种 01 softmax ...
机器学习中的损失函数（着重比较：hinge loss vs softmax loss）
https://blog.csdn.net/u010976453/article/details/78488279 1. 损失函数损失函数(Loss function)是用来估量你模型的预测值 f( ...
Softmax和softmax loss的理解
转载博客链接:https://blog.csdn.net/u014380165/article/details/77284921 下图展示的是全连接层的计算: 这张图的等号左边部分就是全连接层做的事, ...
卷积神经网络系列之softmax，softmax loss和cross entropy
全连接层到损失层间的计算先理清下从全连接层到损失层之间的计算. 这张图的等号左边部分就是全连接层做的事,W是全连接层的参数,我们也称为权值,X是全连接层的输入,也就是特征. 从图上可以看出特征X是N ...
人脸识别-Loss-2010：Softmax Loss（Softmax激活函数 + “交叉熵损失函数”）【样本3真实标签为c_5，则样本3的损失：loss_3=-log(\hat{y}_5^3)】
一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等. 全连接层:等号左边部分就是全连接层做的事, W W W 是全连接层的参数,我们也称为权值, X X X 是全连接层的输 ...
softmax，softmax loss和交叉熵的关系
交叉熵对于分类问题的交叉熵损失函数: L = 1 n ∑ i = 1 n ( − ∑ j = 1 C y i , j log ⁡ p i , j ) L=\frac{1}{n}\sum^{n}_{i ...
large-margin softmax loss for convolutional neural networks
损失函数改进之Large-Margin Softmax Loss_AI之路-CSDN博客_large margin softmax最近几年网络效果的提升除了改变网络结构外,还有一群人在研究损失层的改进 ...

关于softmax loss这个概念

关于softmax loss这个概念相关推荐

最新文章

热门文章