交叉熵损失函数在多分类任务中存在的问题

多分类任务中，神经网络会输出一个当前数据对应于各个类别的置信度分数，将这些分数通过softmax进行归一化处理，最终会得到当前数据属于每个类别的概率。

qi=exp(zi)∑j=1kexp(zj)q_i={{exp(z_i)}\over{\sum_{j=1}^kexp(z_j)}}qi=∑j=1kexp(zj)exp(zi)

然后计算交叉熵损失函数：

Loss=−∑i=1kpilogqiLoss=-\sum_{i=1}^k p_i \space log\space q_iLoss=−i=1∑kpi log qi

pi={1,if(i=y)0,if(i≠y)p_i=\left\{\begin{matrix} 1,if(i=y)\\0,if(i\neq y) \end{matrix}\right.pi={1,if(i=y)0,if(i=y)

其中i表示多分类中的某一类其中i表示多分类中的某一类其中i表示多分类中的某一类

训练神经网络时，最小化预测概率和标签真实概率之间的交叉熵，从而得到最优的预测概率分布。最优的预测概率分布是：

Zi={+∞,if(i=y)0,if(i≠y)Z_i=\left\{\begin{matrix} +\infty,if(i=y)\\0,if(i\neq y) \end{matrix}\right.Zi={+∞,if(i=y)0,if(i=y)

神经网络会促使自身往正确标签和错误标签差值最大的方向学习，在训练数据较少，不足以表征所有的样本特征的情况下，会导致网络过拟合。

label smoothing（标签平滑）

label smoothing可以解决上述问题，这是一种正则化策略，主要通过soft one-hot来加入噪声，减少真实样本标签的类别在计算损失函数时的权重，最终起到抑制过拟合的效果。
增加label smoothing后真实的概率分布有如下改变：

pi={1,if(i=y)0,if(i≠y)p_i=\left\{\begin{matrix} 1,if(i=y)\\0,if(i\neq y) \end{matrix}\right.pi={1,if(i=y)0,if(i=y)

pi={(1−ϵ),if(i=y)ϵK−1,if(i≠y)p_i=\left\{\begin{matrix} (1-\epsilon),if(i=y)\\{{\epsilon}\over{K-1}},if(i\neq y) \end{matrix}\right.pi={(1−ϵ),if(i=y)K−1ϵ,if(i=y)

K表示多分类的类别总数K表示多分类的类别总数K表示多分类的类别总数
ϵ是一个较小的超参数\epsilon是一个较小的超参数ϵ是一个较小的超参数

交叉熵损失函数的改变如下：

Loss=−∑i=1kpilogqiLoss=-\sum_{i=1}^k p_i \space log\space q_iLoss=−i=1∑kpi log qi

Loss={(1−ϵ)∗Loss,if(i=y)ϵ∗Loss,if(i≠y)Loss=\left\{\begin{matrix} (1-\epsilon)*Loss,if(i=y)\\ \epsilon*Loss,if(i\neq y) \end{matrix}\right.Loss={(1−ϵ)∗Loss,if(i=y)ϵ∗Loss,if(i=y)

最优预测概率分布如下：

Zi={+∞,if(i=y)0,if(i≠y)Z_i=\left\{\begin{matrix} +\infty,if(i=y)\\0,if(i\neq y) \end{matrix}\right.Zi={+∞,if(i=y)0,if(i=y)

Zi={log(k−1)(1−ϵ)ϵ+α,if(i=y)α,if(i≠y)Z_i=\left\{\begin{matrix} log{{(k-1)(1-\epsilon)}\over{\epsilon+\alpha}},if(i=y)\\\alpha,if(i\neq y) \end{matrix}\right.Zi={logϵ+α(k−1)(1−ϵ),if(i=y)α,if(i=y)

这里的α是任意实数，最终模型通过抑制正负样本输出差值，使得网络有更强的泛化能力。

参考资料

https://zhuanlan.zhihu.com/p/116466239
https://blog.csdn.net/qq_43211132/article/details/100510113

label smoothing（标签平滑）相关推荐

关于label smoothing(标签平滑)
目的: label smoothing常用于分类任务,防止模型在训练中过拟合,提高模型的泛化能力. 意义: 对于分类问题,我们通常使用one-hot编码,"非黑即白",标签向量的目 ...
Label Smoothing 标签平滑 (Label smooth regularization, LSR)
Lable Smoothing 是分类问题中错误标注的一种解决方法.是一种正则化方法, 为了降低模型过拟合(overfitting) 出自inception v3,Transformer中就用到了我 ...
[轻笔记] label smoothing(标签平滑)
看google AI最新的开源代码,发现有个技巧--label smoothing,网上查到的公式与代码中的公式不一样,于是做个笔记,并对见到的觉得有问题的关于label smoothing的博客也列 ...
Label Smoothing标签平滑详解+Pytorch保姆级实际操作
目录简介从提出Label Smoothing的论文出发不使用LS时的情况不使用LS时可能带来的问题 LS作为正则化的一种方式具体操作为何LS可以避免偏激的输出对LS的另一个角度理解 Py ...
label smooth标签平滑【ConvE（知识图谱补全-链接预测）中使用到】
今天我们来聊一聊label smooth这个tricks,标签平滑已经成为众所周知的机器学习或者说深度学习的正则化技巧.标签平滑--label smooth regularization作为一种简单的 ...
label smooth标签平滑的理解
今天我们来聊一聊label smooth这个tricks,标签平滑已经成为众所周知的机器学习或者说深度学习的正则化技巧.标签平滑--label smooth regularization作为一种简单的 ...
目标检测的Tricks | 【Trick1】Label Smoothing
如有错误,恳请指出. 文章目录 1. Label Smoothing理论概要 2. Label Smoothing实现代码 1. Label Smoothing理论概要假设我们的分类只有两个,一个是 ...
标签平滑论文笔记：2020《When Does Label Smoothing Help?》
标签平滑介绍实验1:标签平滑作用实验2:针对ECE与温度缩放进行对比(作用相近) 实验3:标签平滑对知识蒸馏影响(变差) 实验3知识蒸馏:互信息I(X;Y) 链接介绍看成距离: 这里 ...
标签平滑 label smoothing
文章目录简介什么是label smoothing label smoothing作用 torch实现label smoothing 简介 label smoothing其实是机器学习和深度学习上比 ...

label smoothing（标签平滑）

label smoothing（标签平滑）

交叉熵损失函数在多分类任务中存在的问题

label smoothing（标签平滑）

参考资料

label smoothing（标签平滑）相关推荐

最新文章

热门文章