[轻笔记] label smoothing(标签平滑)

看google AI最新的开源代码，发现有个技巧——label smoothing，网上查到的公式与代码中的公式不一样，于是做个笔记，并对见到的觉得有问题的关于label smoothing的博客也列在文未，供大家评论交流。

一、代码中的label smoothing

对于K分类来说，假设一个样本x xx属于第2类，那么实际上用来训练模型（或者说用来计算损失函数）的标签是一个独热编码，具体为[0,0,1,0], 即在位置为2处数值为1（代表属于第2类(从第0类开始计数))。此时标签平滑的具体步骤为：
1）定义一个小的扰动常量ϵ\epsilonϵ；
2）将one-hot编码的标签中的0替换为ϵ/K\epsilon/Kϵ/K；
3）将one-hot编码的标签中的1替换为1−ϵ+ϵ/K1-\epsilon+\epsilon/K1−ϵ+ϵ/K。

注意：smoothing之后的编码各维加起来等于1。

由于在现实数据集中，并不是所有标签都是正确标注的，所以直接最大化log⁡p(y∣x)\log p(y|x)logp(y∣x)即过于自信的把其中一个候选类对应的digit置为1，将其余类的digit置为零)，反而是有害的。这种过于自信的做法不仅仅会使得模型过拟合，而且有可能拟合到错误的例子上去。一些实验已经证明，标签平滑能够增加模型的泛化能力(Müller et al., 2020)。

python实现

def apply_label_smoothing(one_hot_targets, label_smoothing):"""Apply label smoothing to the one-hot targets.Applies label smoothing such that the on-values are transformed from 1.0 to`1.0 - label_smoothing + label_smoothing / num_classes`, and the off-valuesare transformed from 0.0 to `label_smoothing / num_classes`.https://arxiv.org/abs/1512.00567Note that another way of performing label smoothing (which we don't use here)is to take `label_smoothing` mass from the on-values and distribute it to theoff-values; in other words, transform the on-values to `1.0 - label_smoothing`and the  off-values to `label_smoothing / (num_classes - 1)`.http://jmlr.org/papers/v20/18-789.htmlArgs:one_hot_targets: One-hot targets for an example, a [batch, ..., num_classes]float array.label_smoothing: float; A scalar in [0, 1] used to smooth the labels.Returns:A float array of the same shape as `one_hot_targets` with smoothed labelvalues."""on_value = 1.0 - label_smoothingnum_classes = one_hot_targets.shape[-1]off_value = label_smoothing / num_classesone_hot_targets = one_hot_targets * on_value + off_valuereturn one_hot_targets

测试：

label = np.array([0, 0, 1, 0])
epsilon = 0.1
print("origin label:",label)
print("smoothing label:",apply_label_smoothing(label, epsilon))

二、其它博客中的错误公式不完全列举

CSDN/InceptionZ/标签平滑(label smoothing)把label smoothing公式简化成如下形式，很容易让人迷惑，无法获得3类以上的分类问题的准确公式。
51CTO博客/AI算法与图像处理/标签平滑 - Label Smoothing概述，根据文中几个例子的smoothing结果就知道文中用于计算的公式错了，如下例子，你能知道他用的smoothing参数是多少吗？另外，smoothing后的label各维加起来等于1.08，不等于1。本身就不是一个标准的分类标签。

3.标签平滑Label Smoothing技巧总结一看公式就错，因为加起来不等于1。

从而不难想象后面给的例子计算出的smoothing label都不对。

这个例子对应的正确smoothing label如下：

不过博主的经验分享挺干货的，可以借鉴：

4. CSDN/JacksonKim/Label Smoothing介绍及其代码实现也是计算公式错误：

根据以上公式，计算的label各维加起来不等于1。