标签平滑正则化（LSR）

深度学习中的标签平滑正则化（Label Smoothing Regularization）方法原理详解_.我心永恒_的博客-CSDN博客_标签平滑正则化

标签平滑正则化（Label Smoothing Regularization,LSR）

计算交叉熵损失时，即关注正确类的损失，也关注不正确类的损失。

LSR的使用方法

y'是标签平滑操作后的样本标签，ϵ是平滑因子，u是人为设置的一个固态分布，尺寸和y一样。

具体使用方法，可以看下面的例子。

不使用和使用LSR的区别

（1）使用交叉熵损失时：

可以发现没有标签平滑计算的损失只考虑正确标签位置的损失，而不考虑其他标签位置的损失，这就会出现一个问题，即不考虑其他错误标签位置的损失，这会使得模型过于关注增大预测正确标签的概率，而不关注减少预测错误标签的概率，最后导致的结果是模型在自己的训练集上拟合效果非常良好，而在其他的测试集结果表现不好，即过拟合，也就是说模型泛化能力差。

（2）交叉熵损失-使用标签滑动

可以看出，平滑过后的样本交叉熵损失就不仅考虑到了训练样本中正确的标签位置（one-hot标签为1的位置）的损失，也稍微考虑到其他错误标签位置（one-hot标签为0的位置）的损失，导致最后的损失增大，导致模型的学习能力提高，即要下降到原来的损失，就得学习的更好，也就是迫使模型往增大正确分类概率并且同时减小错误分类概率的方向前进。

标签平滑正则化（LSR）相关推荐

垃圾分类、EfficientNet模型、数据增强(ImageDataGenerator)、混合训练Mixup、Random Erasing随机擦除、标签平滑正则化、tf.keras.Sequence
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 垃圾分类.EfficientNet模型.数据增强(ImageD ...
深度学习--TensorFlow（7）拟合（过拟合处理）（数据增强、提前停止训练、dropout、正则化、标签平滑）
目录拟合 1.拟合情况 2.抵抗过拟合方法过拟合处理(防止过拟合): 一.数据增强 1.设置图像生成器 2.载入图片 3.图像转三维数据 4.三维转四维 5.生成图片(用图像生成器) 代码二.提 ...
【LSR标签平滑理解】
目录 1.动机 2.白话举例了解一).为什么有标签平滑正则化(Label Smoothing Regularization, LSR)的方法?
正则化技巧：标签平滑（Label Smoothing）以及在 PyTorch 中的实现
来源:DeepHub IMBA 本文约1200字,建议阅读5分钟在这篇文章中,我们研究了标签平滑,这是一种试图对抗过度拟合和过度自信的技术. 过拟合和概率校准是训练深度学习模型时出现的两个问题.深度 ...
Label Smoothing 标签平滑 (Label smooth regularization, LSR)
Lable Smoothing 是分类问题中错误标注的一种解决方法.是一种正则化方法, 为了降低模型过拟合(overfitting) 出自inception v3,Transformer中就用到了我 ...
Label Smoothing标签平滑详解+Pytorch保姆级实际操作
目录简介从提出Label Smoothing的论文出发不使用LS时的情况不使用LS时可能带来的问题 LS作为正则化的一种方式具体操作为何LS可以避免偏激的输出对LS的另一个角度理解 Py ...
label smoothing（标签平滑）
label smoothing是一种在分类问题中,防止过拟合的方法. label smoothing(标签平滑) 交叉熵损失函数在多分类任务中存在的问题 label smoothing(标签平滑) 参 ...
label smooth标签平滑【ConvE（知识图谱补全-链接预测）中使用到】
今天我们来聊一聊label smooth这个tricks,标签平滑已经成为众所周知的机器学习或者说深度学习的正则化技巧.标签平滑--label smooth regularization作为一种简单的 ...
标签平滑深度学习：Google Brain解释了为什么标签平滑有用以及什么时候使用它(SOTA tips)...
点击上方"AI公园",关注公众号,选择加"星标"或"置顶" 作者:Less Wright 编译:ronghuaiyang 导读标签平滑算是 ...

标签平滑正则化（LSR）

深度学习中的标签平滑正则化（Label Smoothing Regularization）方法原理详解_.我心永恒_的博客-CSDN博客_标签平滑正则化

标签平滑正则化（Label Smoothing Regularization,LSR）

不使用和使用LSR的区别

标签平滑正则化（LSR）相关推荐

最新文章

热门文章