Label Smoothing 标签平滑 (Label smooth regularization, LSR)
Lable Smoothing 是分类问题中错误标注的一种解决方法。是一种正则化方法, 为了降低模型过拟合(overfitting)
出自inception v3，Transformer中就用到了
我们用softmax最后去输出一个概率的时候，label是正确的是1，错误的是0。也就是说,我们的训练是想让正确的那个分类的softmax的值逼近于1. 但我们知道softmax是很难逼近于1的，需要输出接近无限大的时候，才能逼近于1，使得训练比较困难。那么我们就不要搞成0和1这样，把1的值稍微降一些，降成0.9。在Transformer中，甚至降成了0.1，即对于正确的词，需要softmax输出>0.1就可以了
对于分类问题，特别是多分类问题，常常把向量转换成one-hot-vector（独热向量）。我们采用one-hot标签去进行计算交叉熵损失时，只考虑到训练样本中正确的标签位置（one-hot标签为1的位置）的损失，而忽略了错误标签位置（one-hot标签为0的位置）的损失。这样一来，模型可以在训练集上拟合的很好，但由于其他错误标签位置的损失没有计算，导致预测的时候，预测错误的概率增大。为了解决这一问题，标签平滑的正则化方法便应运而生。
没有标签平滑的损失计算的例子
有标签平滑的例子
标签平滑的公式
标签平滑的应用场景
只要loss损失函数中涉及到了cross entropy，都可以应用标签平滑处理。
标签平滑的实质就是促使神经网络中进行softmax激活函数激活之后的分类概率结果向正确分类靠近，即正确的分类概率输出大（对应的one-hot标签为1位置的softmax概率大），并且同样尽可能的远离错误分类（对应的one-hot标签为0位置的softmax概率小），即错误的分类概率输出小。
Label Smoothing 标签平滑 (Label smooth regularization, LSR)相关推荐
- [轻笔记] label smoothing(标签平滑)
看google AI最新的开源代码,发现有个技巧--label smoothing,网上查到的公式与代码中的公式不一样,于是做个笔记,并对见到的觉得有问题的关于label smoothing的博客也列 ...
- 关于label smoothing(标签平滑)
目的: label smoothing常用于分类任务,防止模型在训练中过拟合,提高模型的泛化能力. 意义: 对于分类问题,我们通常使用one-hot编码,"非黑即白",标签向量的目 ...
- Label Smoothing标签平滑详解+Pytorch保姆级实际操作
目录 简介 从提出Label Smoothing的论文出发 不使用LS时的情况 不使用LS时可能带来的问题 LS作为正则化的一种方式 具体操作 为何LS可以避免偏激的输出 对LS的另一个角度理解 Py ...
- 标签平滑 Label smoothing / Temperature Softmax
标签平滑 Label smoothing 逻辑 为什么有效 Temperature Softmax 近期在查看一些训练技巧,无意中发现了标签平滑 Label smoothing,非常简单却有效的一个技 ...
- 标签平滑 label smoothing
文章目录 简介 什么是label smoothing label smoothing作用 torch实现label smoothing 简介 label smoothing其实是机器学习和深度学习上比 ...
- 标签平滑Label Smoothing
Lable Smoothing 是分类问题中错误标注的一种解决方法. 对于分类问题,特别是多分类问题,常常把向量转换成one-hot-vector(独热向量) one-hot带来的问题:(对于独热的简 ...
- HTML ＜label＞标签＜/label＞中的“ for”属性有什么作用＜label＞？＜/label＞
本文翻译自:What does "for" attribute do in HTML tag? I wonder what is the difference between th ...
- label smooth标签平滑的理解
今天我们来聊一聊label smooth这个tricks,标签平滑已经成为众所周知的机器学习或者说深度学习的正则化技巧.标签平滑--label smooth regularization作为一种简单的 ...
- label smooth标签平滑【ConvE（知识图谱补全-链接预测）中使用到】
今天我们来聊一聊label smooth这个tricks,标签平滑已经成为众所周知的机器学习或者说深度学习的正则化技巧.标签平滑--label smooth regularization作为一种简单的 ...
最新文章
- 在 Redis 中设置了过期时间的 Key，需要注意哪些问题？
- Linux部署web程序
- 安徽省计算机水平考试试卷,第1次安徽省计算机水平考试试卷.doc
- 1245C. Constanze‘s Machine
- （软件工程复习核心重点）第三章需求分析-第一节：需求分析相关概念
- (2015秋) 软工作业成绩公布
- 期货一个价格变动对应价值变化
- 月薪过万的测试员，是一种什么样的生活状态？你愿意再战一次吗...
- UVA494 Kindergarten Counting Game【输入输出＋水题】
- Linux操作系统下6个应急处理小常识
- java day03【 流程控制语句】
- php基础-php基本语法
- 数据库设计的几个建议
- 四级网络工程师试题一
- 还不了解外贸流程？这一篇就够了（小声bb）
- 微信会员卡展示条形码
- macOS 安卓模拟器 Genymotion 安装
- Cocoss2d-x开发流程工具化思想与实现
- osmosis抽取PBF矢量数据，导出xml格式数据
- 跳跃游戏(jump-game)图解