【自然语言处理】聊聊曝光误差（Exposure Bias）怎么被解决的
前言
曝光误差（exposure bias）简单来讲是因为文本生成在训练和推断时的不一致造成的。不一致体现在推断和训练时使用的输入不同，在训练时每一个词输入都来自真实样本（GroudTruth），但是在推断时当前输入用的却是上一个词的输出。
解决方案
1.使用scheduled-sampling，简单的做法就是在训练阶段使用的输入以p的概率选择真实样本，以1-p的概率选择上一个词的输出。而这个概率p是随着训练次数的增加衰减，可以使用指数函数的衰减，或者反sigmoid函数或者线性函数。
2.在loss中增加一定约束(曾经见到有人这么做过，但是我后面想仔细查阅时却发现一直都找不到这篇文章了)。
3.强化学习+GAN，就是SeqGAN的方法。这个Exposure Bias也是从《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》这篇文章我看到的，但是作者阐述了这个问题（作者阐述的是用极大似然估计法会导致这个问题），不过SeqGAN并未阐述如何解决这个问题的。后来仔细思考，可以发现在SeqGAN训练阶段给于每个词是对应的奖励而不是像极大似然估计一样来提高这个词的概率，所以不会导致这个Exposure Bias。
相关资料
在BERT训练的任务通过预测Mark(掩盖)的词（这些词用一个标记来表示），然而下游任务并没有这个标记，所以在BERT中也采用了类似做法，就是训练时句子有p的概率是有掩盖的词，有q的概率是替换的词，有1-p-q的概率没有掩盖。然而这种做法就跟scheduled-sampling非常相似（或者是借鉴）。
【自然语言处理】聊聊曝光误差（Exposure Bias）怎么被解决的相关推荐
- 【剑桥摄影协会】相机的测光（Metering）与曝光（Exposure）
了解数码相机如何通过光线测量来控制准确的曝光是至关重要的.测光系统是相机的大脑,它根据照明条件和ISO感光度的设定,决定快门速度和光圈.测光系统的选项通常包括:部分测光.评估区域或矩阵测光.中心加权测 ...
- Seq2Seq模型中的label bias和exposure bias问题
从序列到序列的seq2seq模型中,存在着label bias和exposure bias问题.这两个偏差问题是由于不同的原因导致的.先给出结论在分别解释 label bias:根本原因是我们真实的目 ...
- Seq2Seq中Exposure Bias现象的浅析与对策
©PaperWeekly 原创 · 作者|苏剑林 单位|追一科技 研究方向|NLP.神经网络 前些天笔者写了CRF用过了,不妨再了解下更快的MEMM?,里边提到了 MEMM 的局部归一化和 CRF 的 ...
- 基于opencv的 SNR,GAMMA,色差，饱和度，曝光误差，白平衡误差的自动化算法开发
imatest利用24色卡colorchecker模块计算SNR,GAMMA,色差,饱和度,曝光误差,白平衡误差. 1.SNR SNR主要计算中心灰的最大最小信号差与标准差的比值,用来表征信噪比,当时 ...
- 曝光融合Exposure Fusion 与ghost
1.概述 说到EF那我们不得不谈谈HDR.高动态范围(HDR)图像可以表示动态范围跨度很大的真实场景.图像的动态范围(dynamic range)是指一幅图像中可见区域最大亮度与最小亮度的比值.同样的 ...
- Decoder如何工作、Transformer如何训练、以及exposure bias问题
一.Decoder工作部分(以一个例子介绍工作流程,以及Decoder输出结果是什么样的) Decoder是如何工作的(这也是Decoder与Encoder之间的连接)? Decoder的工作主要涉及 ...
- 【Spring依赖循环】提前曝光，直接曝光到二级缓存已经可以解决循环依赖问题了，为什么一定要三级缓存？
前言 问:什么是循环依赖? 循环依赖:说白是一个或多个对象实例之间存在直接或间接的依赖关系,这种依赖关系构成了构成一个环形调用. 问:Spring 如何解决循环依赖? 答:Spring 通过提前曝光机 ...
- 像质客观评测—曝光偏差Exposure error
大话成像课程学习总结 什么是曝光? 一定量的光到达感光介质的表面,介质感光之后形成一定亮度的图像,感光介质可以是图像传感器,也可以是胶片等等. 通过这张图片可以有一个更加直观的感受,我们以中间这个区块 ...
- 【剑桥摄影协会】相机曝光（Exposure）
相机拍照时的曝光时间决定了最终照片的亮暗程度.它只取决于三种相机设置:光圈,ISO和快门速度,它们也被称为"曝光三角",掌握其使用方法是提高摄影技术的重要环节. 理解曝光 实现正确 ...
最新文章
- 邮件服务器SMTP概述
- application.yml 动态替换_新途锐改顶配矩阵大灯，动态流水尾灯
- #define 的换行问题
- C++ - 实现strcmp函数
- 我们计划招收300名电力人，免费学习CAD。
- 休闲食品行业如何数字化升级，腾讯云和卫龙辣条一起打了个样
- 一种二叉树非递归遍历的简单写法
- Transact-SQL 存储过程（c#调用执行）
- 玩转大数据系列之一：数据采集与同步
- “华为杯”山东理工大学第十一届ACM程序设计竞赛（正式赛）网络同步赛
- 如何衡量一篇英语作文词汇丰富度？
- 什么是资产证券化 - 以及资产支持证券在实际中的应用
- 什么是托管C++ (managed C++)
- ARM Mbed在线IDE编程意法半导体(ST)开发板
- JavaScript 小数转分数
- python爬取链家租房信息_python爬取链家租房之获取房屋的链接和页面的详细信息...
- uni-app 使用 Uview2.x 搭建自定义tabbar组件
- 《炬丰科技-半导体工艺》--技术资料合集35
- 你知道公司做哪个体系的认证更适合吗？
- sew制动器操作手册_使用说明书-sew-eurodrive.pdf