An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models [pdf]

  • 论文状态:被ACL22接收
  • 作者:University of Maryland的 Sweta Agrawal 和 Marine Carpuat
  • TL;DR: 本文介绍了两种互补的策略来解决NAR模型适应编辑任务时训练不足和泛化问题:roll-in policy和Curriculum Learning

1. Motivation

设计用于训练机器翻译模型的模仿学习算法引入了训练阶段和推理阶段之间的不匹配,导致在text editing任务中的训练不充分和泛化错误。

2. Contribution

  • 提升了text editing任务的输出质量和可控性
  • 在controllable text simplifification (TS) 和 abstractive summarization任务上应用了非自回归模型

3. Model

传统的非自回归模型一般是会基于输入的文本做编辑,规定2种操作类型:

  • reposition:预测单词的位置和是否该删掉
  • insertion: 预测掩码位置 和 掩码单词预测

而在训练的时候,是根据ROLL-IN POLICIES来训练的(我是做摘要的,没有看懂什么是ROLL-IN POLICIES,貌似是某种Markov Decision Process)

  • 作者修改了ROLL-IN POLICIES,添加了一些噪音。
  • 然后为了防止训练不充分,作者用简单的例子先训,再逐步增加复杂度。

4. Experiments

在一个6K数据的短文本摘要数据集(Toutanova et al. (2016))上做了实验。

比较的模型都是20年之前的模型,也没有和BART之类的模型对比。主要是和一个同为Non-Autoregressive Model的FELIX模型对比。

而且也只report了Rouge-L分数。

得出的结论是EDITCL能大幅提升Recall,进而把F1分数提升。

5. Key takeaways

  • 不只有Autoregressive方法做生成式摘要,还有Non-Autoregressive Model

[ACL22] An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models阅读笔记相关推荐

  1. 《A Survey on Deep Learning Technique for Video Segmentation》视频分割综述阅读笔记(翻译)

    <A Survey on Deep Learning Technique for Video Segmentation>视频分割综述阅读笔记(背景部分翻译) 作者:Wenguan Wang ...

  2. Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation 阅读笔记

    Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation PyTorch实现:https://g ...

  3. Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记

    我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...

  4. MGN:Learning Discriminative Features with Multiple Granularities for Person Re-Identification阅读笔记

    Learning Discriminative Features with Multiple Granularities for Person Re-Identification Guanshuo W ...

  5. 【图像增强】Learning Enriched Features for Real Image Restoration and Enhancement 阅读笔记

  6. Deep Learning for Polar Codes over Flat Fading Channels《阅读笔记》精读

    平面衰落通道上的极地代码深度学习 文章目录 Abstract introduction 二.系统模型 1.系统模型框图 Polar Codes 神经网络模型 性能评估 结论 Abstract 提出了啥 ...

  7. 【李宏毅2020 ML/DL】P115-117 Actor-Critic Sparse Reward Imitation Learning

    我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 关于强化学习,我专门花半年时间学习实践过,因此这里笔记只记录李老师的 outline .我的强化学习资源仓库: ...

  8. 【论文笔记】Reinforcement and Imitation Learning for Diverse Visuomotor Skills

    目录 Abstract Introduction Related Work Model A. Background: GAIL and PPO 1. 行为克隆(Behavior Cloning) 2. ...

  9. CS285课程笔记(1)——模仿学习(Imitation Learning)

    (本文对应lecture 1和2,文中的图片来自于对课程课件截图的小修小改) 1. 强化学习简介 本节介绍在课程中我认为对于理解强化学习框架有用的一些概念.更为详细的可以参照我的其他博客. 1.1 强 ...

最新文章

  1. 第十三届光华工程科技奖公布,彭士禄、张伯礼、王海峰等40人及1个团体获奖
  2. quirks 模式是什么?它和 standards 模式有什么区别_什么是二级分销模式
  3. 假笨说-类初始化死锁导致线程被打爆!打爆!爆!
  4. String类型的学习
  5. 互联网大鳄的成长模式
  6. xxx征集系统项目目标文档
  7. 学习笔记之数据可视化(一)——项目适配方案
  8. ISIS网络配置方法
  9. Qt-textEdit 滚顶条设置只读模式
  10. 华为hcie题库有多少题?华为认证hcie面试需要注意什么?
  11. MySQL 中的数据类型介绍
  12. 销售管理软件系统的两大优势是什么?
  13. Django之Model数据库数据的操作
  14. Ubuntu 下安装Skype聊天工具
  15. python修改桌面壁纸_轻松有趣的Python小案例,让电脑自动更换壁纸
  16. 【AI视野·今日NLP 自然语言处理论文速览 第六期】Fri, 11 Jun 2021
  17. 5.stm32L476在freeRTOS下使用低功耗
  18. 百度地图地图API(常用)
  19. android计算dpi代码_android计算pad或手机的分辨率/像素/密度/屏幕尺寸/DPI值的方法...
  20. golang emoji表情处理

热门文章

  1. 【Pytorch】第 9 章 :Capstone 项目——用 DQN 玩 Flappy Bird
  2. 创客学院知识巩固-06系统移植部分小结
  3. C++ 偏微分数值计算库_蒙特卡罗计算积分 - 人工智能遇见磐创
  4. 2022天梯赛正式赛(附天梯赛题目链接)
  5. ImmunoChemistry艾美捷Annexin V-FITC细胞凋亡检测试剂盒方案
  6. 手机活动页图片性能优化分享
  7. CoOS之事件控制块
  8. 光伏企业赛拉弗:每条生产线削减员工80%
  9. 【网络】网络的基础知识--TCP/IP协议、IP分组、TCP传输
  10. 学习Linux只要学会这个命令就够了!