Felix: Flexible Text Editing Through Tagging and Insertion (2020-03）
论文地址：https://arxiv.org/pdf/1911.03829.pdf
除了翻译之外，对大部分的序列到序列任务，其目标句子和源句子高度重合，比如句子复述、文本摘要、语法纠错等等。因此，有时候不必从头开始生成文本，而是基于源句子一步一步修改到目标句子。
论文提出的模型，将文本生成任务转为文本编辑任务，并使用BERT模型进行预测。使用三个单独训练的模块进行处理。
- 首先是一个tagging模型，使用BERT，对输入x进行标注，得到yt。标注类别有KEEP，DEL，INSERT（INS）。源token需要被拷贝，则分配KEEP标签；源token没有在目标序列中出现，则分配为DEL标签；在目标序列中出现，但是在源序列中没有出现，则分配INS标签。
- 然后re-ordering 模型，根据给定的输入序列x和第一步得到的标注序列yt，产生一个分布pi。根据分布pi和yt得到insertion模型的输入ym。其中pi中的每个元素代表当前词的下一个词的概率分布，如figure3所示。因为loud被预测为DEL，所以没有箭头指向它。需要注意防止产生环状。
- 然后将ym输入到insertion模型。需要插入的位置，设置占位符MASK，主要有两种方式mask和in-filling。mask方式：INS标签根据插入的单词个数可以分为多个INS_K标签，对应于K个MASK占位符。filling方式，INS标签只有一种，将不同单词长度插入都pad成固定长度。这两种方法，前者对tagging模型依赖比较大，后者对insertion模型依赖比较大。
- 对MASK位置的词进行预测，得到最终的结果。
- 三个模型可以分开训练。
Felix: Flexible Text Editing Through Tagging and Insertion (2020-03）相关推荐
- [ACL22] An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models阅读笔记
An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models [pdf] 论文状态:被ACL22接收 ...
- AVL Insertion(浙大pta）
6 -1 AVL Insertion(浙大pta)## 6 -1 AVL Insertion You are supposed to implement the Insert function, wh ...
- Sublime Text 3 注册码失效（被移除）解决方法
Sublime Text 3 注册码失效(被移除)解决方法 参考文章: (1)Sublime Text 3 注册码失效(被移除)解决方法 (2)https://www.cnblogs.com/spri ...
- Unity Text富文本（文本变得多姿多彩）
Unity Text富文本(文本变得多姿多彩) 实例: 步骤如下: 1.创建一个UI Text 2.Text组件中的Rich Text要勾选上 3.写内容 html控制代码 实例: 步骤如下: 1.创 ...
- 4.2 matlab绘制图形的辅助操作（title、xlabel、ylabel、text、legend、axis、subplot等）
1.给图形增加标注 ( 1 ) title函数 ①title函数的基本用法 title(图形标题) %例1:绘制[-2T,2T ]区间的正弦曲线并给图形添加标题.x = linspace(0,2*pi ...
- Encode, Tag, Realize: High-Precision Text Editing翻译
摘要 我们提出使用 L A S E R T A G G E R LASERTAGGER LASERTAGGER,这是一种序列标记方法,可将文本生成转换为文本编辑任务.通过使用三个主要的编辑操作从输入中 ...
- UnrealText: Synthesizing Realistic Scene Text Images from the Unreal World（译）
UnrealText:合成来自虚幻世界的真实场景文本图像 仅供参考,如翻译不到的请指出,侵权删 来源: CVPR2020,旷视 code 链接: https://jyouhou.github.io/U ...
- Flutter开发之Text的overflow属性不生效（14）
我在使用 Text 控件时,由于文字太多,需要省略显示.设置 overflow: TextOverflow.ellipsis 没有效果,尾部显示还多了黄色相间的胶带色块.应该是:提示Text的布局边界 ...
- 【2018年更新】Sublime text 3安装教程（Linux版本--Ubuntu）
http://c758482.r82.cf2.rackcdn.com/sublime-text_build-3059_amd64.deb 点击上面的链接就可以直接下载,Linux版本的sublime. ...
最新文章
- 特斯拉上海超级工厂开工 预计今夏完成初期建设
- 谷歌AI错杀Chrome插件，全职奶爸程序员“睡后收入”被迫终结
- linux slub分配器浅析
- 测试两个主机之间的连通性_常用的光缆4种测试方法介绍
- c语言 获取可用内存大小,C语言实现获取内存信息并输出的实例
- 能ping通，TCP就一定能连通吗？
- 【提升笔记本续航】WIN10笔记本打开电源选项中的处理器电源管理
- WinRM 如何设置 TrustedHosts
- JWT 的退出登录方法
- 本地iis部署之后网页无法打开
- java数组位置_java数组中如何查找元素的位置？
- 为什么你读专业技术书逐渐焦虑，读不下去书怎么办？
- QQ邮箱测试域用户密码过期邮件提示
- ＜机器学习＞支持向量机(SVM)理论
- 解决删除谷歌浏览器chrome注册表残留问题
- QT运行时问题CreateDC failed
- noip模拟题11.5
- Python爬虫爬取智联招聘（进阶版）
- 清华、北大毕业生都去哪里工作了？/他们是风向标
- 输入三个数字比较大小