简介：

转述生成可以看作是一种单语翻译，但是不像双语翻译，转述生成并不像机器翻译进行保守几乎重写所有词；本文作者提出首先识别源句子中需要转述的词，然后在decode时采用负面词约束方式避免输出这些词；

主要方法：

总的来说，为了改善转述生成的重写，首先需要识别给定句子中需要转述的词，接下来用预训练好的转述生成模型进行生成；

方法是在beam search中添加负面约束，使得beam search生成的句子不包括带有那些词的句子；

一. 识别需要被转述的词（Identifification of Word to be Paraphrased）：

通过识别源句子中强相关关系的词，组成一个被转述的此表；方法是采用【1】PMI（Point-wise mutual information）对句子中每个词打分

w是单词，z是（x,y），x是源句子类型，y是转述目标类型；

被转述词表得到通过一个阈值判断，如下公式，：

si是源句子，w是词；

PMI分数计算使用跟训练平行的语料得来？

二. 负约束解码（Negative Lexically Constrained Decoding）

约束解码是指添加约束给beam search 去强迫输出特定的词；这里是采用的词约束解码采用的是【4】是DBA是目前速度最快的约束解码算法；

PS:

典型的释义生成任务包括子任务，如文本简化以控制复杂性，把复杂词用更简单的词替换，形式转移以控制形式，语法纠错以控制流畅性，以及句子压缩以控制句子长度。

【1】：Inducing Lexical Style Properties for Paraphrase and Genre Differentiation.

【2】：Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation

【3】：post-editing of machine translation：Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search.

【4】：Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation

论文阅读：Negative Lexically Constrained Decoding for Paraphrase Generation相关推荐

论文阅读：Guiding the Growth Difficulty-Controllable Question Generation through Step-by-Step Rewriting
论文阅读:Guiding the Growth Difficulty-Controllable Question Generation through Step-by-Step Rewriting 来 ...
文本生成论文阅读A Syntactically Constrained Bidirectional-Asynchronous Approach for Emotional Conversation
本篇文章用关键词同是约束主题和情感文章目录前言一.步骤二.使用模型三.使用结果总结前言天越来越冷了真的不想学习疲惫呀但是要坚持下去呀呀呀本篇论文提出可一种利用句法的约束的双向异 ...
【论文阅读随记】Decoding the Genomics of Abdominal Aortic Aneurysm 解读腹主动脉瘤的基因组学
1 概要summary 1.我们开发了一个机器学习框架来整合个人基因组和电子健康记录(EHR)数据,并利用这个框架研究腹主动脉瘤(AAA): 2.这个框架定量评估了给定个人基因组基线的情况下,调整个人 ...
论文阅读：GPT-too- A language-model-first approach for AMR-to-text generation Manuel
文章目录 Introduction Fine-tuning GPT2 for conditional language generation Re-Scoring via Cycle consiste ...
论文阅读笔记（4）——《Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph》
基于常识知识图的多跳推理语言生成 1 Abstract & Introduction 2 Related Work 2.1 Commonsense-Aware Neural Text Gene ...
论文阅读——From Image to Imuge: Immunized Image Generation
Accepted as Poster at ACMMM 2021 原文链接:[2110.14196] From Image to Imuge: Immunized Image Generation ( ...
【论文阅读】STAN：Synthetic Network Traffic Generation with Generative Neural Models
CCF none STAN:用生成神经模型生成合成网络流量 Xu S , Marwah M , Ramakrishnan N . STAN: Synthetic Network Traffic Gen ...
清华NLP组年度巨献：机器翻译30年最重要论文阅读清单（下）
近日,清华大学NLP组总结了最近30年来机器翻译领域最重要的论文和学术文献目录,并在Github上公开放出. 此列表首先给出了30年来机器翻译领域必读的10篇最重要的论文,接下来的内容分为统计机器翻译 ...
论文阅读——Segmenting Medical MRI via Recurrent Decoding Cell
论文阅读之循环解码单元用于MRI医学图像分割  Segmenting Medical MRI via Recurrent Decoding Cell from AAAI2020 继续看医学图像分割网络 ...
[论文阅读] (04) 人工智能真的安全吗？浙大团队外滩大会分享AI对抗样本技术
外滩大会 AI安全-智能时代的攻守道 Deep Learning Security: From the NLP Perspective 浙江大学 <秀璋带你读论文>系列主要是督促自己阅读优 ...

论文阅读：Negative Lexically Constrained Decoding for Paraphrase Generation

简介：

主要方法：

一. 识别需要被转述的词（Identifification of Word to be Paraphrased）：

二. 负约束解码（Negative Lexically Constrained Decoding）

论文阅读：Negative Lexically Constrained Decoding for Paraphrase Generation相关推荐

最新文章

热门文章