Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems（阅读理解）
大多数的NLG（Natural language generation）系统都使用规则和启发式，并且倾向于在没有人类语言的自然变化的情况下产生单一风格，本文提出了一种基于语义控制的长短时记忆网络(LSTM)的统计NLG。它可以通过使用简单的交叉熵训练准则，在没有任何启发式的情况下，通过联合优化其句子规划和表面实现组件来学习未对齐的数据，并通过随机抽取网络输出来获得高质量的语言变异。
本文的突出贡献在于引入关键词，传统的算法例如LSTM，Seq2Seq等都没有关键词控制，都是通过随机变量为输入，由网络自动生成后续数据。
本文的核心点在于改进LSTM网络，引入了DA（dialogue act）机制，加入了关键词。关键词的表示形式为one-hot编码，编码的长度为关键词表长度，其中0表示该关键词不表达，1表示输入该关键词。DA单元扮演了句子规划的角色，因为它在生成过程中能够精确编码输入信息的表面实现。DA单元决定为将来的时间步骤保留哪些信息，并丢弃其他信息
如图所示，在LSTM的数学公式表达里面，通过引入DA单元，ct的表达式增加了一项，这一项直接影响了整个生成句子的规划。
Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems（阅读理解）相关推荐
- 论文笔记翻译——Enhanced LSTM for Natural Language Inference(ESIM)
文章目录 0.前言 1. 模型结构 1.1 input encoding 1.2 local inference modeling 1.3 inference composition 2. 模型实现 ...
- Enhanced LSTM for Natural Language Inference-学习笔记
Enhanced LSTM for Natural Language Inference 自然语言推理(NLI: natural language inference)问题:即判断能否从一个前提p中推 ...
- 基于生成对抗网络的自然语言生成(Natural language generation with Generative Adversarial Networks)
作者:禅与计算机程序设计艺术 基于生成对抗网络的自然语言生成(Natural language generation with Generative Adversarial Networks) 引言 ...
- ESIM：Enhanced LSTM for Natural Language Inference
原文链接:https://aclanthology.org/P17-1152.pdf ACL 2017 概述 对于自然语言推理任务,Bowman等人在2015年提出了一个大数据集,大多数工作就开始使用 ...
- Recent Trends in Deep Learning Based Natural Language Processing(arXiv)笔记
深度学习方法采用多个处理层来学习数据的层次表示,并在许多领域中产生了最先进的结果.最近,在自然语言处理(NLP)的背景下,各种模型设计和方法蓬勃发展.本文总结了已经用于大量NLP任务的重要深度学习相关 ...
- Natural Language Inference Over Interaction Space(DIIN)阅读笔记
文章目录 Introduction Model Interactive Inference Network(IIN) Densely Interactive Inference Network(DII ...
- ESIM (Enhanced LSTM for Natural Language Inference)
ESIM历史意义: 1. 深层次的挖掘文本间的语义关系特征 2.加入文本语法结构信息 本文主要结构如下: 一.Abstract 1.推理是人工智能的关键体现 2.SNLI为推理模型提供数据支撑 3.文 ...
- AUGNLG: Few-shot Natural Language Generation using Self-trained Data Augmentation翻译
摘要 自然语言生成(NLG)是一个面向任务对话系统中的关键组成部分,它将结构化的语义表示(MR)转换为自然语言.对于大型对话系统,在具有超过数百个意图和数千个槽的情况下,基于模板的方法和基于模型的方法 ...
- 【论文阅读笔记】BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translati
BART:去噪序列到序列的预训练自然语言生成.翻译和理解 动力 自监督方法在广泛的NLP任务中取得了显著的成功.最成功的方法是masked language model的变体去噪的自编码器.训练去噪的 ...
最新文章
- 线性表的存储结构总结
- SRIO学习（五）——SerDes Macro（串行解串宏）
- iphone完整版的http上传请求协议
- H3C 多区域MSTP配置
- 利用多线程实现报表的高效导出
- Crontab命令--Linux
- 选择开源项目什么最重要？
- 服务器升级文件 不推送就无法打开吗,Win7升Windows10有获取通知,但是就不推送的解决方法...
- 微信小程序实现浮动按钮
- EdrawMax思维导图,EdrawMax组织结构图
- 【Python自然语言处理】读书笔记：第七章：从文本提取信息
- 蛙蛙推荐：蛙蛙牌关键词提取算法
- css浮动以及清除浮动
- 7-2 拍7令四 (100 分)
- （深度神经网络多.py文件）python打包过程遇到的问题记录
- 项目管理必备工具——甘特图
- ant design vue：upload打开选择文件弹框前弹出确认框
- 《Python黑帽子：黑客与渗透测试编程之道》 Scapy：网络的掌控者
- PyCharm官网无法访问的解决办法
- 微软杀毒软件Forefront技术不过关