[NLG]Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study?

摘要：

为了发现对话历史是否真的被有效的利用了，本文介绍了10种干扰来评测对话历史是否真正被利用。发现transformer-seq2seq 和rnn seq2seq并没有很好地利用这些信息

主要工作：

首先有一个前提：如果模型对于对话历史的改变不敏感的话，那么他基本上没有利用多少对话历史。

在之前的工作中已经发现：

1.lstm的作用范围只被周围的大约150个词所影响
2.无论是生成摘要还是机器翻译，生成并没有利用好前面所携带的信息
3.rnn长距离依赖要比transformer好，transformer适用于词义消歧

本文要测试transformer，rnn，以及是否加attention对于对话历史的利用

实验：

其中x1,x2,...xn是对话历史，如果是A，B两个人对话的话，相当于A的所有话，yi表示B之前说的话，现在要利用A说的所有话和B在第i句之前的所有话来预测第i句的概率。通过这个loss函数来优化。

扰动类型分别对于句子和词语有：1.随机打乱句子顺序 2. 将对话翻转顺序 3.随机删掉某些句子 4.保留最近的K个句子

实验结果：

结论：

在大多数情况下模型在困惑度上只有很小的改变，甚至当改变非常明显时也变化不大，这意味着模型使用的信息只是提供给他们的信息中很少一部分。
transformer 对词序的变化不敏感，这意味着他们能学习词袋表示
注意力机制的使用使得模型使用更多的来自于对话早期的信息（当只使用一句话时困惑度增加的非常剧烈）
尽管 transformer 模型收敛更快且有着更低的困惑度，但是他们似乎不能捕捉到对话历史中的动态变化且对扰动不是很敏感

一句话总结：

用一系列实验证明了，当前的模型对于dialogue history的利用并不多。可以利用这些实验作为对NLG生成的一个eval。

[NLG]Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study?相关推荐

《Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study》
https://zhuanlan.zhihu.com/p/73723782 请复制粘贴到markdown 查看器查看! Do Neural Dialog Systems Use the Convers ...
CHAPTER 24 Dialog Systems and Chatbots
CHAPTER 24 Dialog Systems and Chatbots Speech and Language Processing ed3 读书笔记 Language is the mark ...
论文阅读笔记：Recent Advances and Challenges in Task-oriented Dialog Systems
提示:阅读论文时进行相关思想.结构.优缺点,内容进行提炼和记录,论文和相关引用会标明出处. 文章目录前言 Abstract Introduction Modules and Approaches E ...
【任务型对话系统】Database Search Results Disambiguation for Task-Oriented Dialog Systems
链接:https://arxiv.org/pdf/2112.08351.pdf 简介在任务型对话系统(task-oriented dialog systems)中,有时我们会遇到这样一个问题: 对于 ...
二值网络训练--A Empirical Study of Binary Neural Networks' Optimisation
A Empirical Study of Binary Neural Networks' Optimisation ICLR2019 https://github.com/mi-lad/studyin ...
ICDM 2020 Workshop on Neural Recommender Systems
ICDM 2020 关于推荐系统的研讨会(Workshop)征稿 "推荐系统中的神经网络算法及理论"的国际研讨会将于2020年11月17日在意大利索伦托(暂定)与数据挖掘国际会议I ...
Towards Emotional Support Dialog Systems论文笔记
文章目录一,基调二,情感支持框架 (一)情感支持和共情的区别 (二)情感支持的三个阶段 (三)情感支持的范例 (四)情感支持中的八大策略三,情感支持数据集四,方法.实验和结果 (一)方法 (二 ...
AN EMPIRICAL STUDY OF EXAMPLE FORGETTING DURING DEEP NEURAL NETWORK LEARNING 论文笔记
摘要受到灾难性遗忘现象的启发,我们研究了神经网络在单一分类任务训练时的学习动态. 我们的目标是了解当数据没有明显的分布式转变时是否会出现相关现象. 我们定义了一个"遗忘事件" 当 ...
《 Recent Advances in Deep Learning-based Dialogue Systems 》：Neural Models in Dialogue Systems
关注微信公众号:NLP分享汇.[喜欢的扫波关注,每天都在更新自己之前的积累] 文章链接:https://mp.weixin.qq.com/s/vsEH5wj9Y5dShnH42hCX_Q 前言本文将 ...

[NLG]Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study?

摘要：

主要工作：

实验：

实验结果：

结论：

一句话总结：

[NLG]Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study?相关推荐

最新文章

热门文章