论文总结之对话生成《Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering》

11.Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering

本篇论文是ACL最新的2019年底完成的一篇论文，主要在融入知识的情况下增加了回复多样性。
主要创新点有三个：
1）MLP训练后迁移学习
2）利用检索对话的方式增强生成式回复多样性
3）两步解码
现在具体分析下模型：
（1）Knowledge-aware Dialogue Encoder
post逐字经过GRU得到隐藏层向量
再通过预训练好的BiGRU得到隐藏层向量、语法向量（语法向量：Who is the best
actor in the movie” is {who,nsubj, actor, prep, in,pobj, hEi}）；
二者相加拼接起来；
（2）Response Guiding Attention
post和检索出的i个reponse的之间注意力机制（检索是从语料库里选择最相似的n个post，然后根据这n个post检索出i个答案）
比较费解的是对于post编码最终表示为什么用所有字编码平均值来表示

（3）MLP预训练
将post编码成隐藏层向量、语法向量，连接相加qi。
对三元组知识<subject entity, relation, object entity>编码成向量，然后又取三个向量的平均值（懵逼again）；此外，对于relation单独编码；两个向量相加连接得到aj。
训练MLP
得到一个能够识别出post和知识最相关的感知机
（4）多步解码
1）First-step decoder
输入上
除去传统的注意力机制、上一步解码字、上一步解码状态，新添加了知识机制。

知识机制：MLP（预训练过）计算知识向量和平均post隐藏层相似度，加权得到知识向量cb。
具体的，post所有字向量所有的平均值（懵逼+3）和<实体1，实体2>做相似度计算作为权值。cb为选择的知识实体。

2）Second-step decoder
输入
除去传统的注意力机制、上一步解码字、上一步解码状态，新添加了知识机制和与第一步解码最终状态st之间的注意力机制cdt。

知识机制的MLP也变成第一步解码终态平均值（懵逼+4）和知识向量作为输入了。

论文总结之对话生成《Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering》相关推荐

《论文阅读》Commonsense Knowledge Aware Conversation Generation with Graph Attention
<论文阅读>Commonsense Knowledge Aware Conversation Generation with Graph Attention 简介论文试图解决什么问题? ...
【论文笔记】Commonsense Knowledge Aware Conversation Generation with Graph Attention
Commonsense Knowledge Aware Conversation Generation with Graph Attention 文章目录 Commonsense Knowledge ...
论文笔记Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signa
Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals 引 ...
论文翻译：《Improved Neural Relation Detection for Knowledge Base Question Answering》
该论文于2017年发表在ACL,主要讲了智能问答在sq和wq两个数据集上的性能提升,本人研究生方向为这个,故翻译此论文,希望对大家有用. 论文地址:Improved Neural Relation D ...
论文解读：Improved Neural Relation Detection for Knowledge Base Question Answering
论文解读:Improved Neural Relation Detection for Knowledge Base Question Answering 本文解决KBQA中的子问题--Relat ...
《Knowledge Base Question Answering via Encoding of Complex Query Graphs》论文笔记
Knowledge Base Question Answering via Encoding of Complex Query Graphs 这篇文章是上交和阿里于2018年发表在ACL上,主题依然是 ...
【KBQA综述-0】Complex Knowledge Base Question Answering: A Survey
Complex Knowledge Base Question Answering: A Survey(2021年10月) 前言这是一篇对于复杂问题KBQA领域的详细综述,其工作主要集中在以下方面: ...
Knowledge Base Question Answering via Encodin of Complex Query Graphs
Knowledge Base Question Answering via Encodin of Complex Query Graphs ACL 2018 CompQ 42.84 WebQ 52.6 ...
Improved Neural Relation Detection for Knowledge Base Question Answering
Improved Neural Relation Detection for Knowledge Base Question Answering 2017 ACL SQ78.7 WebQSP63.9 ...

论文总结之对话生成《Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering》

论文总结之对话生成《Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering》相关推荐

最新文章

热门文章