Think Before You Speak: Explicitly Generating Implicit Commonsense Knowledge for Response Generation

论文阅读：Think Before You Speak: Explicitly Generating Implicit Commonsense Knowledge for Response Generation

1 研究背景与作者动机

人们在对话中，除了句子本身的意思外，还常常隐含一些常识。许多端到端的对话模型是基于对话历史来生成回复。这种模型并没有显性地学习对话历史中隐含的常识。或者说，模型可能不知道对话历史中隐含的某些常识。

有些研究者提出基于知识扩充的对话模型（knowledge-augmented Response Generation, RG）。其中大多数需要用到外部知识库（Knowledge Base, KB）。主要采取让模型从知识库中检索与对话历史有关联的知识的方法，然后利用检索得到的知识来辅助生成Response。这类方法的缺陷是，如果知识库的知识覆盖面不够大，可能检索不到相关知识。

本文作者没有采用检索外部知识库的方法来获取知识，而是让模型根据对话历史来生成与对话历史相关的隐含知识。

图-1

例如，图-1所示的对话中，对话句子“I need to buy some flowers for my wife.”隐含一些常识，这些常识包括：丈夫给妻子买花是爱的表达，玫瑰花是爱的象征。

作者认为本文方法的优点是：1) 与只采用对话历史的方法相比，本文方法能让模型生成的回复包含更多的信息（more informative）；2) 与知识检索的方法相比，本文方法所构建的模型可能在知识库中没有的知识，也就是说模型学会了知识库中没有的知识。

2 方法

1. 本文方法要解决的几个难点

1) 如何使模型能生成对话中隐含的知识

2) 用什么方式表示隐含的知识

3) 如何将知识融入到对话生成的输入数据中

难点一：如何使模型能生成对话中隐含的知识

利用对话历史生成隐含知识的问题可以形式化表示为 $P_{\theta }(I|H)$ ，其中 $H$ 表示对话历史， $I$ 表示对话中隐含的知识。为了在这种假设下训练模型，就需要构成一个数据集，这个数据集应由成对的（对话历史，对话历史中隐含的知识）元组构成，其中“对话历史中隐含的知识”为label。

为了构建（对话历史，对话历史中隐含的知识）元组数据集，作者用到了外部知识源ConceptNet。作者通过知识对齐（Knowledge-Aligned ）的方式，将对话历史中的知识与ConceptNet中的知识进行匹配。论文中介绍了两种匹配方式：Hard-Matching和Soft-Matching.

难点二：用什么方式表示隐性知识

由于从ConceptNet中提取出的结构化知识与模型的输入格式不匹配，作者者提出了两种知识表示方式：1) Map Relations to Natural Language; 2) Information-Seeking Question-Answer Pairs;

用上图-1中的对话为例，对这两种方式各举一个例子

1) Map Relations to Natural Language的表示方式为：

Rose is a type of flower.

Rose is a symbol of love.

2） Information-Seeking Question-Answer Pairs的表示方式为：

What is a type of flower? Rose is a type of flower.

Rose is a symbol of what? Rose is a symbol of love.

难点三：如何将知识融入到对话生成的输入数据中

生成模型用到的输入数据包含对话历史和隐性知识两部分，作者将隐性知识放入<implicit></implicit>标记中间，具体格式如下：

<speaker1> I need to buy some flowers for my wife. <implicit>rose is a type of flower;rose is a symbol of love </implicit><speaker2>Perhaps you’d be interested in red roses.

3 训练

损失函数包含两部分，

公式1为Knowledge Generation损失，公式2为Response Generation损失。

4 实验

1. 数据集：

作者采用Commonsense-Focused Dialogues for Response Generation: An Empirical Study这篇论文作者整理的数据集。

2. 基模型：

采用DialoGPT-medium预训练模型作为基模型

3. 实验一：几种变体模型分析

作者用Hard-Matching和Soft-Matching两种方式分别构建了两套数据集。针对不同的数据集，又用上文提到的不同的知识表示方式和不同的知识融合方式进行了组合实验。

4. 实验二：与其它端到端模型、其它基于知识扩充模型对比分析