论文解读：Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction

论文解读：Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction （2019ACL）

在文本上进行QA也别称为机器阅读理解。本文关注的是可解释的多跳QA，其需要系统能够同时返回答案以及相关依据句子。本文提出QFE模型用于对evidence进行抽取，并采用多任务学习进行训练。相比现有的方法，我们并不是独立地抽取evidence sentence，而是使用RNN和注意力机制进行抽取，这使得QFE可以考虑到不同的evidence sentence之间的关系以及与question重要相关的信息。

一、动机

多跳QA（Multi-hop QA）有两个挑战，分别是难以推理、以及可解释性差。

难以推理：需要从多个离散的文本中寻找证据并进行推理非常困难；
可解释性：用于推理的证据不一定位于答案附近，因此用户很难验证答案。

另外很难抽取到evidence，因为一般question本身可能没有用提供相关线索。另外evidence之间可能存在依赖。例如evidence2是依赖于evidence1才发现的。

二、贡献

本文提出Query-Focused Extractor （QFE）模型。QFE考虑到不同evidence sentence之间的相关性，采用RNN+attention完成evidence extraction。
另外采用多任务学习进行训练，QA模块用于answer selection，QFE模块用于evidence extraction。模型架构如下所示：

Embedding Layer
模型输入context（包含多个text，长度若超过2000则truncate）和query。同时使用预训练的word embedding以及CNN表征的character embedding并拼接起来；
context layer
使用双向RNN分别对context和query进行表征；
matching layer
使用一层双向attention捕捉context与query之间的interaction信息；最后使用残差；
evidence layer
将上一层的输出先过一层双向RNN，然后喂入QFE模块中。其中X表示context vector，Y=Q表示query vector，输出得到第i个句子是evidence的概率。将evidence layer 经过双向RNN编码后的向量与输入的向量拼接，喂入下一层；
answer layer
该层用于预测三个输出，分别是answer type、answer string以及evidence。分别堆叠三层RNN和softmax。

三、任务定义

四、QFE模块

该模块输入的是context（ $X$ ）和query（ $Y$ ）的sentence-level vectors 。
在第t时刻，对于X的每一个sentence $X_{i}$ ，喂入到RNN中，然后计算该sentence属于evidence的概率：

在当前第 $t$ 时刻，将概率最大的句子抽取出作为evidence，其下标记做：

然后喂入RNN中更新：

RNN更新若干轮后得到evidence集合 $E^t = \{e^1, ..., e^t\}$ 。

损失函数包括两个部分： $L = L_A + L_B$ ，前者为交叉信息熵，用于answer prediction；后者为QFE的损失，记做：