笔记整理 | 陈卓，浙江大学计算机科学与技术系，博士研究生

研究方向 | 知识图谱，图神经网络，多模态

论文链接：https://www.aclweb.org/anthology/2020.emnlp-main.583.pdf

发表会议：EMNLP 2020

背景提要

抽取式阅读理解，指的是要求机器在阅读一段文本后，来回答一个问题。而回答这个问题的答案来自原文中的一段连续的序列（也就是连续的几个词）。

其中的多跳推理，近年来引起了关注。ACL2019的一篇论文提出用图的方法解该问题，使用动态图网络建模实体之间的联系。

具体思路如下：

其中的共现关系按如下表示：

• 对与同一个句子中同时出现的实体间建立边的连接。

• 对于同样的实体在Context中出现多次，则他们直接有边的连接。eg. 如“美利坚合众国”这个实体可能在文章中被多次提及，每次出现则图中会新建一个节点，这些节点直接都是互相连接的。

• 文章标题中出现的实体与其对应正文中的所有实体都有连接

本文思路

本文的改进主要在于检索和预训练模型两部分：

• 使用RoBERTa large模型来计算每个问题与候选段落之间的相关性。过滤掉所有得分低于0.1的段落。且每个问题对应的最大检出段落为3

• Encoding：把query和context拼接，送到另一个RoBERTa，再经过bi-attention

基线模型与DFGN的主要区别在于该模型以Fine-tuning的方式使用了预训练模型，最后发现简单的Fine-tuning可以把模型效果提高到另一个程度。并且在finetune的前提下图结构添加与否没有那么必要（效果提升有限）

所以猜测：图结构可能不是解决多步推理问题所必要的结构

为了进一步理解图结构，作者猜测：自注意力或者Transformer可能更加擅长处理多步推理问答任务，为此做了如下测试，同时提出如下观点：

• 图结构会限制模型使得其只能基于实体进行推理——忽略实体之外的信息（尽管有时是噪音）

• 邻接矩阵帮助模型忽视非邻接的节点

• 即使没有这些先验知识，模型也可能学到这种实体到实体的注意力模式

• 全连接图时graph-attention可以认为是self-attention的特殊形式

实验

• 预训练模型使用Feature-based的方法

graph-attentionself-attentionTransformer（Without Graph Structure）

自注意力使用了与图注意力相同的形式，唯一的不同在于自注意力将所有的节点视作全连接的

最后发现哪怕不使用图结构，transformer也可以达到和self-attention，graph-attetion相同的效果。并且随着图的密度增大，这一过程中graph attention也没有显示出和self attention很大的差距

最后作者探讨了，预训练与transformer的方法定位预训练模型中包含基于实体的注意力的头（attention head）的可能性：

最后发现，该方法可以很好地捕捉和识别出相对于特定实体的其他概念注意力（四种情况，而后三种情况是graph方法所做不到的）

总结

• 适当使用预训练的模型，多跳推理某些情况下可能不需要图结构

• 图结构在某些情况下也是对于任务的一种制约/限制

• 邻接矩阵和图结构可以看作是某种与任务相关的先验知识

• 一些情况下graph attention和graph structure都可以被self-attention所代替

• 图上的mask可以控制信息在图上传播的路径

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 网站。