NLP领域论文笔记【研一下研二上】01

一、《Heterogeneous Graph Neural Networks for Extractive Document Summarization》

1、除句子外，还包含不同粒度级别的语义节点，这些另外的节点可以作为句子间的媒介，以加强句子间的关系。文件摘要是提取原始文档中的句子，把它作为摘要。模型的关键部分就是为交叉句子关系建模，本文不仅把句子作为节点，还引入了更多语义单元作为节点，这些节点作为连接句子的媒介，这些节点都可以看做句子间的特殊的关系，在信息传递的过程中，所有节点都会更新。

2、在本文中语义单元为单词，每个句子和其包含的单词之间有边，单词之间和句子之间没有边，由此构建了词-句子图。因为不同的句子有重叠的单词，所有句子间也有交互，单词节点也可以从句子中获取信息，不同粒度的信息通过多层的信息传递可以充分的被利用，通过引入文档节点，可以对多个文档提取摘要。

3、图中包括基础语义节点（词）和超级节点（短语，句子和文档），超级节点和其包含的语义节点之间连接边，把它们之间关系的重要性作为边的特征，因此高层的节点可以通过基础节点建立关系。GAT+残差连接

二、《Edge-Enhanced Graph Convolution Networks for Event Detection with Syntactic Relation》

1、以往利用句法依赖树构图进行event detection的工作已经证明了图网络和句法依赖结构对事件抽取的有效性，但却忽略了具体的句法依赖标签类型。

2、本文通过一定的数据统计分析观察到具体的依赖关系类型标签能够为event triggers的发现提供重要信号，基于此，本文提出一种边增强的图神经网络，即利用句法依赖树构图的同时，将句法依赖关系建模为图结构中包含具体类型信息的边。在此基础上，当我们聚合结构上的邻接节点进行当前节点(word)的表示更新时，边类型的信息也会参与其中（edge-aware node update module）；另外，由于同一关系类型在不同词对之间可能表达不同的含义，我们会在节点表示更新后进行边表示的更新，学习出上下文感知的关系表示作为图中节点间边的表示（node-aware edge update module）。

3、本文发现依赖标签很重要，其次相同的依赖标签在不同的上下文中可能传达不同的意思。

4、EE-GCN字和依赖标签作为节点，总共有两个学习过程，第一是edge-aware node update module，用来从节点的邻居（通过边）收集信息，然后node-aware edge update module通过节点的表示动态更新边的表示，使边的表示具有更丰富的信息。这两个过程循环迭代。

5、词的embedding和实体类型embedding（BIO）拼接，进入BILSTM，得到初始的EEGCN的node embedding。原先的GCN的邻接矩阵A都是只有01值，在依赖树中有边就是1，无边就是0.本文考虑了依赖标签信息，然后构建了邻接矩阵E，E里的每个元素是一个p维的向量，其表示在节点i和j之间的关系表示，并且p也可以理解为邻接矩阵的通道数，E是由依赖树初始化，如果i和j之间存在依赖标签r，那么邻接矩阵初始化为r的embedding表示，并且参与训练。否则就是一个全是0的向量。在这里，E是一个对称的邻接矩阵。

三、《Event Detection with Relation-Aware Graph Convolutional Networks 》

1、之前的模型忽略了依赖树中的句法关系标签信息，本文的RA-GCN有效的探索了句法关系标签，并把这个关系进行了有效的建模。本文提出了relation-aware aggregation module，通过特定关系聚合句法连接的词来产生表达性的词表示。context-aware relation update module可以更新词之间的关系表示。两个模块循环起作用。

2、邻接矩阵E是四维的，里面的每一个值是一个向量，其相当于有n个通道，节点的表示由E的每一个通道进行AXW运算，再进行pool，得到一个三维的表示，就是节点的表示。在每一层中，E由节点的表示再进行更新，更新方式为连接其对应的两个节点的表示和之前的E的表示，再乘以一个变换矩阵得到（更新过程也是逐个E的通道进行）。

四、《A General Framework for Information Extraction using Dynamic Span Graphs 》

1、使用动态的构建区域图，来共享区域表示。图是通过选择最有信心的实体来构建的跨越这些节点并将这些节点与置信权重的关系类型和共指联系起来。区域图允许共指和关系类型置信度迭代的调整区域表示。并且这种方法可以很好的处理嵌套实体。

2、共指消解是指把相同的实体转为一个簇，本文想把从一个任务中学习到的知识扩展到其他方面。以前都是针对一个特定领域，并仅依靠第一层LSTM共享区域表示，本文的模型（ Dynamic Graph IE ）可以处理多个信息抽取任务通过其共享的区域表示，这个表示利用来自关系和共指的上下文信息进行改进。

3、输入是文档表示，从中得到实体集合S（span跨度），文档中所有可能的句内词序列跨度（最大长度为 L）的集合。输出是对于所有S的实体类型E，对于在相同句子中的S与S之间的关系R，句子间的S的共指链接C。任务分为实体识别和关系分类，和一个附加任务：共指消解。在这个附加任务中，识别对于每个S的最佳antecedent词。

4、首先枚举每个句子中所有的span，对于每个span计算局部语义空间向量表示，然后用动态区域图把全局信息加入到span表示中。具体过程为：每一次训练中，模型把最有可能是实体的span作为节点，根据预测出的共指和关系在节点之间构造边。那么span的表示被全局语义信息更新。

五、《Event Detection with Multi-Order Graph Convolution and Aggregated Attention 》

1、依赖树可以得到句法关系，句法关系被用到很多NLP任务中。但目前的研究都是研究一阶句法关系（一个弧）。本文提出一个基于GCN的使用attention的，收集依赖树中的多阶句法关系。做事件抽取任务。

2、在ACE05数据集中，大约55%的数据中，和事件相关的实体需要超过one hop去找到相关的触发词和相关的实体，在依赖树中。模型使用的是多阶图注意力网络，