【论文笔记】Neural Relation Extraction with Multi-lingual Attention

一、概要
该paper发于ACL2017上，作者主要基于关系事实通常在各种语言中存在某种模式表达，并且不同语言之间的模式是不同的这两个动机，针对于当前存在的单语言关系抽取的方法，从而存在忽略不同语言中存在大量信息的问题，作者提出了一个基于多语言交叉Attention机制实体关系抽取方法，可以充分不同语言中的关系模式，从而增强关系模式的学习，文中提出的Multi-lingual Attention-based Neural Relation Extraction (MNRE)模型相对单语言模型有较好地提升。
二、模型方法
2.1 模型结构

2.2 Sentence Encoder
作者对比的CNN、GRU，以及LSTM对句子进行编码为distributed representation，在计算效率即效果上发现CNN最好，所以使用CNN对输入句子进行Encoder。
这里同样使用了word embedding与position embedding作为Input Representation，具体可以查看【论文笔记】Relation Classification via Multi-Level Attention CNNs对应的内容，之后使用了包括滑窗、卷积、分段Maxpooling、以及tanh函数，从而从输入句子中得到关于目标实体的关系模式的编码。

2.3 Multi-lingual Attention
①Mono-lingual Attention
对于第j种语言对应的句子集合
$S_{j}$ ，其mono-lingual vector计算方法如下：

Sj=∑iαijxij
$S_{j}=\sum_{i}\alpha_{j}^{i}x_{j}^{i}$

其中
$\alpha_{j}^{i}$ 是对应句子向量
$x_{j}^{i}$ 的Attention权值，其计算方法如下：

αij=exp(eij)∑kexp(exp(ekj)
$\alpha_{j}^{i}=\frac{exp(e_{j}^{i})}{\sum_{k}exp(exp(e_{j}^{k})}$

其中
$e_{j}^{i}$ 为衡量句子向量与关系r之间的关联度，其计算方式为：

eij=xiJ⋅rj
$e_{j}^{i}=x_{J}^{i}\cdot r_{j}$

其中
$r_{j}$ 为实体关系对应第j种语言的query vector。

②Cross-lingual Attention
整篇文章的重点就在这里了！！！假设j与k分别代表两种不同语言，那么cross-lingual representation
$S_{jk}$ 计算方法如下：

Sjk=∑iαijkxij
$S_{jk}=\sum_{i}\alpha_{jk}^{i}x_{j}^{i}$

其中
$\alpha_{jk}^{i}$ 是对应句子向量
$x_{j}^{i}$ 的Attention权值，其计算方法如下：

αij=exp(eijk)∑kexp(exp(ekjk)
$\alpha_{j}^{i}=\frac{exp(e_{jk}^{i})}{\sum_{k}exp(exp(e_{jk}^{k})}$

其中
$e_{jk}^{i}$ 为衡量句子向量与关系r之间的关联度，其计算方式为：

eijk=xij⋅rk
$e_{jk}^{i}=x_{j}^{i}\cdot r_{k}$

其中
$r_{k}$ 为实体关系对应第k种语言的query vector。
是不是很简单？？？ACL！ACL!ACL!怎么自己想不到？

2.4 Prediction
对于每一个实体对以及对应的句子集在m中语言中，我们通过multi-lingual attention可以获得m*m的向量{
$S_{jk}|j, k ∈ (1, . . . , m)$ }，当j = k时，即为mono-lingual attention vectors, 不相等时即为 cross-lingual attention vectors.
最后把这些向量经过全连接层即softmax函数，然后分别相加即可得到每个关系的概率，为了更好的考虑不同语言的特点，可以在全连接层时在共享权值的基础上加上每种语言特有的权值矩阵，如
$R_{k}$ 对应第k种语言。即：

p(r|Sjk,θ)=softmax[(Rk+M)Sjk+d]
$p(r|S_{jk}, θ) = softmax[(R_{k} + M)S_{jk} + d]$

三、实验结果
作者做得对比实验就不细讲的，虽然这些对比实验某种程度上是这篇论文价值的重要体现，但不是本次学习模型的目的，所以跳过，简单贴出一些实验结果。

四、结论与思考
该文章提出了多语言Attention关系提取方法，以考虑多种语言之间的模式一致性和互补性。结果表明，其模型可以有效地建立语言之间的关系模式，实现很好地效果。
五、个人思考：
①作者文末提到此次只是针对句子级别的多语言Attention，可能还可以考虑词和字的多语言Attention，以及本次只是使用的中文和英文两种语言。
②本篇文章方法很简单，但是却能做出结果，并中ACL，一个方面是作者做了很多的对比实验，其并进行深入的讨论对比，这是值得学习的地方，另一方面是方法思路符合我们的常理，idea简单实用。
参考文献：
①Yankai Lin1, Zhiyuan Liu1,Maosong Sun.Neural Relation Extraction with Multi-lingual Attention
②代码链接：https://github.com/thunlp/MNRE。

【论文笔记】Neural Relation Extraction with Multi-lingual Attention相关推荐

论文笔记 Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
一.动机为了抽取文档级别的关系,许多方法使用远程监督(distant supervision )自动地生成文档级别的语料,从而用来训练关系抽取模型.最近也有很多多实例学习(multi-instanc ...
论文解读：Combining Distant and Direct Supervision for Neural Relation Extraction
论文解读:Combining Distant and Direct Supervision for Neural Relation Extraction 夏栀的博客--王嘉宁的个人网站正式上线,欢迎 ...
关系抽取论文总结（relation extraction）不断更新
2000 1.Miller, Scott, et al. "A novel use of statistical parsing to extract information from te ...
【论文】Awesome Relation Extraction Paper（关系抽取）（PART III）
0. 写在前面回头看了一遍之前的博客,好些介绍的论文主要是属于关系分类的领域,于是就把前几篇的标题给修改了一下哈哈.关系分类和之前的文本分类,基于目标词的情感识别还都挺像的,baseline模型也都 ...
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
0. 写在前面不想写 1. Neural Relation Extraction with Multi-lingual Attention(Lin/ ACL2017) 这篇文章是在Lin 2016年 ...
论文笔记Neural Ordinary Differential Equations
论文笔记Neural Ordinary Differential Equations 概述参数的优化连续标准化流(Continuous Normalizing Flows) 生成式的隐轨迹时序模型 ...
【论文】Awesome Relation Extraction Paper（关系抽取）（PART V）
写在前面之前介绍的关系抽取系列文章主要是属于pipeline形式的,即第一步用实体识别将关系对抽取出来,第二步才是对关系对的分类,这样的做法会导致误差的传递.另外有一种解决方案是端到端的joint ...
Exploiting the Syntax-Model Consistency for Neural Relation Extraction(关系抽取，语法模型，跨领域关系抽取
文章目录 1.Introductiony 1.1 神经网络的关系抽取 1.2使用依赖树的关系抽取 1.2.2 依赖树的一般树 1.3 本文做法 2. 相关工作 2.1核方法 2.2 深度学习方法 2. ...
论文学习14-End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures（端到端实体关系抽取）
文章目录 abstract 1.introduction 2.相关工作 3.model 3.1嵌入层 3.2 序列层 3.3实体检测 3.4 依赖层 3.5 Stacking Sequence and ...

【论文笔记】Neural Relation Extraction with Multi-lingual Attention

【论文笔记】Neural Relation Extraction with Multi-lingual Attention相关推荐

最新文章

热门文章