Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths

概述

论文提出了一种SDP-LSTM模型用于实体关系分类，SDP(the shortest dependency path)，在句法依存树中，两实体到公共祖先节点的最短路径。在实体关系分类中，SDP富含多种信息，可以让模型更专注相关信息，忽略无关信息。典型的最短依赖路径如下(红色路径)。模型的总体结构如下。

模型细节

在模型的架构图中，左边是总体的结构，右边是一个通道的LSTM结构。下面分别介绍

模型总体

在模型的总体架构中，首先通过Standford parser得到SDP,然后得到SDP作为模型中四个通道的基础

每个LSTM通道会有一个输出，将四个通道的输出连接起来，作为隐层的输出，最后通过softmax层

得到最后的输出。
单个通道LSTM

单个通道LSTM如框架图的右边所示，SDP中，有两个路径，分别是两个节点到公共祖先的路径。

分别对两个路径进行如下处理，
1. 路径节点表示成向量。
2. 进过LSTM前向传播，每个节点有一个输出。
3. 堆叠每个节点的输出，进行一次池化操作，得到单条路径的输出。
最后连接两条路径上的输出，得到一个单个通道LSTM输出。

前面过程中提到了路径节点表示成向量，论文中分别利用词的四种特性，将节点表示成向量，

包括词本身，词性信息，依存句法关系，WordNet上位词。所以会有四个通道LSTM

细节

论文中过拟合，用了dropout, 主要是对嵌入层输出进行dropout操作。
论文中还是强调了外来信息(词性、WordNet上位词)的重要性，还有SDP对关系抽取的重要性。

确实16年提出的联合学习模型End-to-End Relation Extraction using LSTMs
on Sequences and Tree Structures 估计也借鉴了这篇论文的思想。

论文地址

Classifying Relations via Long Short Term Memory Networks
along Shortest Dependency Paths

Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths相关推荐

Long Short Term Memory networks(LSTMs)
背景:在我之前的一篇博客中说了一下对RNN的理解,RNN对于长句子表示的不是很好,超过六七层的网络之后就很难获得之前内容的信息了,目前的框架是基于梯度的,多层网络很容易出现梯度弥散的情况.但是对于NL ...
理解LSTMs (Long Short Term Memory Networks)
Understanding LSTMs Model 本文主要参考了大神 Christopher Olah,关于LSTMs论述的博客(Ref[1]),同时加入了自己的理解,最终得以形成了这篇博文. 在读 ...
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
知乎用户,阿里巴巴数据应用部门长期招聘「算法,分- 500 人赞同刚好毕设相关,论文写完顺手就答了先给出一个最快的了解+上手的教程: 直接看theano官网的LSTM教程+代码:LSTM Netw ...
递归神经网络变形之（Long Short Term Memory，LSTM）
1.长短期记忆网络LSTM简介在RNN 计算中,讲到对于传统RNN水平方向进行长时刻序列依赖时可能会出现梯度消失或者梯度爆炸的问题.LSTM 特别适合解决这种需要长时间依赖的问题. LSTM(Lon ...
LSTM(long short term memory)长短期记忆网络
bags of word(WOE) 它的基本思想是假定对于一个文本,忽略其词序和语法.句法,仅仅将其看做是一些词汇的集合,而文本中的每个词汇都是独立的循环神经网络(recurrent neural ...
Stanford NLP 第六课： Long Short Term Memory
RNN存在着梯度消失的问题, 难以学习长期的依赖关系.如何解决RNN的梯度消失问题? Long Short Term Memory (LSTM) 就是解决这个问题的. 上图是LSTM的一个整体结构. ...
简单聊聊Long Short Term Memory Network (LSTM)和 Gated Recurrent Unit (GRU)两种强大的RNN变体
上一篇关于RNN的文章最后,我们提到过由于梯度消失和梯度爆炸问题,使得RNN很难处理长距离的依赖.本文我们介绍两种改进后的RNN:LSTM(Long Short Term Memory Network ...
详细讲解RNN+LSTM+Tree_LSTM（Tree-Long Short Term Memory）基于树状长短期记忆网络
14天阅读挑战赛详细讲解RNN+LSTM+Tree_LSTM(Tree-Long Short Term Memory)基于树状长短期记忆网络一.RNN 要讲解Tree_LSTM,这必须得从RNN开 ...
3_Long Short Term Memory (LSTM)
文章目录一.LSTM核心思想 1.1 Conveyor Belt(传输带) 二.LSTM分布指南 2.1 Forget Gate(遗忘门) 2.2 Input Gate(输入门) 2.3 New v ...

Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths

Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths

概述

模型细节

细节

论文地址

Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths相关推荐

最新文章

热门文章