Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

2024-04-13 15:12:06

引入

先前研究过的LSTM结构是一个线性链。然而，自然语言有将单词自然地组合成短语的句法特性。

图中非叶子结点也有输入，应该是Dependency parsing Tree

Dependency parsing 和 Constituency parsing

输入句子： “We saw the yellow dog”

Constituency parsing

Dependency parsing

标准LSTM

详见https://blog.csdn.net/ltochange/article/details/118942985

树形lstm

论文提出两个树形结构的lstm：

the Child-Sum Tree-LSTM
the N-ary Tree-LSTM

相比标准的lstm，树形lstm包含多个孩子结点的隐藏状态h和记忆单元c，以二叉树为例：

the Child-Sum Tree-LSTM

相比于标准LSTM，这里首先将多个孩子结点的隐层状态求和；在更新记忆单元时，使用多个遗忘门控制孩子结点信息的保留。

因为这里将孩子结点的隐层状态求和，而忽略了孩子结点之间的顺序，因此适合孩子结点无序的树结构或者分支因子高的树结构（相对于the N-ary Tree-LSTM结构来说的，该结构复杂度更高，不适合用于分支因子高的）

例如，可用于 Dependency Tree 依存句法树，称为 Dependency Tree-LSTM

the N-ary Tree-LSTM

对于每个孩子结点的隐层输出，都有各自对应的参数。除此以外，由公式10可知，该结构还会考虑不同孩子之间的关系。

该结构可用于Constituency Tree 选区树，因为Constituency Tree的孩子结点存在先后顺序，称为 Constituency Tree-LSTMs

实验

两个任务

（1）句子情感分类：五分类和二分类

使用了短语级别的情感标签，如果训练集中存在的话，也会计算loss

m是所有带标签的结点的数量

（2）句子对的语义相关度评分

通过预测评分来得到预测评级

根据标签y构建实际概率分布：

1≤i≤K1\leq i \leq K1≤i≤K

使用KL散度（衡量两个分布之间差异），计算损失函数：

m是训练句子对

结果

情感分类

句子对相关度评分

Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks相关推荐

Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths
Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths 概述论文提出了一种 ...
Long Short Term Memory networks(LSTMs)
背景:在我之前的一篇博客中说了一下对RNN的理解,RNN对于长句子表示的不是很好,超过六七层的网络之后就很难获得之前内容的信息了,目前的框架是基于梯度的,多层网络很容易出现梯度弥散的情况.但是对于NL ...
理解LSTMs (Long Short Term Memory Networks)
Understanding LSTMs Model 本文主要参考了大神 Christopher Olah,关于LSTMs论述的博客(Ref[1]),同时加入了自己的理解,最终得以形成了这篇博文. 在读 ...
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
知乎用户,阿里巴巴数据应用部门长期招聘「算法,分- 500 人赞同刚好毕设相关,论文写完顺手就答了先给出一个最快的了解+上手的教程: 直接看theano官网的LSTM教程+代码:LSTM Netw ...
详细讲解RNN+LSTM+Tree_LSTM（Tree-Long Short Term Memory）基于树状长短期记忆网络
14天阅读挑战赛详细讲解RNN+LSTM+Tree_LSTM(Tree-Long Short Term Memory)基于树状长短期记忆网络一.RNN 要讲解Tree_LSTM,这必须得从RNN开 ...
递归神经网络变形之（Long Short Term Memory，LSTM）
1.长短期记忆网络LSTM简介在RNN 计算中,讲到对于传统RNN水平方向进行长时刻序列依赖时可能会出现梯度消失或者梯度爆炸的问题.LSTM 特别适合解决这种需要长时间依赖的问题. LSTM(Lon ...
Stanford NLP 第六课： Long Short Term Memory
RNN存在着梯度消失的问题, 难以学习长期的依赖关系.如何解决RNN的梯度消失问题? Long Short Term Memory (LSTM) 就是解决这个问题的. 上图是LSTM的一个整体结构. ...
简单聊聊Long Short Term Memory Network (LSTM)和 Gated Recurrent Unit (GRU)两种强大的RNN变体
上一篇关于RNN的文章最后,我们提到过由于梯度消失和梯度爆炸问题,使得RNN很难处理长距离的依赖.本文我们介绍两种改进后的RNN:LSTM(Long Short Term Memory Network ...
LSTM(long short term memory)长短期记忆网络
bags of word(WOE) 它的基本思想是假定对于一个文本,忽略其词序和语法.句法,仅仅将其看做是一些词汇的集合,而文本中的每个词汇都是独立的循环神经网络(recurrent neural ...

最新文章

热门文章