Exploiting the Syntax-Model Consistency for Neural Relation Extraction-学习笔记

Exploiting the Syntax-Model Consistency for Neural Relation Extraction

1.论文中，首先使用深度学习模型中单词的表示向量来计算每个单词的另一个重要性得分（称为基于模型的重要性得分）。这些基于模型的重要性评分有望量化单词所贡献的语义信息，从而成功预测输入实体所提及的关系。

之后，建议通过强制基于模型的重要性分数与语法对应项一致（即通过KL散度），将基于语法的重要性分数注入到RE的深度学习模型中。

一致性实施的动机是提升重要性分数，作为传递语法信息的桥梁，以丰富RE的深度学习模型中的表示向量。

2.ON-LSTM通过在隐藏矢量计算中引入两个额外的门（即主忘记门和输入门）来扩展流行的长期短期存储网络（LSTM）。

建议不要只依赖当前单词，而要获得该句子的整体表示，用作输入以计算该单词中每个单词的主门和重要性得分。

CEON-LSTM ：基于输入表示序列x1，x2，...的变换向量的加权和，获得ON-LSTM每一步t的表示向量：

用先前步骤中的上下文信息（即，以ht-1编码）丰富当前步骤的注意力权重，从而为上下文输入的输入表示x’t包含更丰富的主门信息。

3.引入了一个约束，以通过最小化归一化得分之间的KL差异Limport来鼓励单词的基于模型和基于语法的重要性得分（即modt和synt）之间的一致性:

单词wt∈W的基于语法的重要性评分语法计算为T(在依赖树W中任意对单词之间的最长路径的长度)与依赖关系树中wt与DP(两个实体ws和wo之间的最短依赖路径)中wt和某个单词之间的最短路径的长度之间的差（即，DP上的单词的得分为T）。

4.为了进一步改善通过深度学习模型为RE所学习的表示形式，文中引入了一种新的归纳偏置，以促进整个句子的表示向量与沿着两个实体提及之间最短依赖路径的单词之间的相似性。

首先通过对CEON-LSTM隐藏向量h1，h2，...hN分别应用最大池运算，分别获得句子W和沿DP的单词的表示向量RW和RDP，对于W和DP中的单词。

，

下一步，通过最大限度地减小它们的负余弦相似度，即在总损失函数中添加以下术语Lpath，来促进RW和RDP之间的相似性:

5.将V(整体表示向量来预测W中ws和wo之间的关系：V = [xs，xo，hs，ho，RW])馈入最后一个带有softmax层的前馈神经网络，以估计W可能关系上的概率分布P（.| W，ws，wo）。然后负对数似然函数作为模型的损失函数：（y是W中ws和wo的黄金关系标签）。

最终，模型在这项工作中的总体损失函数为：。

Exploiting the Syntax-Model Consistency for Neural Relation Extraction-学习笔记相关推荐

Exploiting the Syntax-Model Consistency for Neural Relation Extraction(关系抽取，语法模型，跨领域关系抽取
文章目录 1.Introductiony 1.1 神经网络的关系抽取 1.2使用依赖树的关系抽取 1.2.2 依赖树的一般树 1.3 本文做法 2. 相关工作 2.1核方法 2.2 深度学习方法 2. ...
论文解读：Combining Distant and Direct Supervision for Neural Relation Extraction
论文解读:Combining Distant and Direct Supervision for Neural Relation Extraction 夏栀的博客--王嘉宁的个人网站正式上线,欢迎 ...
【论文笔记】Neural Relation Extraction with Multi-lingual Attention
一.概要该paper发于ACL2017上,作者主要基于关系事实通常在各种语言中存在某种模式表达,并且不同语言之间的模式是不同的这两个动机,针对于当前存在的单语言关系抽取的方法,从而存在忽略不同语 ...
Neural Baby Talk学习笔记
Neural Baby Talk学习笔记 [1803.09845] Neural Baby Talk 1.介绍深度学习时代采用LSTM模型,过分依赖language model,导致caption ...
Sym-NCO: Leveraging Symmetricity for Neural Combinatorial Optimization 学习笔记
文章目录摘要零.一些基础 1.Invariant Representation 一.介绍高性能问题不可知论架构不可知论二.组合优化马尔可夫决策过程中的对称性 0.基础 1.组合优化马尔可夫 ...
MobileEye的RSS（Implementing the RSS Model on NHTSA Pre-Crash Scenarios）学习笔记
1. 术语介绍 RSS:Responsibility-Sensitive Safety AC: Autonomous Vehicle NHTSA: National Highway Traffic S ...
关系抽取论文总结（relation extraction）不断更新
2000 1.Miller, Scott, et al. "A novel use of statistical parsing to extract information from te ...
文献阅读课10-Neural Relation Extraction for Knowledge Base Enrichment(提取+嵌入+消歧+规范化联合模型，实体已知，仅关系抽取，多词实体)
文章目录 Abstract 1.Introduction 2. 相关工作 2.2 Entity-aware Relation Extraction 3.提出的模型 3.1 Solution Frame ...
Relation Extraction 关系抽取综述
文章目录往期文章链接目录 Information Extraction v.s. Relation Extraction Existing Works of RE Pattern-based Met ...

Exploiting the Syntax-Model Consistency for Neural Relation Extraction-学习笔记

Exploiting the Syntax-Model Consistency for Neural Relation Extraction-学习笔记相关推荐

最新文章

热门文章