方法

本文方法主要有两部分组成。（1）将知识图谱用带权重的文本特征进行拓展，然后利用随机游走生成集合序列输入到skipgram模型，从而生成KB空间。（2）将text转化为KB中的entity可以通过一个multi-sence监督模型（lstm+消歧机制），将每一个text生成一个KB空间的点。

实体向量的文本特征

对于KB空间，我们将根据Perozzi et al. (2014)提出的通用方法，我们从KB中手工收集一个随机游走的集合，作为skipgram模型的输入。对于一个随机游走的序列n1，n2 ，...，nT，和上下文窗口大小c，skipgram模型将最大化下面这个函数

因此，如果拓扑结构中两个节点相近，则两个向量也比较近。虽然这样的拓扑结构允许点之间相似性的比较，但是并不能直接用于与text to entity的任务，原因是在KB图中形成的社区（以及由此产生的向量空间的拓扑结构）主要反映的是特定于领域的层次结构和本体关系，而这些关系并不一定是通过引用实体的文本表示来体现的。因此，对于所提议的方法，一个重要的问题是如何在两个表示(embedding)之间提供有意义的联系，以便有效地将一种text转换成entity。

在本文中，我们用文本特征(textual features)链接KG中的每一个点。文本特征与实体之间的边都有权重表示文本特征对实体的重要性。对于每一个实体，我们收集KG本身和BabelNet英语部分中所有可以描述该实体的文本表述。文本表述可以认为是短文档，表述中的每一个词都具有一个tf-idf的值，从而形成实体的文本特征集。

只是图谱将以下述方式进行扩充：Tc是实体c的文本特征集，对于Tc中任意的t，我们增加一条边（t,c），且权重为tf-idfc(t)

。与Perozzi et al. (2014)使用均匀分布的采样策略相比，本文定义随机游走的过程如下：给定一个随机游走的起点n，其实体邻居集为cn={t1,t2,...,tN}，文本特征集合Tn={t1,...,tM}。因此，随机游走序列的下一个节点将通过下诉公式得到

如果λ=0时，随机游走序列将仅从实体节点集合中获得，因此随机游走序列只包含实体节点。这将与Perozzi et al. (2014)提出的Deepwalk相同；如果λ=1时，效果将不那么直观。由于文本特征只与实体节点相连接，如果当前的节点是文本特征节点，则下一个节点将实体集合Cn中采样。因此当λ=1产生的随机游走路径将是实体节点和文本也正节点交替出现。λ取0-1之间的值，将在上述两种情况进行调整。具体情况如下图所示

A multi-sense LSTM

本文提出一个text-to-entity 的神经网络框架，目标是给定一个text，在KB空间中产生一个点，找到最近的entity或者concept。模型通过训练扩展知识图谱的文本和实体向量。我们的结构对语义歧义是铭感的。所以需要一个消除歧义的机制。具体的网络结构如下图：

网络结构有一个普通的embedding层，一个词义消歧层和两个LSTM网络将text编码为KG空间的向量。最终的目标就是MSE，如下。

N为训练样本的个数，x为输入的文本，y为目标实体的向量，f为上述的网络。为了解决词的歧义，每一个词都有一个generic embedding 和 k sense embeddings。sense embeddings可以认为是词在训练集中不同使用的类心，在训练过程中动态更新。此外，每一个词还有一个context embedding，有其上下文词的generic embedding平均得到。在已知context embedding的条件下，每一个sense embedding sij的概率如下，其中s‘ij = tanh(W sij+U ci)，W，U和U'为attentional network的参数

sij的更新如下，最终attention的输出为sij与其概率的加权和，然后作为LSTM的输入。

LSTM的输入：context embedding,sense embedding加权和，generic embedding，所以如下图：

个人理解：

加入文本信息，增加知识库中的实体通过文本特征的链接，从而增大知识库的稠密度。并且，从某种程度上加大实体之间的相似度。（本来知识库中两个实体不连接，现在可能通过相同的文本特征链接在一起，使其相似性更进一步）
利用random walk 采样出序列
利用skigram模型，学习实体的向量表示
利用神经网络模型，将text进行向量表示，与3中得到的实体向量进行向量表示，学习出text的三种embedding
利用word的embedding，通过网络，得到textembedding，选择与其最近的entity embedding，则改entity即为所求

Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs相关推荐

SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions 论文读书笔记
SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions 论文读书笔记 1. Motiva ...
《knowledge graph embedding：a survey of approaches and applications》论文阅读
发表于TKDE 2017. knowledge graph embedding:a survey of approaches and applications abstract 1. introduc ...
[转发]知识图谱（Knowledge Graph）专知荟萃
知识图谱 (Knowledge Graph) 专知荟萃入门学习大规模知识图谱技术王昊奋华东理工大学 [http://history.ccf.org.cn/sites/ccf/xhdtnry. ...
HAKE笔记：Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
原文:Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction 代码:https://github.com/MIR ...
cs224w（图机器学习）2021冬季课程学习笔记12 Knowledge Graph Embeddings
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. Heterogeneous Graphs and Relational GCN (RGCN) ...
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记
我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...
论文笔记：Sequence-to-Sequence Knowledge Graph Completion and QuestionAnswering
Sequence-to-Sequence Knowledge Graph Completion and Question 备注:ACL 2022 Main Conference 链接:https:// ...
学习Knowledge Graph Embedding Based Question Answering代码笔记
前言最近被导师安排学习一下[Knowledge Graph Embedding Based Question Answering] 这篇paper,这篇paper的重点在于运用了Knowledge ...
尝试阅读和理解 PairRE: Knowledge Graph Embeddings via Paired Relation Vectors
文章提出面临的问题 Since most knowledge graphs suffer from incompleteness, predicting missing links between e ...
【企业数智化转型】知识图谱（Knowledge Graph）
关键词:基于行为的学习,基于知识的学习,商业智能,工业4.0,知识图谱,企业图谱, 图数据库, 图计算引擎, 数据可视化应用场景:征信.风控.问答.医疗.能源.舆情.反欺诈.市场营销.社交网络.企业 ...

Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs

方法

实体向量的文本特征

A multi-sense LSTM

Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs相关推荐

最新文章

热门文章