Knowledge Graph Alignment Network with Gated Multi-Hop Neighborhood Aggregation-学习笔记

在图1中，美国是Wikidata中科比·布莱恩特的一跳（直接）邻居。但是在DBpedia中，它是两跳邻居。

在AliNet中，通过门控机制通过在k跳内对其邻域信息进行控制的聚合来学习实体表示。在不失一般性的前提下，以下我们展示了汇总一跳和两跳邻域信息（k = 2）的情况。网络结构如图3所示。请注意，AliNet也可以扩展到更多的跃点。

具体来说，每个AliNet层都具有多种功能，可在多个跃点内聚合邻域信息。为了减少噪声信息，我们进一步采用了一种针对远距离邻域聚集的注意机制，以端到端的方式找出重要的邻居。最后，我们使用门控机制来组合多个聚合函数的输出表示，以获取当前层中的隐藏表示。我们还设计了一种关系损失来细化实体表示，并使AliNet能够捕获某些特殊结构，例如三角形关系结构。我们对烧蚀进行了详尽的研究，并对五个实体对齐数据集进行了详细的分析，证明了AliNet的有效性及其各项技术贡献。

其中N1（·）表示给定实体的一跳邻居集，W（l）是第l层的权重矩阵，ci是归一化常数。σ（·）是一种激活功能。Thevanilla GCN将节点编码为其邻居和最后一层自身表示的平均池。输入到第一层的输入向量表示为h（0）。

其中，α（l）ij是实体i的可学习注意权重，其邻居j.W（l）2是权重矩阵。下一小节将介绍注意力权重的计算。

其中g（h（l）i，2）=σ（Mh（l）i，2+b）作为门来控制单跳和双跳邻域的组合。M和b分别是权重矩阵和偏差向量。

实体中距离较远的邻居的数量可以比其单跳邻居的数量成倍增长。直觉上并非所有远邻都对中央实体的特征有所贡献。因此，对于两跳邻域聚合，计算实体之间的注意权重以突出显示有用的邻居。

形式上，第l层的注意权重c（l）i和j计算如下：

其中，A−是通过随机替换两个预对齐实体之一生成的一组负样本。 || ·|| 表示L2向量范数。 [·] + ＝ max（0，·）期望负样本的距离大于边λ，即||hi?− hj? || >λ，α1是用于平衡的超参数。

每层的表示都有助于传播对齐信息。因此，使用所有图层的隐藏表示。

其中⊕表示级联，而norm（·）是L2归一化，用于减少人为增加矢量范数的琐碎优化过程（Bordes等，2013）。

借鉴了TransE的翻译假设。为了避免参数的开销，不引入其他特定于关系的嵌入。 r的表示形式（表示为r）可以通过其相关实体嵌入进行检索：

其中Tr是关系r的对象-对象实体对。然后，将以下关系损失最小化以进行优化：

其中R是两个KG中总关系的集合。

AliNet的最终目标是合并对齐损失和关系损失，旨在将关系语义注入到保留的图结构中，其中α2是权重这两个损失的超参数。使用Adam优化器优化目标。

提出的门控多跳邻居聚合以端到端的方式扩展了实体的直接邻居。

AliNet (w/o rel. loss)不优化关系损失的AliNet, AliNet (w/o rel. loss & augment.)不采用关系损失和邻域扩充的AliNet

DBP15K w.r.t.聚合策略的结果，第一个称为AliNet（mix），它借鉴了MixHop的想法（Abu-El-Haija等人，2019年），该想法在通用图中具有类似的节点分类动机。它以两跳邻居为一跳，并使用GCN层直接聚集这种混合的邻居信息。第二个，称为AliNet（加），用加法运算符代替门控机制。在最后一个变体AliNet（门）中，我们用GAT取代了建议的注意力机制（Velickovic等人2018）。

具有2层的AliNet在所有三个指标中均实现了最佳性能。

这表明基于GNN的模型相对容易找到具有较大的一跳邻居的对等实体。 AliNet的OC值小于GCN的OC值。这表明AliNet可以有效地对齐一跳邻居中重叠较小的实体。

合并后的表示最终胜过了特定于层的表示。

Knowledge Graph Alignment Network with Gated Multi-Hop Neighborhood Aggregation-学习笔记相关推荐

论文笔记004-《Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation》
更多博客可以关注MyBlog,欢迎大家一起学习交流! 1. 简介题目:<Knowledge Graph Alignment Network with Gated Multi-hop Neigh ...
复现KGAT: Knowledge Graph Attention Network for Recommendation（四）
复现KGAT: Knowledge Graph Attention Network for Recommendation(四) 啊代码,是代码,我要写KGAT的代码了. 今天听了我们专业大佬讲竞赛的事 ...
【KGAT】Knowledge Graph Attention Network for Recommendation
note KGAT结合KG和GAT,在知识图谱三元组基础上,利用GAT进行消息传递,聚合出物品向量后与用户向量进行计算得到预测值.其实不结合KG,何向南团队之前也直接使用GNN做了NGCF和Light ...
KGAT 2019（KDD）Knowledge Graph Attention Network for Recommendation
提出背景基于CF的方法无法利用用户和物品的辅助信息,像用户简介,物品属性,以及上下文环境,在用户和无匹交互较少的情况下表现较差. FM,NFM,Wide&Deep等模型将用户和物品表示为向量 ...
【李宏毅机器学习】Recurrent Neural Network Part1 循环神经网络（p20）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Example Application Slot Filling 把词用向量来表示的方法 1-of-N encoding / one-hot Beyon ...
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Learning Target Learning Unfortunately 基于RNN的的网络不总是容易去学习 The error surface i ...
（十九）【AAAI2021】Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommend
题目: Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation 论文链接 ...
知识图谱论文阅读（十三）【2020 arXiv】Attentive Knowledge Graph Embedding for Personalized Recommendation
题目: Attentive Knowledge Graph Embedding for Personalized Recommendation 论文链接: 代码链接: 知识图谱特征学习在推荐系统中的应 ...
A comprehensive overview of knowledge graph completion
摘要知识图(KG)以其代表和管理海量知识的独特优势,为各种下游知识感知任务(如推荐和智能问答)提供了高质量的结构化知识.KGs的质量和完整性在很大程度上决定了下游任务的有效性.但由于知识产权制度的不 ...

Knowledge Graph Alignment Network with Gated Multi-Hop Neighborhood Aggregation-学习笔记

Knowledge Graph Alignment Network with Gated Multi-Hop Neighborhood Aggregation-学习笔记相关推荐

最新文章

热门文章