Knowledge Embedding Based Graph Convolutional Network

2024-05-06 09:49:04

研究问题

提出了一种可以充分结合异构的节点信息和边信息，同时学习这两者的嵌入的图卷积网络KE-GCN，并将之前的几种知识图谱CNN纳入一个统一的框架下

背景动机

传统的图卷积模型一般不关注学习边的嵌入，且无法处理异构的边信息
知识图谱领域的大多数嵌入学习方法没有利用到图的结构信息
知识图谱领域的图卷积模型虽然同时学习了节点和边的嵌入，但主要精力还是在根据关系嵌入优化实体嵌入，而没有对称的过程

模型方法

重新解释邻居聚合公式

传统GCN对非异构边的邻居聚合公式可以表示为

现在引入得分函数f估计每条边的置信度，假设对于边，其置信度对应两个节点嵌入的内积，即，等式**(1)**可以重写为以下对f进行求导的式子

此时，等式**(2)**中的就可以看作是一步梯度上升，以最大化，因此整体的聚合过程的目标可以看做是使知识图谱中的边的置信度最大化

模型框架

现在考虑知识图谱中的异构边，也就是边会有多种类型，得分函数表示为，将得分函数进一步细化为入度和出度两部分，新的邻居聚合公式写作

上面是实体嵌入的更新公式。下面是关系嵌入的更新公式，其中

其计算图示如下，先计算f，再对其导数进行聚合

为了减少参数量，设置，并对实体和关系的嵌入进行规范化，即计算及

代入具体模型

几种不同模型计算过程的区别如下

CompGCN
- 原始实体更新公式

原始关系更新公式

代入论文公式

R-GCN
- 实体更新公式
- 代入论文公式
W-GCN
- 实体更新公式
- 代入论文公式

实验部分

候选得分函数
- TransE：
- DistMult：
- TransH：
- TransD：
- RotatE：
- QuatE：
知识图谱对齐

这个任务的目的是找到两个知识图谱中对应同一个真实世界实体的实体，论文通过计算两个共享参数的GCN对两个知识图谱分别计算得到的实体嵌入之间的距离来对齐实体。模型训练的损失函数定义如下，就是让对齐实体的距离尽可能近，不对齐实体的距离尽可能远。

不同模型以及不同损失函数的效果如下

实体分类任务

评价

这篇论文可以看做是对CompGCN做的一个改进，在计算关系嵌入时也考虑关联的实体信息。虽然只有这一个创新点，但是写得很高明，直接对邻居聚合的过程做了一个重新的解释，再从新视角介绍自己的方法。论文主要有三个地方有点奇怪，一个是没有报告实体分类模型的结果，它对比的模型明明都是实体分类模型，最后却报告了实体对齐的实验结果，让人怀疑它在实体分类上的实验效果；另外一点就是其他卷积模型都只使用了单层或双层卷积，它用了四层，不知道卷积层数是不是也提升很大；以及论文中没有消融实验。

Knowledge Embedding Based Graph Convolutional Network相关推荐

论文笔记（SocialGCN: An Efficient Graph Convolutional Network based Model for Social Recommendation）
一个有效的基于图卷积神经网络的社交推荐模型原文链接:SocialGCN: An Efficient Graph Convolutional Network based Model for Socia ...
CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering 2021
问题:现有的深度聚类方法往往忽略了数据之间的关系. 本文提出了一种基于交叉注意的深度聚类框架--基于交叉注意融合的增强型图形卷积网络(CaEGCN) ,该网络包含四个主要模块: 交叉注意融合模块,创新 ...
论文阅读06——《CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering》
欢迎到我的个人博客看原文论文阅读06--<CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network f ...
Identifying drug–target interactions based on graph convolutional network and deep neural network 论文
Identifying drug–target interactions based on graph convolutional network and deep neural network 文章 ...
Adaptive Propagation Graph Convolutional Network
翻译一篇TNN 的论文仅用于学习原文章链接有道翻译的也是用了第一人称.如果有错,一定是你对. 题目:Adaptive Propagation Graph Convolutional Network ...
图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导
文章目录 1. 为什么会出现图卷积神经网络? 2. 图卷积网络的两种理解方式 2.1 vertex domain(spatial domain):顶点域(空间域) 2.2 spectral domai ...
Predicting Human Microbe-Drug Associations via Graph Convolutional Network with Conditional Random F
l论文题目:Predicting Human Microbe-Drug Associations via Graph Convolutional Network with Conditional Ra ...
GNN Algorithms(2): GCN, Graph Convolutional Network
目录 GCN Algorithm Background 传统卷积公式:在graph上不行定义Graph Fourier 传统Fourier transformation 传统Inverse Four ...
DGL官方教程--Relational graph convolutional network
Note: Click here to download the full example code Relational graph convolutional network Author: Li ...

最新文章

热门文章