【知识图谱系列】多关系异质图神经网络CompGCN
作者：CHEONG
公众号：AI机器学习与知识图谱
研究方向：自然语言处理与知识图谱
CompGCN （ICLR 2020）
Composition-based Multi-Relational Graph Convolutional Networks
CompGCN论文汇报ppt可通过关注公众号【AI机器学习与知识图谱】，回复关键词：CompGCN 来获得，供学习者使用！可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！
一、基本概念：
图神经网络： 图神经网络是一种专门用于处理图结构数据的神经网络模型。基于图神经网络的知识图谱学习方法：知识图谱表示学习，信息抽取，实体对齐，链接预测，知识推理。
知识图谱： 知识图谱是以图的形式表现客观世界中的实体及之间关系的知识库，实体可以是真实世界中的物体或抽象的概念，关系则表示了实体间的联系。知识图谱拥有复杂的schema，实体类型和关系种类丰富，同质图模型远不能满足知识图谱的需求。
在现实中的知识图谱会存在复杂的实体和关系类型，传统的GCN算法广泛应用于同质图，而同质图算法远不能满足知识图谱需求，CompGCN便是针对于Multi-relational Graphs提出的异质图表征算法，CompGCN能够同时对node和relation进行表征学习，在节点分类，链接预测和图分类任务上都取得Sota效果。
二、Motivation
解释一： GNN, GCN等对于建模无向、单关系的图或网络是有效的，如上公式1；
解释二： 现实生活中的知识图谱大多是多关系图，需要对关系进行编码，如上公式2；
解释三： RGCN，如上公式2存在的缺陷，会随着关系的增大，引入过多关系矩阵Wr，参数爆炸模型无法训练。
结合上述描述，CompGCN的研究动机便是为了解决以下两大问题：
1、联合学习一个多关系图中的节点嵌入和关系表示；
2、解决之前多关系图表示工作RGCN等存在的参数过载问题。
三、Method
如上左图是CompGCN为了将图的关系（Relation）加入到表示学习中，将Relation当成Embedding（向量）和Node Embedding联合学习，并且CompGCN丰富了边的类型，即反向关系类型和自循环关系类型，这样可以对多关系图谱进行表征学习并且不会引入过多参数；
如上右图展示了CompGCN在进行表示学习时Aggregation的过程，对应如下公式：
为了充分理解CompGCN Update图和上面Aggregation公式，需要弄清以下三个问题
1、Node Embedding和Relation Embedding表征如何组合？
论文中给出了三种节点和关系表征的组合方式， 分别是Sub，Mult和Corr，也分别对应了TransE，DistMult和ConvE三种方式，在实验效果上看TransE训练速度最快但效果差，ConvE训练速度最慢但效果最佳。
2、三种类型关系如何组合？
CompGCN中做了关系增强，在正向关系类型基础上，增加了反向关系和自循环关系类型
因此就如公式所示，对这三种关系类型分别做Aggregation后需要将三种关系进行西格玛求和，可以看一下论文源码便十分清晰了
3、关系表征如何更新？
在每一层GCN迭代中，除了对Node Embedding进行Aggregation更新，还需要对Relation Embedding进行更新，如上公示引入Wrel参数进行更新，较为简单。
至此我们对CompGCN提出的Node和Relation联合学习就较为清晰，为了更加深刻理解CompGCN模型的整体框架，让我们看下图：
CompGCN模型实现框架采用了R-GCN提出的Encoder-Decoder框架，在Encoder阶段将Entity Embedding和Realtion Embedding进行组合Aggregation，然后在Decoder阶段再采用类似TransE，TransH或者ConvE等方式对（h,r,t）三元组进行解码。因为CompGCN在Encoder阶段就引入了Realtion Embedding，因此从上图可以看出CompGCN的另一大优势便是可以在Encoder和Decoder编码的是同一套Realtion Embedding，使得表征学习更加精准。
四、Conclusion
1、实验数据介绍
FB15k-237： Freebase中的一部分数据，包含14541个节点、237类边；
WN18RR： WordNet Graph的一部分，包含40943个节点，11类边；FB15k-237\WN18RR相对于FB15k\WN18是将测试集存在训练集的相反关系的一部分数据给去除了，官文有详细说明：
WN18 and FB15k suffer from test leakage through inverse relations: a large number of test triples can be obtained simply by inverting triples in the training set. For example, the test set frequently contains triples such as (s, hyponym, o) while the training set contains its inverse (o, hypernym, s). To create a dataset without this property, FB15k-237 was introduced – a subset of FB15k where inverse relations are removed. And similarly, WN18 was corrected by WN18RR.
2、实验结果
结论： CompGCN在Encoder和Decoder阶段使用同一个编码方式效果会更好，从上表可以看出在Encoder和Decoder阶段同时使用ConvE时，在FB15k-237数据 Link Predictioon任务上取得了最好的效果。
【知识图谱系列】多关系异质图神经网络CompGCN相关推荐
- 【知识图谱系列】基于互信息最大化的图谱预训练模型DGI InfoGraph
作者:CHEONG 公众号:AI机器学习与知识图谱 研究方向:自然语言处理与知识图谱 本文介绍两篇基于互信息最大化的图谱预训练模型DGI(ICLR 2019)和InfoGraph(ICLR 2020) ...
- “知识图谱+”系列：知识图谱+图神经网络
最近有很多朋友联系泽宇说想了解一些知识图谱和图神经网络(GNN)结合的研究.那泽宇当然要满足朋友们的要求啊,本期泽宇从知识图谱的几个不同研究方向总结了结合GNN的经典研究,也和大家一起分享.所有内容是 ...
- “知识图谱+”系列：知识图谱+强化学习
泽宇个人一直认为强化学习是建模动态系统最好的方法之一,通过与环境的不断交互,在动作选择和状态更新的动态过程中逐渐达到优化目标.因此,本期泽宇将从知识图谱结合强化学习的角度介绍几个不同的研究方向的内容, ...
- 异质图神经网络及其在电商领域中的应用
今天,我们首先将介绍北邮计算机学院教授石川的<异质图神经网络及其在电商中的应用>. 本次讲座中,石川针对图神经网络研究的重要挑战--传统采用的是同质图数据,无法满足业界交互系统对异质图的实 ...
- Heterogeneous Graph Neural Network（异质图神经网络）
Heterogeneous Information Network 传统的同构图(Homogeneous Graph)中只存在一种类型的节点和边,当图中的节点和边存在多种类型和各种复杂的关系时,再采用 ...
- 【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读
作者:CHEONG 公众号:AI机器学习与知识图谱 研究方向:自然语言处理与知识图谱 本文分享一篇动态知识图谱表示学习综述汇报ppt,分享10篇优秀论文,简单介绍其核心思想,完整汇报ppt获取请关注公 ...
- 异质图神经网络（持续更新ing...）
诸神缄默不语-个人CSDN博文目录 本文将对异质图神经网络(HGNN, heterogeneous graph neural networks)的方法演变进行梳理和介绍. 最近更新时间:2022.11 ...
- WWW 2021最佳论文亚军：基于属性补全的异质图神经网络新架构
©作者 | 机器之心编辑部 来源 | 机器之心 4 月 23 日,万维网顶会 WWW-2021(The Web Conference 2021: International World Wide We ...
- ICLR 2020 开源论文 | 多关系图神经网络CompGCN
©PaperWeekly 原创 · 作者|纪厚业 学校|北京邮电大学博士生 研究方向|图神经网络.推荐系统 图神经网络已经成为图数据分析领域的经典算法了,各大顶会上相关的论文也层出不穷.但是,这些工作 ...
- 2019年，异质图神经网络领域有哪些值得读的顶会论文？
本文主要梳理了 2019 年各大顶会上关于异质图神经网络的论文,包括算法研究及应用研究.同时,作者也整理了相关大牛老师/论文/资料/数据集供大家学习. 作者丨纪厚业 学校丨北京邮电大学博士生 研究方向 ...
最新文章
- 2018 ACM博士论文奖公布：伯克利博士获奖，清华姚班马腾宇荣誉提名（附论文链接）...
- Eureka restTemplate访问超时
- Debug Tensorflow: yolo模型检测框位置正确但类别不正确
- 返回多个不同类型参数的值（out）可变参数一维数组（ params ）把值从方法中带出（ref） 方法递归（方法自己调用自己与循坏类似注意return每次只能跳出一个方法））...
- matlab 排序点,matlab如何进行排序？
- java 纳秒 毫秒_golang的time包:秒、毫秒、纳秒时间戳输出方式
- OMG，学它！javaweb网上购物系统
- 电路布线问题的动态规划实现（java）
- ubuntu code::blocks 汉化(附汉化包)
- 绘画软件：krita for Mac
- c语言case用多重语句,switch多重选择
- 微信小程序---实现VR看房效果
- SpringMVC使用websocke
- [OHIF-Viewers]医疗数字阅片-医学影像-REACT-Hook API索引
- 【Spring AOP】静态代理设计模式、Spring 动态代理开发详解、切入点详解（切入点表达式、切入点函数）
- 5款支持Web端创作的脑图工具，学习一款就够了
- 敏涵控股集团董事长刘敏:品牌敏涵 用心做企业
- [SWPU2019]ReverseMe
- jmeter 阶梯式加压
- java使用POI的HSSFWorkbook导出excel模板添加各种校验