图神经网络如何对知识图谱建模? | 赠书
几乎所有早期的知识图谱嵌入的经典方法都是在对每个三元组打分,在实体和关系的表示中并没有完全考虑到整幅图的结构。
早期,图神经网络的方法在知识图谱嵌入中并没有被重视,主要由于:
早期的图神经网络更多是具有同种类型节点和边的同构图,对知识图谱这样的异构图关注较少。
早期的图神经网络复杂度较高,很难扩展到知识图谱这种大规模图上。
随着对图神经网络研究的深入,越来越多的研究者开始使用更具表达力的图神经网络对知识图谱进行建模。
关系图卷积网络
关系图卷积网络是一个基于信息传递的异构图神经网络。
它本质上是对图卷积网络模型的一个扩展,在图卷积网络的基础上加入了边的信息,因此也可以被用来学习知识图谱中的实体嵌入。
给定节点状态
和它的邻接节点集 (其中 表示边上的关系),节点的表示由以下公式进行更新:
其中,
是一个用来正则化的系数。下图展示了关系图卷积网络的节点更新过程,对于每个节点 ,它把周围所有与之相连的关系 (即rel_1 到rel_N,区分正反方向)都表示为一个矩阵 ,加入节点更新的公式中,并且加入了自循环来保持部分自身节点的信息。
带权重的图卷积编码器
结构感知卷积网络(Structure-Aware Convolutional Networks,SACN)把知识图谱拆分为多个单关系的同构图,即知识图谱中的每种关系对应一个子图,在最终聚合时再考虑每个关系的重要度。本质上,结构感知卷积网络是图卷积网络和ConvE 模型的合体。它以一个带权重的图卷积网络(Weighted Graph Convolutional Networks,WGCN)为编码器,用一个叫作Conv-TranE 的解码器进行解码。
编码器:结构感知卷积网络采用了带权重的图卷积网络进行编码,不同于图卷积网络,它对每个关系
在信息传递的每一层 赋予一个权重 。在信息传递的过程中,关系本身的重要性也被考虑进去了:
解码器:Conv-TransE 模型的架构是基于ConvE 模型的。不同的是,Conv-TransE 模型中实体和关系向量
不像ConvE 模型中那样先转换成二维矩阵,并且保持了TransE 模型的平移不变性,即 。它的得分函数写成
其中,
是卷积之后得到的形式。结构感知卷积网络在ConvE 模型的基础上增加了带权重的图卷积网络的编码,因此可以加入知识图谱的结构信息和实体节点自身的属性信息,使结果得到了很大的改进。
知识图谱与图注意力模型
既然已经有了基于图卷积网络的模型,我们可以预见,一定有基于图注意力的模型。我们以文末参考文献为例介绍知识图谱的图注意力模型。类似于结构感知卷积网络,这个模型也是用图神经网络作为编码器,然后将一个传统的知识图谱嵌入模型作为解码器。
具体来讲,编码器就是一个图注意力网络的扩展。它与图注意力网络不同的地方在于在计算边的注意力权重时,除了考虑到节点的属性,也加入了边的信息:
其中,
, 表示对 和 对应的维度进行归一化。类似于图注意力网络,我们可以加入多头注意力来增加模型的表达能力,假设我们有M 个独立的注意力机制,则节点的更新可以表示为
而解码器是用之前的一个经典模型ConvKB。对于每一个三元组
,在上述编码器得到它们的向量表示 之后,引入ConvKB 模型的得分函数:
其中
是第 个卷积核。
图神经网络与传统知识图谱嵌入的结合:CompGCN
Vashishth 等人认为在知识图谱的信息传递中,应该综合考虑关系和节点的组合,而非将它们各自分离表示。
因此,他们在提出的CompGCN 模型中采用了传统知识图谱嵌入中的三元组关系
(其中 为一个三元组)作为要传递的信息,然后进行信息的聚合和节点状态的更新。
首先,他们综合考虑了边的不同类型:有向边、反向边、自连边,并对它们分别采用不同的投影矩阵(
),把对应的关系映射到向量上去,即 。然后节点的更新可以表示为
函数与传统的知识图谱嵌入对三元组的打分方法类似,例如,可以选用以下三种不同的函数:
减
,对应TransE 模型。乘
,对应DistMult 模型。循环相关
,对应HolE 模型。
由于结合了知识图谱嵌入的得分方式,又考虑了不同边的类型,CompGCN 在基于知识图谱完成的任务上取得了非常好的效果,在很多指标上都达到了最好。
总结
知识图谱作为一种重要而特殊的图结构,在各个领域有着广泛的应用,知识图谱的表示学习为传统人工智能关注的推理、符号逻辑等提供了新的、高效的方法,而图神经网络在这个领域也起到了越来越关键的作用。
同时,知识图谱的特殊性和复杂性为图神经网络提供了很多新的、待解决的问题,如可解释性、复杂推理、可扩展性、自动构建与动态变化。
解决这些问题,将为我们带来新的技术推动力。
▼
参考文献:NATHANI D, CHAUHAN J, SHARMA C, et al. Learning attention-based embeddings for relation prediction in knowledge graphs[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019:4710-4723.
▊《图神经网络:基础与前沿》
马腾飞 编著
梳理图神经网络(GNN)领域的经典模型
帮助读者构建图神经网络知识体系
厘清重要模型的设计思路和技术细节
展现图神经网络的研究进展
图神经网络在推荐系统、生物医疗、自然语言处理等不同场景的实践
图神经网络是人工智能领域的一个新兴方向,它不仅迅速得到了学术界的广泛关注,而且被成功地应用在工业界的多个领域。
本书介绍了图神经网络和图深度学习的基础知识和前沿研究,不仅包括它们的发展历史和经典模型,还包括图神经网络在深层网络、无监督学习、大规模训练、知识图谱推理等方面的前沿研究,以及它们在不同领域(如推荐系统、生化医疗、自然语言处理等)的实际应用。
本书既可作为人工智能领域研究和开发人员的技术参考书,也可作为对图上的深度学习感兴趣的高年级本科生和研究生的入门书。
(扫码了解本书详情)
对于图神经网络,你怎么看?
#欢迎来留言#
我们选出两名优质留言
AI科技大本营携手【电子工业出版社-博文视点】送出
《图神经网络:基础与前沿》一本
截至3月26日14:00点
更多精彩推荐
☞又一个Jupyter神器,操作Excel自动生成Python代码☞分析6千万条GitHub帖子,发现你的工作状态与表情符号强相关☞在 5G 速度上,iPhone 12 只是个弟弟
点分享点收藏点点赞点在看
图神经网络如何对知识图谱建模? | 赠书相关推荐
- PaperNotes(16)-图神经网络GNN简史、不动点建模-笔记
图神经网络简史.简介 1.图神经网络简史 2.图神经网络--学习过程 3.图神经网络--理论基础 4.图神经网络的局限 5.GNN,RNN,GGNN 6.小结 阅读笔记:从图(Graph)到图卷积(G ...
- 基于上下文化图注意力网络的知识图谱的条目推荐
Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph 摘要: 近年来,图神经网络(GN ...
- 论文浅尝 | 采用成对编码的图卷积网络用于知识图谱补全
笔记整理:姚祯,浙江大学在读硕士,研究方向为知识图谱表示学习,图神经网络. 论文引用:Liu S, Grau B, Horrocks I, et al. INDIGO: GNN-based induc ...
- 论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理
论文笔记整理:陈名杨,浙江大学直博生. Introduction 知识图谱(KGs)在很多NLP的下游应用中起着越来越重要的作用.但是知识图谱常常是不完整的,所以解决知识图谱补全的任务也非常重要.主要 ...
- 五种知识图式的绘制方法(思维导图、概念图、知识图谱、语义网络、认知图)
文章目录 一.思维导图的绘制 二.概念图的绘制 三.知识图谱的绘制 四.语义网络的绘制 五.认知图的绘制 一.思维导图的绘制 绘制思维导图的步骤为: 第一步:拿出一张纸或使用软件,从中心开始绘制,周围 ...
- 【知识图谱】本周文献阅读笔记(3)——周二 2023.1.10:英文)知识图谱补全研究综述 + 网络安全知识图谱研究综述 + 知识图谱嵌入模型中的损失函数 + 图神经网络应用于知识图谱推理的研究综述
声明:仅学习使用~ 对于各文献,目前仅是泛读形式,摘出我认为重要的点,并非按照原目录进行简单罗列! 另:鉴于阅读paper数目稍多,对paper内提到的多数模型暂未细致思考分析.目的是总结整理关于KG ...
- 深入浅出的图神经网络,神经调节的知识网络图
常见的数据挖掘方法有哪些 数据挖掘的常用方法有:神经网络方法神经网络由于本身良好的鲁棒性.自组织自适应性.并行处理.分布存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关注. ...
- 【赠书】图神经网络基础与前沿最新书籍,赠5本学习
假期快要到了,本次给大家赠送5本人工智能领域的技术书籍,这次赠送的书籍是<图神经网络基础与前沿>. 这是一本什么样的书 图神经网络是近两年学术界的热点,在顶级会议上的文章越来越多.目前图像 ...
- 知识图谱推理:现代的方法与应用
摘要: 知识图谱推理技术再根据已有的知识推导出新的知识,是机器智能具有和人类一样的推理能力和决策能力的关键性技术,系统的研究了知识图谱推理的现代方法,通过统一的架构介绍了向量空间中进行知识图谱推理的现 ...
最新文章
- 机器学习与推荐系统实践
- .net 页面传参方式总结
- jQuery获取或设置元素的宽度和高度
- 16.Hadoop架构再探讨第2部分
- python 面向对象编程:类和实例
- 另一种声音:容器是不是未来?
- java图片滚动特效_js图片各种滚动效果
- 国内首个 App SDK 国家标准成功立项;苹果意外泄露iPhone 12发布时间;TypeScript 4.0 发布| 极客头条
- 一个特牛的日期时间判断正则表达式
- SQL Server 2014 软件安装教程
- 算法 第四版 2.1.25 不需要交换的插入排序
- REST服务和RESTful API是什么
- DHT分布式哈希表通俗讲解
- 什么是Windows驱动程序?
- 2312、卖木头块 | 面试官与狂徒张三的那些事(leetcode,附思维导图 + 全部解法)
- 分布式高频量化交易系统架构讲解(企业版,期货ctp,股票xtp,数字货币,附全部源码)(值得收藏)
- ShortcutBadger
- 云平台架构知识点总结
- RHEL5.5配置sftp (已验证)
- Android 高质量开发之崩溃优化,kotlin协程跟线程