论文浅尝 | 异构图 Transformer
笔记整理:许泽众,浙江大学博士在读
论文链接:https://arxiv.org/abs/2003.01332
本文主要提出一种处理异构图的方法,所谓异构图(Heterogeneous graph)是指在一个图中会出现不同类型的边和节点的图。早期对于图的处理图的方法一般集中于同构图的处理。近年来开始关注对异构图的处理,但是一般都具有以下缺点:
1.大多涉及到为每种类型的异构图设计元路径(meta-path),但是这种元路径需要手工定义,这不仅需要领域知识,同时降低了效率;2.或者假设不同类型的节点/边共享相同的特征和表示空间,这显然是不合适的;或者单独为不同节点类型或边类型保留各自单独的非共享权重,这忽略了异构图之间的交互性;3.大多忽略了每一个(异构)图的动态特性(个人觉得这一点和之前的两点不是在解决同一个问题,应该知只是为了丰富文章内容);4.无法对Web规模的异构图进行建模。
为了处理异构图,文章的核心思想是将每条边的模型参数分解为三个矩阵相乘。其分解根据每条边的三元组 <初始节点类型,边类型,目标节点类型>来定义。这就是文中所提的元关系(meta-relation)。整体的计算参照transformer。以下图为例:
对于左图这样的异构图,可以定义出不同的元关系,每个meta-relation由三部分组成。文中提出相比于R-GCN,HGT的优势在于因为使用了三部分来定义元关系,这使得模型对于出现频次较低的关系的学习能力更强(因为另外两部分出现的频次可能不低)。
整个模型的框架可以分为三部分:Heterogeneous Mutual Attention,Heterogeneous Message Passing 和 Target-Specific Aggregation。分别用来计算attention,传递信息,信息聚合。
第一部分
受transformer的启发,将目标节点映射为query,源节点映射为Key。
与传统Transformer不同的点在于:HGT中每个元关系都有一组不同的投影权重W,传统Transformer是所有单词使用同一组权重。
ATT-head表示第i个注意力头;K(s) 代表源节点s投影成的第i个Key向量;Q(t) 代表目标节点t投影成第i个Query向量;μ(·) 表示每个关系三元组的一般意义,作为对注意力自适应缩放;
Attention(·) 的操作主要是把h个 ATT-head 连接,得到每个节点对(s,t)的注意力向量;从本质上说,该操作就是对于每个目标节点t,从邻接节点N(t)收集的注意力向量,再进行一次softmax得到概率分布。
第二部分
与第一步类似,这一步也将元关系融入信息传递过程来缓解不同类型节点和边的分布差异。
第三部分
最后一部分依据前两部分的计算结果将表示更新。
文章的第二部分主要是提出相对时间编码(RTE)技术处理动态图。
传统的方法是为每个小时间片(time slot)构建图,但这种方法会丢失大量的不同时间片间的结构依赖信息。
因此,受Transformer的位置编码(position embedding)启发,作者提出RTE机制,建模异质图上的动态依赖关系。
主要思想就是将时间差的信息编码到表示中从而引入时间对表示的影响。这里有一点在于train的时候见过的时间差不能覆盖所有可能的时间差,所以作者引入以下偏置函数将时间差泛化到可见范围。
为了处理web规模的数据,设计了针对异构图的采样算法 HGSampling。它的主要思想是样本异构子图中不同类型的节点以相同的比例,并利用重要性采样降低采样中的信息损失。
本文在其之前举例的开放学术图谱上进行实验:
但是这里值得注意的是,在对各种entity进行embedding的初始化的时候,实际上添加了相当多的信息,例如对field、venue等节点,就采用了自己argue的metapath2vec模型来进行初始化,所以实验结果的有效性应该也与这种设定有较强的关系。以下是部分实验结果:
同时还给出了一个根据计算的attention自动构建的meta-path的样例:
OpenKG
OpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。
点击阅读原文,进入 OpenKG 网站。
论文浅尝 | 异构图 Transformer相关推荐
- 论文浅尝 | 利用图 Transformer 实现基于知识图谱的文本生成
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为跨语言知识图谱问答. 来源:NAACL2019 链接:https://arxiv.org/pdf/1904.02342.pdf 本文关注如何从信息抽取结 ...
- 论文浅尝 | 利用多语言 wordnet 上随机游走实现双语 embeddings
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识图谱问答. 来源:Knowledge Based System 链接:https://www.sciencedirect.com/science/a ...
- 论文浅尝 | 图神经网络综述:方法及应用
论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...
- 论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
- 论文浅尝 | 近期论文精选
本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...
- 论文浅尝 | 从 6 篇顶会论文看「知识图谱」领域最新研究进展 | 解读 代码
本文内容源自往期「论文浅尝」,由 PaperWeekly 精选并重新排版整理,感谢 PaperWeekly. ISWC 2018 ■ 链接 | http://www.paperweekly.site/ ...
- ###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
- WWW 2020 开源论文 | 异构图Transformer
论文标题:Heterogeneous Graph Transformer 论文来源:WWW 2020 论文链接:https://arxiv.org/pdf/2003.01332.pdf 代码链接:ht ...
- 论文浅尝 | 面向视觉常识推理的层次语义增强方向图网络
论文笔记整理:刘克欣,天津大学硕士 链接:https://dl.acm.org/doi/abs/10.1145/3475731.3484957 动机 视觉常识推理(VCR)任务旨在促进认知水平相关推理 ...
最新文章
- 本科生连发数篇SCI,你的第一篇SCI发表了吗?
- 【Groovy】Groovy 方法调用 ( Java 中函数参数是接口类型 | 函数参数是接口类型 可以 直接传递闭包 )
- 无限极分类不知pid_PHP实现无限极分类
- 面试官上来就问:Java 进程中有哪些组件会占用内存?
- CentOS配置启动ssh与开机自启
- 计算机专用英语词汇发音,计算机专用的英语词汇
- Hadoop入门(十四)Mapreduce的数据去重程序
- php 滑块 爬虫_PHP实现简易爬虫与简易采集程序
- Glide 4.x之ModelLoader简单分析
- 子界类型(Subrange types)
- 免费网络管理软件大全
- 最强大的数据恢复软件
- JTAG接口简要介绍
- 七夕送女友什么礼物有意义、送女朋友实用的七夕礼物清单
- 移动开发需要关心的热门技术(1)
- 日期时间对象date 定时器 格林威治时间
- 嵌入式学习为什么要选择4412开发板
- 几种常见的JS递归算法
- 认识学习的重要性,拒绝摆烂
- 露脸了,大衣哥新儿媳科目三一次性通过,开车技术比小伟强多了
热门文章
- flash加xml图片叠加焦点图,左右箭头翻页
- POJ-3590 The shuffle Problem 置换+DP | DFS
- 浅谈“三层结构”原理与用意(转帖)
- Linux 内核系统架构
- LCD驱动移植(二)
- STM32 ADC 单次模式、连续模式、扫描模式(转载)
- python modbus控制plc_python Modbus基础
- ibatis mysql 同时删多个表报错_MySQL中Multiple primary key defined报错的解决办法
- MyBatis动态SQL_多表查询_延迟加载_缓存
- php 动态参数,php怎么实现动态传参数?