论文浅尝 – KDD2020 | 使用图对比编码的图神经网络预训练模型

论文笔记整理：陈名杨，浙江大学在读博士生，研究方向为知识图谱表示学习。

图表示学习是一个当前关注度较高的领域，并且有许多真实的应用。然而当前的很多图表示学习方法都是对一个领域或者某一个图训练一个模型，也就是说这些训练的模型是不能迁移到领域外新的数据。这篇文章受到在NLP领域预训练工作的启发，设计了一种无监督的图对比编码（Graph Contrastive Coding，GCC）模型，来捕获不同图之间的全局拓扑特征。这里将GCC的预训练任务设计为区分不同图内不同点的局部子图结构，并且利用对比学习（Contrastive Learning）来学习到一些固有的、可迁移的结构表示。

这里提出的GGC的整体思想是，在预训练阶段，给一些不同的图，然后在上面做一些自监督学习，预训练得到一个表示学习的模型，然后把这个模型用在一些更多没有见过的的图上对不同的任务进行微调，下面将对具体的方法及模型的设计进行介绍。

这里预训练的任务是instance discrimination，也就是将每个节点看作是一个自己的类，然后区分不同节点作为学习目标。从对比学习的视角来看待，给定一个被编码的query q，以及一个包含K个keys的字典，对比学习是要在dictionary里面找一个和query最匹配的key认为是和query同类的实例，在这篇文章中使用的InfoNCE作为学习目标，

除了这个整体的学习目标外还需要考虑下面一些问题。

1. 如何设计图中的实例？

既然使用对比学习作为整个方法的总体目标，这里需要设计对比的实例，在本篇文章中，作者使用图中节点的r-ego network作为这个节点的实例表示，这r-ego network就是以某一个点为中心，其他点和这个点的最短距离小于r的点的集合的sub-graph。

2. 如何设计实例间的相似和不相似？

在计算机视觉中，有多种的数据增强方式。在本篇文章的场景中，把对于同一个点的两个采样结果不同的r-ego network作为相似的实例，而把不同点的采样作为不相似实例。

3. 如何设计图的编码方式？

这里使用一种当前SOTA的GNN方法Graph Isomorphism Network（GIN）作为对图的encoder方法。

整体方法的流程图如下所示：

实验部分，该模型在不同的图上进行与训练，其中与训练所使用的数据集如下，

在下游任务的实验中，尝试了不同对比学习策略（E2E，MoCo）以及不同的微调策略，实验结果如下，

这篇文章提出的基于对比学习的图预训练模型可以有效的建模和迁移图中的结构特征从而达到预训练的目的，对比其他的从头开始学习的监督学习模型，该模型也可以获得相当的测试表现。

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 – KDD2020 | 使用图对比编码的图神经网络预训练模型相关推荐

GCC：使用图对比编码的图神经网络预训练模型 KDD2020
论文链接:https://arxiv.org/abs/2006.09963 论文来源:KDD 2020 摘要图表示学习已经成为解决现实问题的一种强大的技术.节点分类.相似度搜索.图分类和链接预测等各 ...
论文浅尝 - IJCAI2020 | KGNN：基于知识图谱的图神经网络预测药物与药物相互作用...
转载公众号 | AI TIME 论道药物间相互作用(DDI)预测是药理学和临床应用中一个具有挑战性的问题,在临床试验期间,有效识别潜在的DDI对患者和社会至关重要.现有的大多数方法采用基于AI的计 ...
论文浅尝 | 基于常识知识图谱感知和图注意力机制的对话生成
OpenKG 祝各位读者中秋快乐! 链接:http://coai.cs.tsinghua.edu.cn/hml/media/files/2018_commonsense_ZhouHao_3_TYVQ7 ...
论文浅尝 - KDD2020 | 真实世界超图的结构模式和生成模型
论文笔记整理:毕祯,浙江大学硕士,研究方向:知识图谱.自然语言处理. 链接:https://arxiv.org/abs/2006.07060 动机图已被用作对人或物体之间的成对关系建模的强大工具.而 ...
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
论文笔记整理:吴锐,东南大学计算机学院硕士. 来源:ICLR 2020 链接:https://arxiv.org/pdf/1911.03082.pdf 动机目前针对于GCN的研究大多数都关注在学习无 ...
论文浅尝 - SWJ | 基于知识图谱和注意力图卷积神经网络的可解释零样本学习
论文题目:Explainable Zero-shot Learning via Attentive Graph Convolutional Network and Knowledge Graphs 本 ...
论文浅尝 | MulDE：面向低维知识图嵌入的多教师知识蒸馏
笔记整理:朱渝珊,浙江大学在读博士,研究方向为快速知识图谱的表示学习,多模态知识图谱. Motivation 为了更高的精度,现有的KGE方法都会采用较高的embedding维度,但是高维KGE需要巨 ...
论文浅尝 | 常识问答中的忠诚知识图解释
笔记整理:邹铭辉,天津大学硕士,研究方向为知识图谱链接:https://aclanthology.org/2022.emnlp-main.743 动机知识图谱通常被用作常识问答的信息来源,同时也可 ...
论文浅尝 - ACL2020 | 利用常识知识图对会话流进行显式建模
笔记整理 | 韩振峰,天津大学硕士链接:https://arxiv.org/pdf/1911.02707.pdf 动机人类对话自然地围绕相关概念发展,并分散到多跳概念.本文提出了一种新的会话生成模 ...

论文浅尝 – KDD2020 | 使用图对比编码的图神经网络预训练模型

论文浅尝 – KDD2020 | 使用图对比编码的图神经网络预训练模型相关推荐

最新文章

热门文章