作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

本文介绍基于Randomly Perturb互信息最大化的图谱预训练模型GraphCL（NIPS 2020），介绍模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：GraphCL

一、背景知识

图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模型对未标记图谱数据进行预训练是减少标记工作的一种有效方法，然后将预训练学习到的模型可用在只有少量标签图谱数据的下游任务。

大规模图谱预训练： 大规模知识图谱预训练方案都需要遵守以下几个套路：首先需要进行子图采样，使用子图进行模型训练；其次采用自监督学习模式，Mask图中的节点或边然后进行训练；计算Loss时需要进行负采样，图规模大无法基于全部负样例。

对比学习 VS 生成式学习：请参考上一篇有详细解释,【知识图谱系列】清华大学基于对比学习的图谱预训练模型。

二、GraphCL模型

GraphCL是一个基于对比学习的自监督图谱预训练模型，GraphCL模型对一个节点得到两个随机扰动的L-hop的Subgraph，通过最大化两个Subgraph之间的相似度来进行自监督学习。关注以下三个问题。

问题1： A Stochastic Perturbation，如何获得一个节点两个L-Hop的子图？对个一个节点完整的L-Hop Subgraph，本文通过以概率p随机丢边的方式来生成不同的子图结构。

问题2： A GNN based Encoder，使用何种图神经网络对两个L-Hop Subgraph进行表征？简单的GCN模型（Hamiltonet al. 2017），汇聚函数使用mean-pooling propagation rule，但对于Transductive和Inductive Learning会不一样。Transductive Learning时汇聚公式如下：

Inductive Learning时汇聚公式如下：

问题3： A Contrastive Loss Function，损失函数如何定义？首先对两个L-Hop Subgraph相似度计算使用的是余弦相似度，损失函数是Based on a normalized temperature-scaled cross entropy，如下公式所示，其中1_([u≠v])指标函数表示当u≠v时为1，反之为0，τ是一个temperature parameter。

三、GraphCL模型运行步骤

对一个采样的Mini-BatchB，GraphCL模型执行步骤如下所示：
1、对于B中的节点u，定义(X_u,A_u)是节点u的L跳子图，包含从u到L跳内所有节点和边及其对应的特征信息；

2、按照之前介绍的扰动策略得到节点u的两个扰动的L-Hop子图t_1,t_2，如下公示所示：

3、使用GraphEncoder f在t_1,t_2上，如下公式所示：

4、使用如下的Loss Function来训练更新Graph Encoder f的模型参数

5、GraphCL模型结构图如下所示：

三、结论

结论：在Transductive Learning和Inductive Learning两个方面，都证明GraphCL模型在许多节点分类基准上显著优于最先进的无监督学习。

四、往期精彩

【知识图谱系列】Over-Smoothing 2020综述

【知识图谱系列】基于生成式的知识图谱预训练模型

【知识图谱系列】基于2D卷积的知识图谱嵌入

【知识图谱系列】基于实数或复数空间的知识图谱嵌入

【知识图谱系列】自适应深度和广度图神经网络模型

【知识图谱系列】知识图谱多跳推理之强化学习

【知识图谱系列】知识图谱的神经符号逻辑推理

【知识图谱系列】动态时序知识图谱EvolveGCN

【知识图谱系列】多关系神经网络CompGCN

【知识图谱系列】探索DeepGNN中Over-Smoothing问题

【知识图谱系列】知识图谱表示学习综述 | 近30篇优秀论文串讲

【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读

【面经系列】八位硕博大佬的字节之旅

【机器学习系列】机器学习中的两大学派

各大AI研究院共35场NLP算法岗面经奉上

干货 | Attention注意力机制超全综述

干货 | NLP中的十个预训练模型

干货|一文弄懂机器学习中偏差和方差

FastText原理和文本分类实战，看这一篇就够了

Transformer模型细节理解及Tensorflow实现

GPT,GPT2,Bert,Transformer-XL,XLNet论文阅读速递

机器学习算法篇：最大似然估计证明最小二乘法合理性

Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码

汇报完整版ppt可通过关注公众号后回复关键词：GraphCL 来获得，有用就点个赞呗

【知识图谱系列】基于Randomly Perturb的图谱预训练模型GraphCL相关推荐

多模态语义检索 | 基于 MetaSpore 快速部署 HuggingFace 预训练模型
首先,附上 Github 链接MetaSpore:https://github.com/meta-soul/MetaSpore,可搜索公众号元灵数智,在底部菜单了解我们 - 用户交流获取官方技术交流群 ...
PERT：一种基于乱序语言模型的预训练模型
写在前面大家好,我是刘聪NLP. 今天分享给大家一篇哈工大讯飞联合实验室的论文,一种基于乱序语言模型的预训练模型-PERT,全名<PERT: PRE-TRAINING BERT WITH PE ...
知识图谱顶会论文(ACL-2022) PKGC：预训练模型是否有利于KGC？可靠的评估和合理的方法
PKGC:预训练模型是否有利于KGC?可靠的评估和合理的方法论文标题: Do Pre-trained Models Benefit Knowledge Graph Completion? A Rel ...
基于动态提前退出的预训练模型推理加速简介
©PaperWeekly 原创 · 作者 | 李磊单位 | 北京大学硕士生研究方向 | 自然语言处理随着如 BERT.RoBERTa 等预训练模型在一众自然语言处理任务上取得了出色的表现,如何在 ...
【论文精度】CodeBERT——基于自然语言和编程语言的预训练模型
CodeBERT 论文地址:https://arxiv.org/abs/2002.08155 Abstract 提出了一种用于编程语言(PL)和自然语言(NL)的双模态预训练模型CodeBERT, ...
基于Mindspore2.0的GPT2预训练模型迁移教程
摘要: 这篇文章主要目的是为了让大家能够清楚如何用MindSpore2.0来进行模型的迁移. 本文分享自华为云社区<MindNLP-基于Mindspore2.0的GPT2预训练模型迁移教程> ...
OpenAI打破文本和图像次元壁，提出基于对比学习的多模态预训练模型CLIP
OpenAI 打破了自然语言与视觉的次元壁,推出了一个连接文本与图像的神经网络模型CLIP. 相关资料 CLIP原论文:Radford et al. Learning transferable vis ...
2.特定领域知识图谱融合方案：文本匹配算法之预训练Simbert、ERNIE-Gram单塔模型等诸多模型【三】
特定领域知识图谱融合方案:文本匹配算法之预训练模型SimBert.ERNIE-Gram 文本匹配任务在自然语言处理中是非常重要的基础任务之一,一般研究两段文本之间的关系.有很多应用场景:如信息检索.问 ...
自然语言处理NLP——ERNIE-M：基于回译机制的“预训练-微调”多语言模型
目录系列文章目录一.背景介绍 1.多语言任务 1.1 多语言任务定义 1.2 多语言任务难题 2.多语言模型 2.1 多语言模型定义与原理 2.2 多语言模型困难 3.论文简介 3.1 背景与开发 ...
23个系列分类网络，10万分类预训练模型，这是飞桨PaddleClas百宝箱
如何训练出优秀的图像分类模型?飞桨图像分类套件 PaddleClas 来助力. 今天咱们来聊聊计算机视觉领域最核心的技术之一--图像分类.顾名思义图像分类是指根据图像信息把不同类别的图像自动区分开来, ...

【知识图谱系列】基于Randomly Perturb的图谱预训练模型GraphCL