论文浅尝 | ICLR 2020 - 图神经网络的预训练策略

论文笔记整理：杨帆，浙江大学计算机学院。

动机

现有的用于图结构的预训练方法要么只关注node-level，导致在图表示空间没有区分度，要么只关注graph-level，导致在节点表示空间没有区分度。一种优质的节点表示应该保证不仅在节点层面有良好的区分度，而且由这些节点表示生成的图的表示在全图层面也有良好的区分度，所以预训练过程应同时考虑到node-level和graph-level。

模型

本文提出的模型主要包括node-level预训练和graph-level预训练两部分，其中node-level预训练包括context prediction和attribute masking两种实现方法。

Node-level pre-training
1. Context prediction

该方法定义了Neighborhood和Context graph两个概念，利用两个GNN分别对每个节点的Neighborhood和Context graph进行编码，然后通过负采样技术，训练一个二分类器判断一个Neighborhood表示和一个Context graph表示是否对应相同的节点，以此聚合周围节点的属性信息和邻近的图结构信息。

Attribute masking

该方法首先随机选取某些节点的属性将其MASK（把原始属性用特殊的标识符替换掉），然后使用GNN对节点编码生成节点表示，最后通过线性模型预测被MASK的属性值。

2. Graph-level pre-training

首先将节点的表示聚合起来得到图的表示，然后在图上进行多个二分类任务的联合训练。

实验

数据集

数据集包括生物和化学两个领域，生物领域的任务是蛋白质功能预测，化学领域的任务是分子属性预测。

实验结果
1. ROC-AUC performance

Negative transfer

加入graph-level预训练后，可以很好地防止Negative transfer（使用预训练效果反而差于不使用预训练的效果）的出现。

c. 收敛性

采用本文中的预训练策略能够有效加快收敛速度。

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 | ICLR 2020 - 图神经网络的预训练策略相关推荐

论文浅尝 | ICLR 2020 - 一文全览知识图谱研究
本文转载自公众号: AI科技评论作者 | Michael Galkin 编译 | 贾伟 ICLR 2020 正在进行,但总结笔记却相继出炉.我们曾对 ICLR 2020 上的趋势进行介绍,本文考虑的 ...
论文浅尝 - ICML2020 | 对比图神经网络解释器
论文笔记整理:方尹,浙江大学在读博士,研究方向:图表示学习. Contrastive Graph Neural Network Explanation 动机与贡献本文主要关注图神经网络的解释性问题, ...
论文浅尝 | 融入知识的弱监督预训练语言模型
论文笔记整理:叶群,浙江大学计算机学院,知识图谱.NLP方向. 会议:ICLR 2020 链接:https://arxiv.org/pdf/1912.09637.pdf Abstract 预训练语言模 ...
论文浅尝 - ICLR 2020 | 用于文本推理的神经模块网络
论文笔记整理:邓淑敏,浙江大学在读博士,研究方向为低资源条件下知识图谱自动化构建关键技术研究. 论文链接:https://openreview.net/pdf?id=SygWvAVFPr Demo链接 ...
论文浅尝 | Multilingual LAMA: 探索多语言预训练语言模型中的知识
笔记整理:谭亦鸣,东南大学博士生来源:EACL'21 链接:https://aclanthology.org/2021.eacl-main.284.pdf 概述本文关注将语言模型(LM)视作一个知 ...
图神经网络GNN预训练技术进展概述
来源:图与推荐本文约2800字,建议阅读5分钟本文为大家推荐四篇有关于GNN预训练的文章. 论文推荐 /introduction/ 机器学习的成功很大程度上取决于数据.但是,高质量的标记数据通常很昂贵 ...
论文浅尝 | GraphSAINT—基于图采样的归纳学习方法
论文笔记整理:杨海宏,浙江大学博士生,研究方向为开放世界下的多语言知识问答. 1. 简介受显存的因素限制,应用图神经网络于大规模图学习任务上面临"邻居爆炸(Neighbor Explosi ...
论文浅尝 | 如何利用外部知识提高预训练模型在阅读理解任务中的性能
论文笔记整理:吴桐桐,东南大学博士生,研究方向为自然语言处理. 链接:https://www.aclweb.org/anthology/P19-1226/ 近年来,机器阅读理解已经逐渐发展为自然语言理 ...
论文浅尝 | 基于知识库的神经网络问题生成方法
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为跨语言知识图谱问答. 来源:NLPCC2018 链接:http://tcci.ccf.org.cn/conference/2018/papers/EV7 ...

论文浅尝 | ICLR 2020 - 图神经网络的预训练策略

论文浅尝 | ICLR 2020 - 图神经网络的预训练策略相关推荐

最新文章

热门文章