论文浅尝 | GraphSAINT—基于图采样的归纳学习方法
论文笔记整理：杨海宏，浙江大学博士生，研究方向为开放世界下的多语言知识问答。
1. 简介
受显存的因素限制，应用图神经网络于大规模图学习任务上面临“邻居爆炸（Neighbor Explosion）”问题，导致网络深度局限于少数几层（否则指数爆炸），计算量过大等问题。前人工作提出了众多基于采样邻居节点的方法，并利用多类型的聚合函数提高魔性的表达能力。
这篇文章提出一种全新的采样方法，以改进图卷积网络（GCN）的训练方式，从而提高模型的训练效率和准确率。一言以蔽之，这篇文章从原图中采样子图，在结果子图上使用GCN学习。
图1：GraphSAINT 训练方案。来源：原论文
GraphSAINT 的算法流程如下图所示。其中，变量SAMPLE主要有两点要求。（1）相互影响较大的节点应在同一子图中采样。（2）每条边的采样概率均不可忽略。对于要求（1），理想的SAMPLE要求衡量节点连接的联合信息以及属性。但这种算法可能具有很高的复杂度，所以，为简单起见，我们从图连接性角度定义“影响力”，并设计基于拓扑的采样器。要求（2）可使神经网络能够探索整个特征和标签空间。
2. 子图采样
作者认为：保留图连通性特征的采样器几乎不可避免地会在小批量估计中引入偏差。因此作者引入自行设计的归一化技术，以消除偏差。其中的重点是估计每个节点、边、子图的采样概率，
l 节点的采样概率分布为：
l 边的采样概率分布为：
l 子图的采样概率分布为：
，其中
3. 实验结果
实验部分作者展示了这篇文章提出的子图采样方式可以灵活地集成到图神经网络模型中，并取得超越前人的表现。这极大地刷新了学界对于图神经网络使用方式的认知，是一篇值得深入研究的论文。
OpenKG
开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文，进入 OpenKG 博客。
论文浅尝 | GraphSAINT—基于图采样的归纳学习方法相关推荐
- 论文浅尝 - ICML2020 | 基于子图推理的归纳式关系预测
论文笔记整理:陈名杨,浙江大学在读博士生,主要研究方向为知识图谱表示学习. 论文来源:ICML 2020 Introduction 当前在知识图谱上(KnowledgeGraph,KG)进行关系预测的 ...
- 论文浅尝 | GraphIE:基于图的信息抽取框架
笔记整理:吕欣泽,南京大学计算机科学与技术系,硕士研究生. 论文连接:https://arxiv.org/pdf/1810.13083.pdf 发表会议:NAACL 2019 摘要 大多数现代信息提取 ...
- 论文浅尝 - IJCAI2022 | 基于自适应虚词增强的小样本逆关系分类
论文作者:窦春柳,天津大学,研究方向:知识图谱 论文链接:http://arxiv.org/abs/2204.12111 代码地址:https://github.com/DOU123321/FAEA- ...
- 论文浅尝-综述 | 基于强化学习的知识图谱综述
转载公众号 | 人工智能前沿讲习 论文来源:https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.20211264 摘要:知识图谱是一种用图结构建模事物及事物 ...
- 论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
论文笔记整理:吴锐,东南大学计算机学院硕士. 来源:ICLR 2020 链接:https://arxiv.org/pdf/1911.03082.pdf 动机 目前针对于GCN的研究大多数都关注在学习无 ...
- 论文浅尝 - AAAI2021 | 基于对比学习的三元组生成式抽取方法
作者 | 叶宏彬,浙江大学博士研究生,研究方向:知识图谱.自然语言处理 接收会议 | AAAI2021 论文链接 | https://arxiv.org/pdf/2009.06207.pdf 摘要 在 ...
- 论文浅尝 - ACL2022 | 基于多语言语义解耦表示的跨语言迁移方法实现多语言阅读理解...
论文作者:吴林娟,天津大学,研究方向为自然语言理解 论文链接:http://arxiv.org/abs/2204.00996 代码地址:https://github.com/wulinjuan/SSD ...
- 论文浅尝 - ICML2020 | 对比图神经网络解释器
论文笔记整理:方尹,浙江大学在读博士,研究方向:图表示学习. Contrastive Graph Neural Network Explanation 动机与贡献 本文主要关注图神经网络的解释性问题, ...
- 论文浅尝 - CVPR2020 | 基于网格特征的可视问答系统
论文笔记整理:李爽,天津大学. 链接:https://arxiv.org/pdf/2001.03615v1.pdf 动机 随着"自下而上"注意力的普及,基于边界框(或区域)的视觉特 ...
最新文章
- 解决Kali LinuxVI编辑器无法复制问题
- Cryptohack-RSA writeups
- JavaWeb(十)——jetty服务器、创建jsp项目、servlet生命周期及url的匹配规则
- python怎么玩pdf_如何使用Python玩转PDF各种骚操作？
- HttpCLient工具使用讲解
- 【英语学习】【Level 08】U01 Let's Read L2 Of fairies and princesses
- python沙箱逃逸小结
- 畅购商城项目，面试问答，项目详解及全部代码
- 算术平方根计算机保留根号,根号计算器
- 微信最新的系统默认emoji表情集
- 计算机键盘上的tab键是什么键,键盘Tab键有什么作用?
- flink不等于符号问题
- 发起http请求raw格式
- window.open() 被拦截的问题解决
- redis数据库创建
- tui-editor富文本编辑器组件
- 2020.8.28丨蛋白质组产品介绍、方案设计和案例解析
- Taro 小程序开发大型实战（三）：实现微信和支付宝多端登录
- [LK光流法，disflow using Dense Inverse Search, VariationalRefinement变分优化 原理和代码]
- 【CV】Latent diffusion model 扩散模型体验