本文收录于ICLR2020，作者来自腾讯人工智能实验室和清华大学。当前GCN的发展两个主要问题是过拟合以及过平滑，过拟合削弱了对小数据集的泛化能力，而过平滑则随着网络深度的增加将输出表示从输入特征中分离出来，这极大的阻碍了模型的训练。本文为了解决上述两个问题提出了DropEdge模型，该模型在每个训练周期随机的从输入图中移除一定数量的边，从而达到提高模型性能的目的。此外，作者还从理论上证明了DropEdge既可以降低过平滑的收敛速度，又可以减少由过平滑引起的信息损失，并且DropEdge可以和许多GNN模型配合以增强其性能，例如GCN、ResGCN、GraphSAGE和JKNet。大量的数据表明该模型的有效性。源码在这

INTRODUCTION

GCN当前已经是图表示学习邻域的重要工具，其主要思想就是利用消息传递机制聚合其本身及其邻域的特征，从而得到好的节点表示。当前阻碍GCN发展的两个因素就是过平滑和过拟合现象，过拟合来自于我们利用一个参数模型来拟合一个训练数据有限的分布的情况，我们学习的模型很好地拟合了训练数据，但对测试数据的泛化很差。过平滑则是GCN无法避免的一个现象，随着GCN层数的增加，每个节点都聚合了其多跳的信息，此时所有节点的表示都将收敛到一个驻点，最终得到的节点表示与我们的输入特征无关。

本文提出的方法DropEdge可以很好的解决上述两个问题，具体来说：DropEdge在每次训练中随机去除输入图的固定比例的边，通过随机的改变邻接矩阵来增强模型的鲁棒性。将DropEdge应用于GCN主要有以下两个好处：

DropEdge可以看作是一

图神经网络（十五）DROPEDGE: TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION相关推荐

《 ROP EDGE : TOWARDS DEEP GRAPH CONVOLU - TIONAL NETWORKS ON NODE CLASSIFICATION》
摘要过拟合和过度平滑是发展深度图卷积网络进行节点分类(Node classification)的两个主要障碍.特别是过拟合会削弱小数据集的泛化能力,而过平滑会随着网络深度的增加而将输出表示从输入特征 ...
【论文解读 ICLR 2020 | DropEdge】TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION
论文题目:DROPEDGE: TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION 论文来源:ICLR 2020 论文链接 ...
Datawhale组队学习-图神经网络（五）
Datawhale组队学习-图神经网络(五) 此内容出自Cluster-GCN的论文:Cluster-GCN: An Efficient Algorithm for Training Deep and ...
GCN实战深入浅出图神经网络第五章：基于Cora数据集的GCN节点分类代码分析
GCN实战深入浅出图神经网络第五章:基于Cora数据集的GCN节点分类代码分析文章目录 GCN实战深入浅出图神经网络第五章:基于Cora数据集的GCN节点分类代码分析 SetUp,库声明数据准 ...
图神经网络（五）：GAT
文章目录一.摘要二.背景介绍三.GAT 四.总结五.附录一.摘要我们提出了图注意网络(GAT),一种在图结构数据上运行的新型神经网络架构,利用掩蔽的自我注意层来解决基于图形卷积或其近似的先 ...
【论文整理】基于图神经网络的社交推荐模型整理Graph Neural Networks for Recommender Systems: Challenges, Methods, and Direct
社交推荐模型发展历程图形构造在具有社会意识的推荐系统中,用户的最终行为取决于朋友的社会影响和他/她自己的偏好.社交推荐面临的主要挑战之一是如何构建社交图来捕捉朋友的社交影响.一般来说,社交网络中的 ...
QCustomPlot之瀑布图（十五）
实现原理实时设置QCPColorMap颜色图的大小setSize以及映射到轴的范围setRange,并且通过setCell设置新的颜色值 void MainWindow::setupWaterfal ...
ThreeJS-环境贴图（十五）
素材: 使用球形几何体 const cubeGeometry = new THREE.SphereBufferGeometry(1, 100, 100); 使用立方体材质 let cubeTextur ...
（二十五）【NIPS 2017】Prototypical Networks for Few-shot Learning
完全参考博文用来记录和学习 Introduction 原型网络的思路非常简单:对于分类问题,原型网络将其看做在语义空间中寻找每一类的原型中心. 原型中心: 针对Few-shot的任务定义,原型网络训 ...

图神经网络（十五）DROPEDGE: TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION

INTRODUCTION

图神经网络（十五）DROPEDGE: TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION相关推荐

最新文章

热门文章