ICLR 2020|PairNorm: Tackling Oversmoothing in GNNs

众所周知，GNNs的表现随着层数的增加而有所下降，这在一定程度上归结于over-smoothing这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化over-smoothing这一问题，并提出解决这一问题的方法。

ICLR专题

原文：PairNorm: Tackling Oversmoothing in GNNs

众所周知，GNNs的表现随着层数的增加而有所下降，这在一定程度上归结于over-smoothing这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化over-smoothing这一问题，并提出解决这一问题的方法。在仔细地研究过图卷积这一操作之后，作者提出了一种新奇的normalization layer---PairNorm，来防止节点的表示变得过于相似。除此之外，PairNorm具有高效且易于实现的特点，不需要对于整个模型架构做太多的改变，也不需要增加额外的参数，广泛地适用于所有的GNNs。

文章的贡献主要如下：

（1）提出一种normalization的方法来解决GNNs over-smoothing的问题；这一想法的关键点在于控制全部的两两节点间的特征向量的距离和为一个常数，这样可以使得距离较远的节点的特征向量的距离也比较远；

（2）高效并具有广泛应用的价值：直观来看（1）提出的方法，其实现过程像是需要对于每两个点之间的特征向量均计算距离，而后将其加入loss项中进行优化，但这一操作的复杂度为O(n2)，这是难以接受的。作者基于对于卷积操作前后的节点特征向量关系的理论分析，提出一种center-scale的方法，来使得这一过程变得高效，不需要增加额外的参数，并容易实现，从而具有了应用的价值；

（3）分析怎样的问题适合更加深层的GNNs：在现实数据集上的实验证明虽然PairNorm的方法确实可以处理over-smoothing这一问题，但GNNs的表现并不能随着层数的增加而上升，我们仍然无法从深层的GNNs中获益，据此作者分析了什么怎样的网络适合深层的GNNs，并构造数据验证了这一结论。

此外，作者提出了一种理解over-smoothing的视角，并从节点之间的特征向量的距离和一个节点的特征向量之间的差异来量化over-smoothing这一问题，而作者也正是从这一角度出发，提出了PairNorm的方法。同时作者还给出了节点特征向量经过图卷积这一操作之后所具有的性质---GRLS问题的近似解。

Figure 1：Graph-Regularized Least Squares（GRLS）问题

相关阅读：

ICLR 2020 | 预训练图神经网络模型

ICLR 2020 | 探索新的图表征学习思路

ICLR 2020 | NLP预训练模型的全新范式：对比学习

ICLR 2020 | 互信息视角下的表征学习

ICLR 2020 | 反事实因果理论如何帮助深度学习？

ICLR 2020 | 浅谈GNN：能力与局限

ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

ICLR 2020 | 基于谱方法的高效多级图嵌入框架

ICLR 2020 满分论文解读| 一种镜像生成式机器翻译模型：MGNMT

ICLR 2020|PairNorm: Tackling Oversmoothing in GNNs相关推荐

顶会速递 | ICLR 2020录用论文全集
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿,共687篇论文被接收,其中48篇orals,108篇spotlights,53 ...
顶会速递 | ICLR 2020录用论文之图神经网络篇
抽空为大家整理了人工智能顶会ICLR 2020录用的图神经网络相关的最新论文,大牛论文非常多,感兴趣的朋友们赶紧Mark读起来吧! Composition-based Multi-Relational ...
论文浅尝 | ICLR 2020 - 一文全览知识图谱研究
本文转载自公众号: AI科技评论作者 | Michael Galkin 编译 | 贾伟 ICLR 2020 正在进行,但总结笔记却相继出炉.我们曾对 ICLR 2020 上的趋势进行介绍,本文考虑的 ...
【论文解读 ICLR 2020 | DropEdge】TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION
论文题目:DROPEDGE: TOWARDS DEEP GRAPH CONVOLU-TIONAL NETWORKS ON NODE CLASSIFICATION 论文来源:ICLR 2020 论文链接 ...
国际表征学习会议ICLR 2020共计198篇开源代码论文目录
国际学习表征会议 ICLR 2020 (International Conference on Learning Representation) 将于明年4月26日于埃塞俄比亚首都的斯亚贝巴举行.此次 ...
ICLR 2020被爆半数审稿人无相关领域经验，同行评审制度在垮塌？
作者 | 若名出品 | AI科技大本营(ID:rgznai100) 根据维基百科,同行评议(peer review),是指由一个或多个具有与作品生产者具有相似能力的人员(同行)对作品进行的评估活动. ...
ICLR 2020论文投稿2600篇，GNN、BERT、Transformer领跑热门研究方向
(图片由AI科技大本营付费下载自视觉中国) 出品 | AI科技大本营(ID:rgznai100) 2019 年 4,ICLR 2020 论文征集活动开始,截止 9 月 25 日,大会共收到近 2600 ...
ICLR 2020 | 如何解决图像分类中的类别不均衡问题？不妨试试分开学习表征和分类器...
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转载自:机器之心在图像分类任务中类别不均衡问题一直是个难点,在 ...
【论文】ICLR 2020 九篇满分论文！！！
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要11分钟跟随小博主,每天进步一丢丢来自:深度学习技术前沿从反传的自动微分机制,到不平行语料的翻译模型,ICLR 2020 这 9 篇满分论 ...
高产来自“长期主义”：智源学者朱军谈ICLR 2020 全球发文第二的经验法则
在刚刚闭幕的人工智能顶级会议 ICLR 2020(04.26~05.01)上,华人学者的崛起令世人眼前一亮:华人作者参与论文数占比近60%.其中,智源学者.清华大学计算机系朱军教授团队发表了7篇论文, ...

ICLR 2020|PairNorm: Tackling Oversmoothing in GNNs

ICLR 2020|PairNorm: Tackling Oversmoothing in GNNs相关推荐

最新文章

热门文章