作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

GCNII (ICML 2020) 分享，GCNII全称：Graph Convolutional Networks via Initial residual and Identity Mapping

GCNII汇报ppt版可通过关注公众号【AI机器学习与知识图谱】，回复关键词：GCNII 来获得，供学习者使用！可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！

一、Motivation

在计算机视觉中，模型CNN随着其层次加深可以学习到更深层次的特征信息，叠加64层或128层是十分正常的现象，且能较浅层取得更优的效果。

图卷积神经网络GCNs是一种针对图结构数据的深度学习方法，但目前大多数的GCN模型都是浅层的，如GCN，GAT模型都是在2层时取得最优效果，随着加深模型效果就会大幅度下降，经研究GCN随着模型层次加深会出现Over-Smoothing问题，Over-Smoothing既相邻的节点随着网络变深就会越来越相似，最后学习到的nodeembedding便无法区分。

上图中，随着模型层次加深，在Cora数据上Test Accuracy逐渐向下降，Quantitative Metric for Smoothness给Over-smoothness提出一个定量的指标 $SVM_G$ ，如下公式所示：

$SVM_G$ 衡量了图中任意两个节点之间的欧氏距离之和， $SVM_G$ 越小表示图学习时Over-Smoothing越严重当，当 $SVM_G=0$ 时，图中所有节点完全相同，也可以从图中看出随着层次的加深， $SVM_G$ 的值越来越小。

二、Method

GCNII为了解决GCN在深层时出现的Over-Smoothing问题，提出了Initial Residual和Identit Mapping两个简单技巧，成功解决了GCN深层时的Over-Smoothing问题。

1、Initial residual

残差一直是解决Over-Smoothing的最常用的技巧之一，传统GCN加residualconnection用公式表示为：

GCNII Initial Residual不是从前一层获取信息，而是从初始层进行残差连接，并且设置了获取的权重。这里初始层initial representation不是原始输入feature，而是由输入feature经过线性变换后得到，如下公式所示：

但Initial Residual不是GCNII首次提出，而是ICLR 2019模型APPNP中提出。

2、Identity Mapping

仅仅使用残差只能缓解Over-Smoothing问题，因此GCNII借鉴了ResNet的思想有了Identity Mapping，Initial Residual的想法是在当前层representation和初始层representation之间进行权重选择，而Identity Mapping是在参数W和单位矩阵I之间设置权重选择，如下公式所示：

从上面公式看出，前半部分是Initialresidual，后半部分是IdentityMapping，其中α和β是超参,GCNII论文中也给出了为什么IdentityMapping可以起到缓解DeepGNN出现Over-Smoothing问题，总结来说：IdentityMapping可以起到加快模型的收敛速度，减少有效信息的损失。

三、Conclusion

1、实验数据

实验中Cora, Citeseer, Pubmed三个引文数据，是同质图数据，常用于Transductive Learning类任务,三种数据都由以下八个文件组成，存储格式类似：

2、实验结果

实验结果在Cora, citeseer, pubmed三个数据上都进行DeepGNN测试，测试结果可以看出随着网络层级的加深，模型不仅没有像传统GNN出现Over-Smoothing而效果下降，反而模型效果随着深度增加而不断提升，解决了传统DeepGNN存在的Over-Smoothing问题。

GCNII汇报ppt版可通过关注公众号【AI机器学习与知识图谱】，回复关键词：GCNII 来获得，供学习者使用！有用的话就点个赞呗！

【知识图谱系列】GCNII模型探索DeepGNN的Over-Smoothing问题相关推荐

【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读
作者:CHEONG 公众号:AI机器学习与知识图谱研究方向:自然语言处理与知识图谱本文分享一篇动态知识图谱表示学习综述汇报ppt,分享10篇优秀论文,简单介绍其核心思想,完整汇报ppt获取请关注公 ...
【知识图谱系列】基于互信息最大化的图谱预训练模型DGI InfoGraph
作者:CHEONG 公众号:AI机器学习与知识图谱研究方向:自然语言处理与知识图谱本文介绍两篇基于互信息最大化的图谱预训练模型DGI(ICLR 2019)和InfoGraph(ICLR 2020) ...
论文浅尝 - CIKM2021 | DT-GCN: 一种双曲空间中的数据类型感知的知识图谱表示学习模型...
论文作者:申雨鑫,天津大学硕士发表会议:CIKM 2021 链接:https://dl.acm.org/doi/pdf/10.1145/3459637.3482421 动机知识图谱表示学习旨在将实 ...
“知识图谱+”系列：知识图谱+强化学习
泽宇个人一直认为强化学习是建模动态系统最好的方法之一,通过与环境的不断交互,在动作选择和状态更新的动态过程中逐渐达到优化目标.因此,本期泽宇将从知识图谱结合强化学习的角度介绍几个不同的研究方向的内容, ...
“知识图谱+”系列：知识图谱+图神经网络
最近有很多朋友联系泽宇说想了解一些知识图谱和图神经网络(GNN)结合的研究.那泽宇当然要满足朋友们的要求啊,本期泽宇从知识图谱的几个不同研究方向总结了结合GNN的经典研究,也和大家一起分享.所有内容是 ...
斯坦福大学CS520知识图谱系列课程学习笔记：第三讲高级的知识图谱是什么样的
这一讲的主题是:一些高级的知识图谱是什么样的.三位讲者分别从他们各自带领的团队构建出来的高质量的知识图谱实例出发,从中我们可以认识到一些大佬们构建的优秀的知识图谱产品有哪些特点和优势,从中对我们自己构 ...
融合实体描述与路径信息的知识图谱表示学习模型
2012年,谷歌公司正式提出知识图谱的概念.作为人工智能应用的关键技术,知识图谱具有清晰的三元组结构,在一个三元组中包含头实体.关系和尾实体,令 GG 表示知识图谱,有 G∈(E,R,S)G∈(E,R ...
斯坦福大学CS520知识图谱系列课程学习笔记：第一讲什么是知识图谱
随着知识图谱在人工智能各个领域的广泛使用,知识图谱受到越来越多AI研究人员的关注和学习,已经成为人工智能迈向认知系统的关键技术之一.之前,斯坦福大学的面向计算机视觉的CS231n和面向自然语言处理的C ...
知识图谱在信息检索中的应用_如何使用知识图谱增强信息检索模型？
©PaperWeekly 原创 · 作者|刘布楼学校|清华大学博士生研究方向|信息检索传统的信息检索模型中,文本通常使用词袋模型表示.该方法有两个较为明显的缺陷:1)只能通过 TF-IDF 等相 ...

【知识图谱系列】GCNII模型探索DeepGNN的Over-Smoothing问题