对图神经网络的过平滑问题的一点粗浅见解（真·很肤浅的看法）

针对图信号的低通滤波特性：

不好意思放错了，是这个：

（请忽略我寒酸的草稿纸和顺时针90°的格式…貌似CSDN的编辑器没有能旋转的功能呢）
不影响不影响，截图然后旋转就行啦（涩图都给你们了，别在意这些细节~）

发现这个图信号在和其特征矩阵做相似性度量的内积。而在图谱领域里，节点的图信号与特征向量做内积其结果就是图的傅里叶变换，也由此有图的拉普拉斯矩阵： L x = V λ V T x = < x ⋅ v > v = x ^ v Lx = V\lambda V^Tx=<x·v>v=\hat xv Lx=VλVTx=<x⋅v>v=x^v
后一项就是对图的傅里叶变换做逆变换，所以输出的图信号可以写成若干以傅里叶变换基向量(没错，ko no 特征向量 da)和对应的若干图信号的加权多项式： x = ∑ k = 1 N x ^ k v k x = \sum_{k=1}^N \hat x_k v_k x=k=1∑Nx^kvk

发现问题了吧！叠加过多的GNN_layer会导致多项式最后趋向于图中的某一个节点的特征（一般是选择的第一个节点的特征，所以上面的特征值矩阵 d i a g = [ 1 , 0 , 0 , . . . , 0 ] diag=[1,0,0,...,0] diag=[1,0,0,...,0]）
所以不能叠加很多GNN？

（目力一票大佬们正在赶来锤我的路上，我躺好了）

对图神经网络的过平滑问题的一点粗浅见解（真·很肤浅的看法）相关推荐

图神经网络的过平滑问题和图残差网络
图神经网络的过平滑问题和图残差网络在GNN的深度堆叠中存在两大问题:梯度消失和过平滑.梯度消失是经典神经网络中就会出现的问题,也就是当网络层数堆叠地过多,前面的层梯度过小难以更新:另一个问题就是之前 ...
腾讯林衍凯：图神经网络，考虑「拓扑信息」会怎样？
‍‍ 本文整理自林衍凯在「2021北京智源大会 · 青源学术年会」上的报告<考虑拓扑信息的图神经网络学习>. 关注[智源社区]公众号后台回复[2021智源大会报告]获取<2021北 ...
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
Graph Neural Networks: A Review of Methods and Applications 图神经网络:方法与应用综述 Jie Zhou , Ganqu Cui , Zhe ...
《图神经网络综述》Graph Neural Networks: A Review of Methods and Applications
作者:清华大学 zhoujie 等 *表示相同的贡献.周洁,张正艳,程阳,刘志远(通讯作者),孙茂松,清华大学计算机科学与技术学院,北京100084.电子邮件:fzhoujie18, zhangzhe ...
【GNN报告】考虑拓扑信息的图神经网络学习
1.简介打算之后在本博客里存放BAAI里面邀请的所有演讲者有关GNN的报告学习(本人筛选的都是自己感兴趣的或者感觉还不错的) 2.报告腾讯林衍凯:图神经网络,考虑「拓扑信息」会怎样? [专栏:前沿 ...
性能超越图神经网络，将标签传递和简单模型结合实现SOTA
译者 | 刘畅出品 | AI科技大本营头图 | CSDN付费下载自视觉中国图神经网络(GNNs)是图学习中一种主流的技术.然而,对于GNN为什么在实际使用中很成功以及它们是否是优异性能所必需的技 ...
关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、深度学习、语法分析、文本处理...
NLP近几年非常火,且发展特别快.像BERT.GPT-3.图神经网络.知识图谱等技术应运而生. 我们正处在信息爆炸的时代.面对每天铺天盖地的网络资源和论文.很多时候我们面临的问题并不是缺资源,而是找准 ...
图神经网络越深，表现就一定越好吗？
编译 | 陈彩娴编辑 | 丛末转自 | AI科技评论数十层甚至数百层神经网络的应用,是深度学习的重要标志之一.但现实情况却远非如此:比如今年被视作机器学习领域最火热的研究方向之一--图神经网络 ...
为什么要进行图学习？谈一谈逆势而上的图神经网络
点击上方蓝字关注我们问一问近几年来逆势而上的技术有什么?相信你一定会说出来一个:图神经网络. 图神经网络将会在人工智能的各个领域起着非常重要的作用,虽然目前还没有完全成为各大顶会的焦点,但不可否认 ...

对图神经网络的过平滑问题的一点粗浅见解（真·很肤浅的看法）

对图神经网络的过平滑问题的一点粗浅见解（真·很肤浅的看法）相关推荐

最新文章

热门文章