邻接矩阵对称归一化的作用

邻接矩阵对称归一化的作用是将邻接矩阵进行归一化处理，使得每一行（或每一列）的和都等于1，同时保持矩阵的对称性。这样做的主要目的是为了解决在使用邻接矩阵进行图神经网络训练时出现的两个问题：度数偏差和梯度消失。

度数偏差指的是一些节点的度数较大，而另一些节点的度数较小。在使用未经过归一化的邻接矩阵进行训练时，节点的度数会对模型的训练产生影响，使得度数较大的节点对应的特征在模型中占比较大，而度数较小的节点对应的特征占比较小，这会导致模型的偏差。

梯度消失是指在使用反向传播算法进行训练时，梯度可能会随着层数的增加而变得非常小，导致模型难以更新。对于未归一化的邻接矩阵，梯度消失的问题尤为明显，因为在矩阵中存在一些非常大的元素和非常小的元素，这会导致梯度计算时存在数值不稳定性。

通过对邻接矩阵进行对称归一化，可以有效地解决这两个问题，使得每个节点在模型中的影响力更加均衡，同时减少梯度消失的问题，从而提高模型的性能。

邻接矩阵对称归一化的作用相关推荐

【图基础】dgl实现：求对称归一化的邻接矩阵
在训练图神经网络的时候,经常会遇到求某一个graph上的对称归一化的邻接矩阵问题,本篇文章介绍如何用dgl来求解. 对称归一化邻接矩阵的求解公式: S = D ~ − 1 2 A ~ D ~ − 1 ...
关于对称归一化的拉普拉斯矩阵为何选用度矩阵D的逆平方根
对称归一化的拉普拉斯矩阵的部分推导过程在以下网页已经写得非常清晰了: https://www.sohu.com/a/342634291_651893 但是中间有一部分说道把D拆开成D的平方根这里困扰了 ...
数据处理-scipy.stats.norm函数,归一化的作用
scipy.stats.norm函数可以实现正态分布(也就是高斯分布) pdf --概率密度函数标准形式是: norm.pdf(x, loc, scale)等同于norm.pdf(y) / scal ...
处理数据时不进行归一化会有什么影响？归一化的作用是什么？什么时候需要归一化？有哪些归一化的方法？
归一化化定义:我是这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内.首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛加快. 所谓特征归一化,就 ...
数据归一化的作用--在svm 训练的时候特别有用
主要参考: http://www.zhihu.com/question/20455227 下面来讲一下SVM 的参数的说明吧: cmd = ['-s 1 -t 3 ','-v ',num2str(v) ...
GCN的邻接矩阵归一化为什么能解决梯度消失和梯度爆炸
1. 邻接矩阵归一化在GCN中,我们常对邻接矩阵AAA进行归一化处理,无论是随机游走归一化还是对称归一化,网上的文章都提到了同一点: 度大的节点在其特征表征中将具有较大的值,度小的节点将具有较小的值 ...
机器学习——标准化/归一化的目的、作用和场景
对每个特征进行归一化处理,使得每个特征的取值缩放到0~1之间.这样做有两个好处: 模型训练更高效. 特征前的权重大小可代表该变量对预测结果的贡献度(因为每个特征值本身的范围相同). (一)归一化的作用 ...
图像归一化概念和作用
图像归一化概念图像归一化是指对图像进行了一系列标准的处理变换,使之变换为一固定标准形式的过程,该标准图像称作归一化图像. 图像归一化是利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的 ...
机器学习——标准化/归一化的目的和作用
机器学习--标准化/归一化的目的.作用和场景 (一)归一化的作用在机器学习领域中,不同评价指标(即特征向量中的不同特征就是所述的不同评价指标)往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析 ...

邻接矩阵对称归一化的作用

邻接矩阵对称归一化的作用相关推荐

最新文章

热门文章