拉普拉斯算子

拉普拉斯矩阵是图上的一种拉普拉斯算子，证明见论文Discrete Regularization on Weighted Graphs for Image and Mesh Filtering。
定义：拉普拉斯算子（Laplace Operator）是n维欧几里德空间中的一个二阶微分算子，定义为梯度（▽f）的散度（▽·f）。 Δ f = ∇ 2 f = ∇ ⋅ ∇ f \Delta f=\nabla^{2} f=\nabla \cdot \nabla f Δf=∇2f=∇⋅∇f

连续函数

在二维空间笛卡尔坐标系中，拉普拉斯算子即二阶偏导数求和：
Δ f = ∑ i = 1 n ∂ 2 f ∂ x i 2 \Delta f=\sum_{i=1}^{n} \frac{\partial^{2} f}{\partial x_{i}^{2}} Δf=i=1∑n∂xi2∂2f
三维空间中为对各个分量求二阶偏导再求和：
Δ f = ∂ 2 f ∂ x 2 + ∂ 2 f ∂ y 2 + ∂ 2 f ∂ z 2 \Delta f=\frac{\partial^{2} f}{\partial x^{2}}+\frac{\partial^{2} f}{\partial y^{2}}+\frac{\partial^{2} f}{\partial z^{2}} Δf=∂x2∂2f+∂y2∂2f+∂z2∂2f

离散函数

若在离散空间中，只需要求离散函数的二阶导数求和：
一维条件（一个变量）下：
一阶导数：
∂ f ∂ x = f ′ ( x ) = f ( x + 1 ) − f ( x ) \frac{\partial f}{\partial x}=f^{\prime}(x)=f(x+1)-f(x) ∂x∂f=f′(x)=f(x+1)−f(x)
二阶导数：
∂ 2 f ∂ x 2 = f ′ ′ ( x ) = f ′ ( x + 1 ) − f ′ ( x ) = f ( x + 1 ) + f ( x − 1 ) − 2 f ( x ) \begin{array}{l} \frac{\partial^{2} f}{\partial x^{2}}=f^{\prime \prime}(x)=f^{\prime}(x+1)-f^{\prime}(x) \\ =f(x+1)+f(x-1)-2 f(x) \end{array} ∂x2∂2f=f′′(x)=f′(x+1)−f′(x)=f(x+1)+f(x−1)−2f(x)

二维条件（二个变量，例如下图）下：
一阶导数：
∂ f ∂ x = f ( x + 1 , y ) − f ( x , y ) \frac{\partial f}{\partial x}=f(x+1,y)-f(x,y) ∂x∂f=f(x+1,y)−f(x,y)
∂ f ∂ y = f ( x , y + 1 ) − f ( x , y ) \frac{\partial f}{\partial y}=f(x,y+1)-f(x,y) ∂y∂f=f(x,y+1)−f(x,y)
二阶导数：
∂ 2 f ∂ x 2 = f ( x + 1 ， y ) + f ( x − 1 , y ) − 2 f ( x , y ) \begin{array}{l} \frac{\partial^{2} f}{\partial x^{2}}=f(x+1，y)+f(x-1,y)-2 f(x,y) \end{array} ∂x2∂2f=f(x+1，y)+f(x−1,y)−2f(x,y)
∂ 2 f ∂ y 2 = f ( x ， y + 1 ) + f ( x , y − 1 ) − 2 f ( x , y ) \begin{array}{l} \frac{\partial^{2} f}{\partial y^{2}}=f(x，y+1)+f(x,y-1)-2 f(x,y) \end{array} ∂y2∂2f=f(x，y+1)+f(x,y−1)−2f(x,y)

则拉普拉斯算子可以求得： △ f = ∂ 2 f ∂ x 2 + ∂ 2 f ∂ y 2 = f ( x + 1 , y ) + f ( x − 1 , y ) + f ( x , y − 1 ) + f ( x , y + 1 ) − 4 f ( x , y ) \begin{array}{c} \triangle f=\frac{\partial^{2} f}{\partial x^{2}}+\frac{\partial^{2} f}{\partial y^{2}} \\ =f(x+1, y)+f(x-1, y)+f(x, y-1)+f(x, y+1)-4 f(x, y) \end{array} △f=∂x2∂2f+∂y2∂2f=f(x+1,y)+f(x−1,y)+f(x,y−1)+f(x,y+1)−4f(x,y)

欧式空间内，可以拓展为该点和周围连接点的差值求和：
Δ f i = ∑ ( i , j ) ∈ ε ( f i − f j ) \Delta f_{i}=\sum_{(i, j) \in \varepsilon}\left(f_{i}-f_{j}\right) Δfi=(i,j)∈ε∑(fi−fj)
其中 f = { f 1 , f 2 , ⋯ , f n } f=\{f_1,f_2,\cdots,f_n\} f={f1,f2,⋯,fn},代表n个节点上的信号值。当结点 i i i的每个相连节 j j j点都有一个权重 W i , j W_{i,j} Wi,j的时候可以获得：
Δ f i = ∑ ( i , j ) ∈ ε W i , j ( f i − f j ) \Delta f_{i}=\sum_{(i, j) \in \varepsilon}W_{i,j}\left(f_{i}-f_{j}\right) Δfi=(i,j)∈ε∑Wi,j(fi−fj)
则对于每一个节点：
Δ f i = ∑ ( i , j ) ∈ ε W i , j ( f i − f j ) = ∑ j = 1 n W i , j ( f i − f j ) = D i i f i − ∑ j = 1 n W i , j f j \Delta f_{i}=\sum_{(i, j) \in \varepsilon}W_{i,j}\left(f_{i}-f_{j}\right)\\=\sum_{j=1}^nW_{i,j}\left(f_{i}-f_{j}\right)\\=D_{ii}f_i-\sum_{j=1}^nW_{i,j}f_j Δfi=(i,j)∈ε∑Wi,j(fi−fj)=j=1∑nWi,j(fi−fj)=Diifi−j=1∑nWi,jfj
D i i = ∑ j = 1 n W i , j D_{ii}=\sum_{j=1}^nW_{i,j} Dii=∑j=1nWi,j为度矩阵,对应每条边的权重。
那么对于所有的结点：
Δ f = g θ = ( △ f 1 ⋮ Δ f n ) = ( D 11 f 1 − ∑ j = 1 n W 1 j f j ⋮ D n n f n − ∑ j = 1 n W n j f j ) = ( D 11 ⋱ D n n ) f − W f = D f − W f = L f \begin{aligned} \Delta f=g_{\theta}=\left(\begin{array}{c} \triangle f_{1} \\ \vdots \\ \Delta f_{n} \end{array}\right)=\left(\begin{array}{c} D_{11} f_{1}-\sum_{j=1}^{n} W_{1 j} f_{j} \\ \vdots \\ D_{n n} f_{n}-\sum_{j=1}^{n} W_{n j} f_{j} \end{array}\right) \\ =\left(\begin{array}{ccc} D_{11} & \\ & \ddots \\ {}&{}&D_{n n} \end{array}\right) f-W f=D f-W f=L f \end{aligned} Δf=gθ=⎝⎜⎛△f1⋮Δfn⎠⎟⎞=⎝⎜⎛D11f1−∑j=1nW1jfj⋮Dnnfn−∑j=1nWnjfj⎠⎟⎞=⎝⎛D11⋱Dnn⎠⎞f−Wf=Df−Wf=Lf
其中 L = D − W L=D-W L=D−W, f f f为结点信号值。

拉普拉斯矩阵

下入所示，L为拉普拉斯矩阵(边权设为1)：

简单明了， L = 度矩阵 − 邻接矩阵 L = 度矩阵-邻接矩阵 L=度矩阵−邻接矩阵。

拉普拉斯矩阵性质

拉普拉斯是对称半正定矩阵；
证明：
对任意 f = [ f 1 , f 2 , . . . , f n ] T f=[f_1,f_2,...,f_n]^T f=[f1,f2,...,fn]T，有：
f T L f = f T D f − f T W f = ∑ i = 1 n d i f i 2 − ∑ i , j = 1 n f i f j W i j = 1 2 ( ∑ i = 1 n d i f i 2 − 2 ∑ i , j = 1 n f i f j W i j + ∑ j = 1 n d j f j 2 ) = 1 2 ( ∑ i , j = 1 n W i j ( f i − f j ) 2 ) ≥ 0 \begin{array}{c} f^{T} L f=f^{T} D f-f^{T} W f=\sum_{i=1}^{n} d_{i} f_{i}^{2}-\sum_{i, j=1}^{n} f_{i} f_{j} W_{i j} \\ =\frac{1}{2}\left(\sum_{i=1}^{n} d_{i} f_{i}^{2}-2 \sum_{i, j=1}^{n} f_{i} f_{j} W_{i j}+\sum_{j=1}^{n} d_{j} f_{j}^{2}\right) \\ =\frac{1}{2}\left(\sum_{i, j=1}^{n} W_{i j}\left(f_{i}-f_{j}\right)^{2}\right) \geq 0 \end{array} fTLf=fTDf−fTWf=∑i=1ndifi2−∑i,j=1nfifjWij=21(∑i=1ndifi2−2∑i,j=1nfifjWij+∑j=1ndjfj2)=21(∑i,j=1nWij(fi−fj)2)≥0
即半正定。
半正定矩阵的性质
1.n阶对称矩阵一定有n个线性无关的特征向量。
2.对称矩阵的不同特征值对应的特征向量正交，这些正交的特征向量构成的矩阵为正交矩阵。
3.实对称矩阵的特征向量一定是实向量。
4.半正定矩阵的特征值一定非负数。

2.特征值中0出现的次数就是图连通区域的个数；
3.最小特征值是0，因为拉普拉斯矩阵每一行的和均为0；
4.最小非零特征值是图的代数连通度。

拉普拉斯矩阵的谱分解

特征分解，又称为谱分解，即将矩阵分解为由特征值和特征向量表示的矩阵之积的方法。如下，拉普拉斯为半正定矩阵，则可以分解为：
L = U Λ U − 1 = U [ λ 1 ⋱ λ n ] U − 1 U = ( u ⃗ 1 , u ⃗ 2 , ⋯ , u ⃗ n ) u ⃗ i ∈ R n , i = 1 , 2 , ⋯ n \begin{array}{l} L=U \Lambda U^{-1}=U\left[\begin{array}{ccc} \lambda_{1} & \\ & \ddots & \\ & & \lambda_{n} \end{array}\right] U^{-1} \\ U=\left(\vec{u}_{1}, \vec{u}_{2}, \cdots, \vec{u}_{n}\right) \\ \vec{u}_{i} \in \mathbb{R}^{n}, i=1,2, \cdots n \end{array} L=UΛU−1=U⎣⎡λ1⋱λn⎦⎤U−1U=(u 1,u 2,⋯,u n)u i∈Rn,i=1,2,⋯n
u ⃗ i \vec{u}_{i} u i为特征向量， λ i \lambda_{i} λi为对应的特征值。
1.由于n阶对称矩阵一定有n个线性无关的特征向量，n维线性空间中的n个线性无关的向量可以构成它的一组基（基的元素称为基向量，可以线性组合构成向量空间的任意向量）。那可以得出拉普拉斯矩阵的n个特征向量是线性无关的，且他们是n维空间的中的一组基。

上图二维空间中，图中两个向量组成的一组基向量可以线性表示该空间的任意向量。

2.对称矩阵的不同特征值对应的特征向量相互正交，这些正交的特征向量构成的矩阵为正交矩阵。拉普拉斯矩阵的n个特征向量是n维空间中的一组标准正交基（基向量模长均为1）。
单位正交矩阵的性质： U U T = I UU^T=I UUT=I,
正定矩阵性质： L = U Λ U − 1 = U Λ U T L=U \Lambda U^{-1}=U \Lambda U^{T} L=UΛU−1=UΛUT

图谱卷积预备知识1：拉普拉斯矩阵相关推荐

【Pytorch神经网络理论篇】 25 基于谱域图神经网络GNN：基础知识+GNN功能+矩阵基础+图卷积神经网络+拉普拉斯矩阵
图神经网络(Graph Neural Network,GNN)是一类能够从图结构数据中学习特征规律的神经网络,是解决图结构数据(非欧氏空间数据)机器学习问题的最重要的技术. 1 图神经网络的基础知识 ...
图谱论学习—拉普拉斯矩阵背后的含义
目录一.为什么学习拉普拉斯矩阵二.拉普拉斯矩阵的定义与性质三.拉普拉斯矩阵的推导与意义 3.1 梯度.散度与拉普拉斯算子 3.2 从拉普拉斯算子到拉普拉斯矩阵一.为什么学习拉普拉斯矩阵早期, ...
GCN频域视角相关——傅里叶变换、拉普拉斯变换、拉普拉斯算子、拉普拉斯矩阵、卷积
试图通俗地捋清标题名词之间的关系 0. 前置知识 0.1 函数的正交 0.2 什么是卷积? 0.3 散度 0.4 欧拉公式 1. 卷积与傅里叶变换 1.1 傅里叶变换 1.2 时域的卷积等于频域的乘积 ...
图神经网络（一）图信号处理与图卷积神经网络（2）图信号与图的拉普拉斯矩阵
图神经网络(一)图信号处理与图卷积神经网络(2)图信号与图的拉普拉斯矩阵给定图G=(V,E)G=(V,E)G=(V,E),V表示图中的节点集合,假设其长度为NNN,图信号是一种描述V→RV→RV→ ...
图卷积网络原理（二）【图信号与图的拉普拉斯矩阵】
矩阵乘法的三种视角后续图卷积网络的原理讲解主要以矩阵乘法的显示展开,这里介绍矩阵乘法的几种不同的视角,这些视角有助于我们理解图卷积网络的逻辑过程. 对于矩阵 A∈Rm×nA\in R^{m\time ...
图的一些基本知识：关联矩阵、拉普拉斯矩阵
目录前言关联矩阵(Incidence Matrix) 有向图举例无向图举例拉普拉斯矩阵(Laplacian) 举例说明参考文献前言本文介绍了一些图论的基础知识,包括图的关联矩阵.拉普拉斯 ...
“知识图谱+”系列：知识图谱+图神经网络
最近有很多朋友联系泽宇说想了解一些知识图谱和图神经网络(GNN)结合的研究.那泽宇当然要满足朋友们的要求啊,本期泽宇从知识图谱的几个不同研究方向总结了结合GNN的经典研究,也和大家一起分享.所有内容是 ...
计算机视觉预备知识,计算机视觉：泊松融合
Poisson Blending4:更多用途 Poisson Blending0:预备知识(图像的梯度.泊松方程) 进入正题之前,我们先补充一下基础知识.图像的梯度什么是图像的梯度?我们可以把图像看 ...
图拉普拉斯矩阵的定义、推导、性质、应用
导语:在学习图神经网络时,不可避免地要遇到拉普拉斯算子,拉普拉斯矩阵,图傅里叶变换,拉普拉斯特征分解向量等等一堆概念,了解其中的来源,定义,推导,对于后续图卷积神经网络的演进过程会有更深刻的理解文章 ...

图谱卷积预备知识1：拉普拉斯矩阵

拉普拉斯矩阵介绍（图谱卷积）

相关概念

无向图

邻接矩阵

度矩阵