引言：在学习拉普拉斯特征映射（Laplacian Eigenmaps, LE）的过程中，发现大多数参考资料仅列出了其中的最优化问题，然后直接过渡到特征值问题，对于该优化问题，特别是其中的约束条件解释的很少，不多的解释也很模糊。阅读过 LE 的原论文之后，将个人的理解整理如下。

Laplacian eigenmaps and spectral techniques for embedding and clustering​papers.nips.cc

一句话结论

1. 约束条件
   起到

   消除缩放因子 和 防止特征映射退化到更低维的空间 两个作用。

2. 拉普拉斯特征映射等价的最优化问题应该为

这时解为

非零特征值之和，

而不是各种资料中常见的

注：下文的阅读可能需要预先非常熟悉 LE 的计算过程。

拉普拉斯特征映射

以下简单的定义下符号：LE 将

和拉普拉斯矩阵

拉普拉斯矩阵半正定，且具有

LE 将

令

因为（以下为了偷懒不将向量符号加粗了）

该无约束的优化问题解显然是任意的：首先，解可以退化到一个点，即所有

消除缩放因子：为什么度量是

比较容易理解的是，约束 (2) 的必要条件

消除了

。

至于为什么选择

Matrix D provides a natural measure on the vertices of the graph

《机器学习——原理、算法与应用》一书中解释为 “主对角元反映了图的每个节点的重要性”，这比较晦涩难懂。

这里有一个相关的提问

Question about the constraint in Laplacian eigenmaps​math.stackexchange.com

其中第一个回答讲的比较虚，强调了一个好的度量在实际中是非常重要的。第二个回答则从数值角度解释了为什么这是一个好的度量：

the eigenvector will have extreme large number on the position corresponding to the vertex with high degree.

简单来说，这一度量使得特征向量（也就是下文中原问题等价的广义特征值问题的解）的数值分布更 “均匀、自然”，也就是嵌入低维空间后的分布更 “均匀、自然”。

防止空间退化：约束究竟应该是什么

在加入了

对

即最优化的必要条件是

为了使特征映射不退化到更低维的空间，加上约束

即

对于对称阵

不同特征值的特征向量满足正交条件：设两个不同的特征值和对应特征向量分别为

而

的最优解是

并不是各种中文参考资料中说明的最小

非零 特征值。

实际上，注意到 (3) 具有特征值

因此，在原论文中，以一维情况引入时，最优化问题写作

保证特征向量

因此，实际上拉普拉斯特征映射等价的最优化问题应该为

此时解为

非零特征值之和，

算法流程

附拉普拉斯特征映射的算法流程

第一步：构造邻接关系，判断两点是否邻近有两种方法：欧氏距离小于设定的阈值

第二步：计算权重，一种方法是对于邻接点

第三步：特征映射。取广义特征值问题的前

---

参考文献

[1] Belkin, M., & Niyogi, P. (2002). Laplacian eigenmaps and spectral techniques for embedding and clustering. InAdvances in neural information processing systems(pp. 585-591).

[2] 雷明. (2019). 机器学习——原理、算法与应用. 清华大学出版社.