主要思想

LE将 $D$ 维特征 $\mathbf{X}=[\mathbf{x}_1, \mathbf{x}_2, \cdots, \mathbf{x}_N]\in\mathbb{R}^{D\times N}$ （ $\mathbf{x}_i\in\mathbb{R}^{D}$ ）映射到 $d(d\ll D)$ 维空间中（ $\mathbf{Y}=[\mathbf{y}_1, \mathbf{y}_2, \cdots, \mathbf{y}_N]\in\mathbb{R}^{d\times N}$ ），使得在降维后的空间中，尽量使在原始空间 $\mathbf{X}$ 中近的点在新的空间 $\mathbf{Y}$ 中仍然近，远的仍然远。

推导方法

根据原始数据 $\mathbf{X}$ 构造无向加权图邻接矩阵 $\mathbf{W}\in\mathbb{R}^{N\times N}$ （距离越近的两个点，权重越大），根据此矩阵构造度数矩阵
$\mathbf{D}=\left[ \begin{matrix} \sum_i{\mathbf{W}_{1,i}}& & & \\ & \sum_i{\mathbf{W}_{2,i}}& & \\ & & \ddots& \\ & & & \sum_i{\mathbf{W}_{N,i}}\\ \end{matrix} \right]$

⎡∑iW1,i∑iW2,i⋱∑iWN,i⎦

⎤
那么拉普拉斯矩阵

\mathbf{L}=\mathbf{D}-\mathbf{W}

，所以优化目标为

\mathop {\mathrm{arg} \min} \limits_{\mathbf{Y}}\,\,\frac{1}{2}\sum_{i,j=1}^N{\mathbf{W}_{i,j}\parallel \mathbf{y}_i-\mathbf{y}_j\parallel ^2} \\ \mathop {\mathrm{arg} \min} \limits_{\mathbf{Y}}\,\,\frac{1}{2}\sum_{i,j=1}^N{\mathbf{W}_{i,j}\left( \mathbf{y}_i-\mathbf{y}_j \right) ^T\left( \mathbf{y}_i-\mathbf{y}_j \right)} \\ \mathop {\mathrm{arg} \min} \limits_{\mathbf{Y}}\,\,\frac{1}{2}\sum_{i,j=1}^N{\mathbf{W}_{i,j}\left( \mathbf{y}_{i}^{T}\mathbf{y}_i-\mathbf{y}_{i}^{T}\mathbf{y}_j-\mathbf{y}_{j}^{T}\mathbf{y}_i+\mathbf{y}_{j}^{T}\mathbf{y}_j \right)} \\ \mathop {\mathrm{arg} \min} \limits_{\mathbf{Y}}\,\,\sum_{i=1}^N{\mathbf{y}_{i}^{T}\mathbf{y}_i{\color{red} \sum_{j=1}^N{\mathbf{W}_{i,j}}}}-\sum_{i,j=1}^N{\mathbf{W}_{i,j}\mathbf{y}_{i}^{T}\mathbf{y}_j} \\ \mathop {\mathrm{arg} \min} \limits_{\mathbf{Y}}\,\,trace\left( \mathbf{Y}{\color{red} \mathbf{D}}\mathbf{Y}^T \right) -trace\left( \mathbf{YWY}^T \right) \,\, {\color{blue} \left[ trace\left( \mathbf{y}_{i}^{T}\mathbf{y}_j \right) =trace\left( \mathbf{y}_j\mathbf{y}_{i}^{T} \right) \right] } \\ \mathop {\mathrm{arg} \min} \limits_{\mathbf{Y}}\,\,trace\left( \mathbf{Y}{\color{green} \left( \mathbf{D}-\mathbf{W} \right) }\mathbf{Y}^T \right) \\ \mathop {\mathrm{arg} \min} \limits_{\mathbf{Y}}\,\,trace\left( \mathbf{Y}{\color{green} \mathbf{L}}\mathbf{Y}^T \right) \\

引入约束

\mathbf{Y}\mathbf{D}\mathbf{Y}^T=\mathbb{I}

（确保尺度大小不变且不会退化到更低维度空间）后的优化目标为

\left\{ \begin{array}{c} \mathop {\mathrm{arg}\min} \limits_{\mathbf{Y}}\,\,trace\left( \mathbf{YLY}^T \right)\\ s.t.\mathbf{YDY}^T=\mathbb{I}\\ \end{array} \right. \\ \Leftrightarrow \left\{ \begin{array}{c} \mathop {\mathrm{arg}\min} \limits_{\mathbf{Y}}\,\,trace\left( \mathbf{ZD}^{-1/2}\mathbf{LD}^{-1/2}\mathbf{Z}^T \right)\\ s.t.\mathbf{ZZ}^T=\mathbb{I}\\ \mathbf{Y}=\mathbf{ZD}^{-1/2}\\ \end{array} \right. \\

由上可知，最优值

\mathbf{Y}

为矩阵

\mathbf{D}^{-1}\mathbf{L}

所对应的最小

d

个特征值对应的特征向量的转置！

此外，由于拉普拉斯矩阵 $\mathbf{L}$ 自身含有特征值为0的全1的特征向量，则相应的 $\mathbf{D}^{-1}\mathbf{L}$ 也有全1的特征向量，这样一来，所有的 $\mathbf{y}_i|_{i=1}^{N}$ 都有个维度的值为1，所以一般来说不取最小的0特征值对应的特征向量，从倒数第二小的特征值对应的特征向量开始取。

from numpy.random import RandomState
import matplotlib.pyplot as plt
from matplotlib import ticker# unused but required import for doing 3d projections with matplotlib < 3.2
import mpl_toolkits.mplot3d  # noqa: F401from sklearn import manifold, datasets
import numpy as np
from scipy.sparse import diagsrng = RandomState(0)n_samples = 1500
S_points, S_color = datasets.make_s_curve(n_samples, random_state=rng)def plot_3d(points, points_color, title):x, y, z = points.Tfig, ax = plt.subplots(figsize=(6, 6),facecolor="white",tight_layout=True,subplot_kw={"projection": "3d"},)fig.suptitle(title, size=16)col = ax.scatter(x, y, z, c=points_color, s=50, alpha=0.8)ax.view_init(azim=-60, elev=9)ax.xaxis.set_major_locator(ticker.MultipleLocator(1))ax.yaxis.set_major_locator(ticker.MultipleLocator(1))ax.zaxis.set_major_locator(ticker.MultipleLocator(1))fig.colorbar(col, ax=ax, orientation="horizontal", shrink=0.6, aspect=60, pad=0.01)# plt.show()def plot_2d(points, points_color, title):fig, ax = plt.subplots(figsize=(3, 3), facecolor="white", constrained_layout=True)fig.suptitle(title, size=16)add_2d_scatter(ax, points, points_color)# plt.show()def add_2d_scatter(ax, points, points_color, title=None):x, y = points.Tax.scatter(x, y, c=points_color, s=50, alpha=0.8)ax.set_title(title)ax.xaxis.set_major_formatter(ticker.NullFormatter())ax.yaxis.set_major_formatter(ticker.NullFormatter())def sklearn_le():spectral = manifold.SpectralEmbedding(n_components=n_components, n_neighbors=n_neighbors)S_spectral = spectral.fit_transform(S_points)plot_2d(S_spectral, S_color, "Sklearn LE")def my_le():# 借助sklearn LE 构造邻接矩阵 偷个懒！！spectral = manifold.SpectralEmbedding(n_components=n_components, n_neighbors=n_neighbors)W = spectral._get_affinity_matrix(S_points).toarray()D = np.diag(np.sum(W, axis=1))S = np.diag(1. / np.sum(W, axis=1)) @ (D - W)values, vectors = np.linalg.eig(S)idxs = np.argsort(values)# 除去最小的0特征向量W = vectors[:,[idxs[i] for i in range(1,3)]]W[:,0] = -W[:,0] #确保与sklearn一样plot_2d(W, S_color, "My Imple. LE")if __name__ == "__main__":n_neighbors = 12  # neighborhood which is used to recover the locally linear structuren_components = 2  # number of coordinates for the manifoldplot_3d(S_points, S_color, "Original S-curve samples")sklearn_le()my_le()plt.show()

拉普拉斯特征映射（Laplacian Eigenmaps, LE）相关推荐

图嵌入（拉普拉斯特征映射Laplacian Eigenmaps）
图嵌入(Graph embedding)的意义 Graph广泛存在于真实世界的多种场景中,即节点和边的集合.比如社交网络中人与人之间的联系,生物中蛋白质相互作用以及通信网络中的IP地址之间的通信等等. ...
深入理解拉普拉斯特征映射
目录 1. 一些定义 2. 矩阵的迹求导 3. LE 3.1 目标函数 3.2 约束条件 3.3 优化 3.4 广义特征值问题 3.5 结果拉普拉斯特征映射(Laplacian Eigenmaps, ...
拉普拉斯特征映射（Laplacian Eigenmaps）
1.介绍拉普拉斯特征映射(Laplacian Eigenmaps)是一种不太常见的降维算法,它看问题的角度和常见的降维算法不太相同,是从局部的角度去构建数据之间的关系.也许这样讲有些抽象,具体来讲, ...
拉普拉斯分布_理解拉普拉斯特征映射中的优化问题的约束条件
引言:在学习拉普拉斯特征映射(Laplacian Eigenmaps, LE)的过程中,发现大多数参考资料仅列出了其中的最优化问题,然后直接过渡到特征值问题,对于该优化问题,特别是其中的约束条件解释的 ...
Laplacian Eigenmaps 拉普拉斯特征映射
Laplacian Eigenmaps 继续写一点经典的降维算法,前面介绍了PCA,LDA,LLE,这里讲一讲Laplacian Eigenmaps.其实不是说每一个算法都比前面的好,而是每一个算法都 ...
机器学习降维算法四：Laplacian Eigenmaps 拉普拉斯特征映射
继续写一点经典的降维算法,前面介绍了PCA,LDA,LLE,这里讲一讲Laplacian Eigenmaps. 其实不是说每一个算法都比前面的好,而是每一个算法都是从不同角度去看问题,因此解决问题的思 ...
Laplacian eigenmap 拉普拉斯特征映射
下面是实验室大牛师兄自己写的一段总结,主要内容是Laplacian Eigenmap中的核心推导过程. 有空还是多点向这位师兄请教,每次都会捡到不少金子. Reference : <Laplac ...
Laplacian Eigenmaps与LPP(Locality Preserving Projections)简介
一.拉普拉斯特征映射(Laplacian Eigenmaps) 1.Introduction 机器学习与模式识别的一个核心问题是找到一种合适的对复杂数据的表示. 我们把这个问题叫做数据低维流形的嵌入在 ...
【流行学习】拉普拉斯映射（Laplacian Eigenmaps）
一.前言拉普拉斯特征映射是一种基于图的降维算法,它希望在原空间中相互间有相似关系的点,在降维后的空间中尽可能的靠近,从而在降维后仍能保持原有的数据结构信息. 二.主要步骤拉普拉斯特征映射通过构建邻 ...

拉普拉斯特征映射（Laplacian Eigenmaps, LE）

主要思想

推导方法

拉普拉斯特征映射（Laplacian Eigenmaps, LE）相关推荐

最新文章

热门文章