降维算法概述

降维，顾名思义就是把数据或者特征的维度降低，一般分为线性降维和非线性降维。

线性降维有：PCA、LDA、MDS（Classical Multidimensional Scaling）
非线性降维有： ISOmap( Isometric Mapping), LLE(Locally Linear Embedding), LE(Laplacian Eigenmaps) 非线性降维算法中用到的，大多属于流行学习方法。

流形学习

关于流形学习(Manifold Learning)最形象的解释莫过于这幅图：

这幅图又被称为Swiss Roll，瑞士卷，是一种常见的卷状蛋糕，如何计算蛋糕卷起表面上两点距离，就是流行计算中要解决的一个问题。

距离的定义

在欧式几何中，我们将两点的距离定义为两点的直线距离，这个距离也是在欧式空间中A到B的最短距离。由于在瑞士卷上，从A点到B点实际上有无数中路径，那么该如何定义A和B之间的距离呢？与欧式空间中的距离定义类似，我们也可以将其简单地定义为“最短路径”。

那么这个最短距离又如何定义呢？现实生活中测量从北京到纽约的距离也是一个这样的问题。由于地球实际上是球形的，从北京的纽约的距离不是空间中这两个地点的直线距离，而是通过GIS中称为测地距离（根据球面几何，球体上任意两点的距离就是同时经过这两点的球面大圆的弧长）的度量来计算。在瑞士卷的问题中，类似地，我们也需要找到“测地距离”。

总结一下，这里提到的几个概念：

测地距离：流形上两个点之间的最短测地线的长度。
测地线：流形上两个点之间最短的曲线。
黎曼测度：黎曼流形上某一点的切空间上定义的内积的集合。
黎曼测度的性质：黎曼流形上某一点的切空间上某一切向量的范数等于这个切向量对应的测地线的长度。

KNN图与流形降维

KNN图

KNN图（k-Nearest Neighbour Graph）是对空间中的n个节点，通过某种距离度量的方式找到距离他最近的k个邻居，然后分别将这k个点连接起来，形成k条有向边。当然在实际中为了便于处理，通常是构造成无向边。这样的处理方法类似于局部微分，认为流行上每个点的邻域符合欧式空间定义。就类似于处理从北京到纽约的距离这样的问题不能用欧式几何，应该用黎曼集合，但是对于日常生活中常用的距离概念都是用欧式距离来描述一样。从直观上来讲，一个流行好比是d维的空间，在一个m维的空间中被扭曲（m>d）之后的结果，d维流形的任意点都局部同胚于（正逆映射都是光滑的一一映射）欧式空间 $R^D$ 。
KNN图就可以在计算流行上两点的距离时起到“估算”测地线的作用，用欧式距离得到一个近似，如下图所示，图中蓝色的曲线是沿着流行真实的测地线距离，红色的是在原始数据点上根据欧式距离构造KNN 图得到的近似测地线距离。

SNE算法

SNE（stochastic neighbor embedding）算法的基本假设和上述KNN图算法基本上是一致的，在高维空间相似的数据点，映射到低维空间距离也是相似的。但是与KNN图算法不同的是，SNE把这种距离关系转换为一种条件概率来表示相似性。
假设高维空间中的数据点服从高斯分布，那么任意两点之间的距离，例如 $X_j$ 点相距 $X_i$ 点的距离认为是：
$p_{j|i}= \frac{exp(-||X_i-X_j||^2/(2\delta_i^2)}{\sum_{k \ne i}{exp(-||X_i-X_k||^2/(2\delta_i ^2)}}$
数据映射到低维空间后，高维数据点之间的相似性应该在低维空间保持一致。这里同样用条件概率的形式描述，假设高维数据点 $x_i$ 和 $x_j$ 在低维空间的映射点分别为 $y_i$ 和 $y_j$ 。类似的，低维空间中的条件概率用 $q_{j∣i}$ 表示，并将所有高斯分布的方差均设定为 $\frac{1}{\sqrt{2}}$

1，所以有：

q_{j|i}= \frac{exp(-||Y_i-Y_j||^2}{\sum_{k \ne i}{exp(-||Y_i-Y_k||^2}}

如果降低维度后

Y_i

和

Y_j

真实反映了高维数据点

X_i

和

X_j

之间的关系，那么条件概率

p_{j∣i}

与

q_{j∣i}

应该完全相等。

机器学习之：流形与降维概述相关推荐

python降维之时间类型数据的处理_【Python算法】数据降维概述
数据降维概述 1.数据降维概述所谓的数据降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中,可以解决大规模特征下的数据显示问题,使得数据集更易使用,降低后续算法的计算,消除噪声影 ...
[飞桨机器学习]六种常见数据降维
[飞桨机器学习]六种常见数据降维事实上,在高维情形下现的数据样本稀疏. 距离计算困难等问是所有机器学习方法共同面的严重障碍, 被称为" 维数灾难" (curse of di ...
sklearn与机器学习系列专题之降维（五）一文弄懂Isomap特征筛选降维
目录 1.Isomap算法简介 2.Isomap算法原理 3.Isomap算法优缺点 4.python实战Isomap 5.下篇预告 1.Isomap算法简介等度量映射(Isometric Feat ...
机器学习数据增加_【机器学习】数据降维概述
机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中. 机器学习主要问题数据维数维数 (又称维度) 数学中:独立参数的数目物理中:独立时空坐标的数目维度 ...
【机器学习】简述多种降维算法
[转载请注明出处]chenrudan.github.io 最近看了一些关于降维算法的东西,本文首先给出了七种算法的一个信息表,归纳了关于每个算法可以调节的(超)参数.算法主要目的等等,然后介绍了降维的 ...
机器学习：流形学习Manifold Learning之LLE（局部线性嵌入）
流形学习被认为属于非线性降维的一个分支. 线性降维的图例如下: 原图: 线性降维后的图: 线性的算法基本就是这个样子,可以看到线性的算法能把最重要的维度们找出来,蛋卷的形状被保全了下来, 但是对很多应 ...
机器学习：特征选择和降维实例
https://www.toutiao.com/a6672721847512990216/ "特征选择是选择用于模型构建的相关特征的子集的过程",或者换句话说,选择最重要的特征. ...
机器学习算法基础——数据降维
12.数据的降维之特征选择特征选择冗余:部分特征的相关度高,容易消耗计算性能噪声:部分特征对预测结果有负影响特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择 ...
《菜菜的机器学习sklearn课堂》降维算法PCA和SVD
降维算法PCA和SVD 什么是维度? sklearn中的降维算法 PCA 与 SVD 降维究竟是怎样实现的? PCA重要参数 n_components 迷你案例:高维数据的可视化附录 PCA参数列表 ...

机器学习之：流形与降维概述

流形与降维：概述