前言

机器学习尤其是深度学习中最常见的问题就是过拟合问题，而解决过拟合问题主要有三种思路：直接提高数据集容量；正则化；降维。而降维也主要分为三种：直接降维（特征选择）；线性降维（PCA,MDS）；非线性降维（LLS,Isomap）

提示：本文讲解降维中的PCA和LLE算法

一、维度灾难是什么？

当维度增加时，空间的体积增加得很快，使得可用的数据变得稀疏。稀疏性对于任何要求有统计学意义的方法而言都是一个问题，为了获得在统计学上正确并且有可靠的结果，用来支撑这一结果所需要的数据量通常随着维数的提高而呈指数级增长。而且，在组织和搜索数据时也有赖于检测对象区域，这些区域中的对象通过相似度属性而形成分组。然而在高维空间中，所有的数据都很稀疏，从很多角度看都不相似，因而平常使用的数据组织策略变得极其低效。这时候便需要降维处理。

二、主成分分析法（PCA）

PCA最受欢迎的降维方法，它确定最靠近数据的超平面，然后将数据投影到其上。
PCA的核心理念是对原始特征空间的重构，重构的依据是最大投影方差和最小重构距离。

如图：原始的特征向量是一个二维空间（平面），PCA的目的是找到一条最佳向量如图c1，将高维的特征映射到低维空间去（线）。映射的方法就是之前提到的最大投影距离或最小重构距离。

但是，某些情况下，PCA难以找到合适的解。

如图，对于这种流体/卷形状的特征分布，PCA难以找到一个合适的平面去降维，结果如下。此时就需要通过局部线性嵌入来解决问题。

三，局部线性嵌入

Locally linear embedding（LLE）是一种非线性降维算法，它能够使降维后的数据较好地保持原有流形结构。LLE可以说是流形学习方法最经典的工作之一。很多后续的流形学习、降维方法都与LLE有密切联系。

见图1，使用LLE将三维数据（b）映射到二维（c）之后，映射后的数据仍能保持原有的数据流形（红色的点互相接近，蓝色的也互相接近），说明LLE有效地保持了数据原有的流行结构。

但是LLE在有些情况下也并不适用，如果数据分布在整个封闭的球面上，LLE则不能将它映射到二维空间，且不能保持原有的数据流形。那么我们在处理数据中，首先假设数据不是分布在闭合的球面或者椭球面上。

总结

除了以上介绍的降维方式，其他的降维手段总汇如图所示：

降维: 主成分分析(PCA）局部线性嵌入（LLE）相关推荐

流行学习、流形学习家族、局部线性嵌入LLE、随机投影（Random Projection）、t-SNE降维及可视化
流行学习.流形学习家族.局部线性嵌入LLE.随机投影(Random Projection).t-SNE降维及可视化目录流行学习.流形学习家族.局部线性嵌入LLE.随机投影(Random Proje ...
用scikit-learn研究局部线性嵌入(LLE)
1. scikit-learn流形学习库概述在scikit-learn中,流形学习库在sklearn.manifold包中.里面实现的流形学习算法有: 1)多维尺度变换MDS算法:这个对应的类是MD ...
局部线性嵌入(LLE)
关于LLE可参考局部线性嵌入(LLE)原理总结.本文对上述博客中第三节LLE算法推导给出一些自己的理解. LLE算法推导对于LLE算法,我们首先要确定邻域大小的选择,即我们需要多少个邻域样本来线性表 ...
局部线性嵌入(LLE)原理总结
局部线性嵌入(Locally Linear Embedding,以下简称LLE)也是非常重要的降维方法.和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由 ...
局部线性嵌入LLE算法--学习笔记
流形学习是一大类基于流形的框架,形象说明流形降维: ISOMAP(更多细节可参考:isomap降维算法--学习笔记_Wsyoneself的博客-CSDN博客): LLE: 和传统的PCA,LDA等关注 ...
局部线性嵌入(LLE)算法matlab可运行
本文主要是学习LLE算法,可视化原作者给的例程,具体原理请移步参考.如有侵权,请联系删除. 文章目录绘图结果代码参考绘图结果以上图片分别为运行代码:scurve_jian.m 和swissr ...
两种降维方法的总结——LLE（局部线性嵌入），ISOMAP（等度量映射）
简介流形学习是一类借鉴了拓扑流形概念的降维方法.流形是在局部与欧式空间同胚的空间,换言之,它在局部具有欧式空间的性质,能用欧式距离来进行距离计算.若低维流形嵌入到高维空间中,则数据样本在高维空间的分 ...
lle算法c 语言,局部线性嵌入算法（LLE）与其Python实现-Go语言中文社区
PCA是至今为止运用最为广泛的数据降维算法,它通过最小化重构误差达到将高维数据映射到低维并同时保留数据中所存在的绝大部分信息.但是一般的PCA也有缺点,它只能实现线性降维.当然现在也有kernel P ...
降维 ---- 主成分分析 (PCA)、奇异值分解 (SVD)
降维在机器学习或数据处理中,经常会碰到一些高维数据,而高维数据情形下经常出现样本稀疏.计算困难等问题,称之为"维度灾难". 对于一个高维数据数 D={X1,X2,...,XN}D ...
机器学习：流形学习Manifold Learning之LLE（局部线性嵌入）
流形学习被认为属于非线性降维的一个分支. 线性降维的图例如下: 原图: 线性降维后的图: 线性的算法基本就是这个样子,可以看到线性的算法能把最重要的维度们找出来,蛋卷的形状被保全了下来, 但是对很多应 ...

降维: 主成分分析(PCA）局部线性嵌入（LLE）

文章目录

前言

一、维度灾难是什么？

二、主成分分析法（PCA）

三，局部线性嵌入

总结

降维: 主成分分析(PCA）局部线性嵌入（LLE）相关推荐

最新文章

热门文章

降维: 主成分分析(PCA） 局部线性嵌入（LLE）

文章目录

前言

一、维度灾难是什么？

二、主成分分析法（PCA）

三，局部线性嵌入

总结

降维: 主成分分析(PCA） 局部线性嵌入（LLE）相关推荐

最新文章

热门文章

降维: 主成分分析(PCA）局部线性嵌入（LLE）

降维: 主成分分析(PCA）局部线性嵌入（LLE）相关推荐