模式识别-高维空间降维的重要性

今天上了一节模式识别课，老师讲了几个结论，关于高维空间降维的重要性：

1.通过公式的推导（这里就不推导了），会发现高维度空间的体积主要分布在壳部和角部。

2.随着维度的增加，体积（Vc（正方形），Vr（圆形））会迅速增加。这样的好处是在样本空间，样本的分布会非常稀疏，不易重叠，利于分类。
然后老师又说了一句话：对高维进行概率密度函数设计特别困难，设计分类器也很困难，所以降维是必须的。
这里的理解是，对于高维空间，人为的靠感觉设定一个超平面是可以的，但是要通过计算机计算设定一个超平面，是很困难的，因为概率密度函数不好的设计，所以要降维。

3.高维度空间样本分布稀疏，导致同类样本分布相对集中，落在一个较低的子空间中，利于投影，不会导致信息丢失。

4.高维度空间的数据抓哟分布在壳部和角部，不是均匀分布在整个空间中。

5.根据中心极限定理，高维空间的数据投影到很低维度的空间中，数据将会呈现正态分布。所以，说降维是对分类有效的。

6.根据一个人fakanage的实验结论：
对于监督分布，设计分类器所需要的样本数量于空间的维度呈现正比例关系。
对于非监督分布，设计分类器所需要的样本数量于空间的维度呈现指数关系。
这就解释了，神经网络的隐藏层的数量不是越多越好，而是要有足够的数据样本作为支持才行。

还有对于高维度空间投影理解：就是让投影的坐标轴为0.

模式识别-高维空间降维的重要性相关推荐

高维数据降维国家自然科学基金项目 2009-2013 NSFC Dimensionality Reduction
2013 基于数据降维和压缩感知的图像哈希理论与方法唐振军广西师范大学多元时间序列数据挖掘中的特征表示和相似性度量方法研究李海林华侨大学基于标签和多特征融合的图像语义空间学习技 ...
RBF神经网络——直接看公式，本质上就是非线性变换后的线性变化（RBF神经网络的思想是将低维空间非线性不可分问题转换成高维空间线性可分问题）...
Deeplearning Algorithms tutorial 谷歌的人工智能位于全球前列,在图像识别.语音识别.无人驾驶等技术上都已经落地.而百度实质意义上扛起了国内的人工智能的大旗,覆盖无人驾驶 ...
Computer Science Theory for the Information Age-3: 高维空间中的高斯分布和随机投影
Computer Science Theory for the Information Age-3: 高维空间中的高斯分布和随机投影高维空间中的高斯分布和随机投影 (一)在高维球体表面产生均匀分布点 ...
Kernel Trick——核机制，更高维空间内积的快速计算
这是小弟的第一篇技术博客,功力尚浅,写的不准确不专业的地方,还请各位同仁,多多包涵. blog归正传. 引言理论 1 Kernel SVM 2 2阶多项式核 3 常见核的种类应用 1 Kernel ...
高维空间最近邻逼近搜索算法评测
高维空间最近邻逼近搜索算法评测最近邻方法是机器学习中一个非常流行的方法,它的原理很容易理解:邻近的数据点是相似的数据点,更可能属于同一分类.然而,在高维空间中快速地应用最近邻方法,却是非常有挑战性的 ...
tSNE—高维数据降维可视化（理论部分）
t-SNE是一种降维方法,PCA主成分分析.LDA等属于线性降维,t-SNE属于非线性降维,是一种流形学习方法(Manifold Learning). 如图所示的曲面上,两点之间的欧式距离为红色虚线所 ...
Computer Science Theory for the Information Age-1: 高维空间中的球体
Computer Science Theory for the Information Age-1: 高维空间中的球体高维空间中的球体注:此系列随笔是我在阅读图灵奖获得者John Hopcroft ...
高维空间中的高斯分布和随机投影
高维空间中的高斯分布和随机投影高维空间中的高斯分布和随机投影 (一)在高维球体表面产生均匀分布点的方法我们来考虑一个采样问题,就是怎样在高维单位球体的表面上均匀的采样.首先,考虑二维的情况,就是在 ...
高维数据降维（机器学习）
目录一.实验内容二.实验过程 1.算法思想 2.算法原理 3.算法分析三.源程序代码四.运行结果及分析五.实验总结一.实验内容熟知高维数据降维的概念和基本算法思想: 掌握高维数据降维算法 ...
高维信息降维可视化常用算法比较
我们人类比较容易理解三维以内的信息,在做数据分析挖掘以前,先要对数据集有个浅显的认识,比如统计分布.可视化.相关性等.这里引入了常用降维算法模型原理,对MNIST 784维数据做可视化和结果对比展示, ...

模式识别-高维空间降维的重要性

模式识别-高维空间降维的重要性相关推荐

最新文章

热门文章