对The Curse of Dimensionality（维度灾难）的理解

一个特性：低维（特征少）转向高维的过程中，样本会变的稀疏（可以有两种理解方式：1.样本数目不变，样本彼此之间距离增大。2.样本密度不变，所需的样本数目指数倍增长）。

高维度带来的影响：

1.变得可分。

由于变得稀疏，之前低维不可分的，在合适的高维度下可以找到一个可分的超平面。

2.过拟合风险。

过高维度会带来过拟合的风险（会学习到数据集中的特例或异常，对现实测试数据效果较差）。增加维度的线性模型等效于低维空间里较复杂的非线性分类器。

3.需要更多训练数据。我们需要更多的训练数据进行参数估计。

4.过高维度会让分类变难。

高维下数据更多分布在空间角落（因为单位球占单位立方体下的空间比例随着维度增加，越来越小。处于单位球内的可以看出靠近中心），而角落处的特征更难分，因为距离更大。

5.高维度中用距离来衡量样本相似性的方法已经渐渐失效。

（几乎所有的高维空间都远离其中心，任意两点的距离会趋向收敛，意思是任意两点的最大距离和最小距离会变为相同。因此基于欧式距离的k-means算法，会无法进行聚类（因为距离会趋于收敛）。而K-NN会的临近K个点中，会出现更多非同类的点（远多于低维度的情况）。）

转载于:https://www.cnblogs.com/dingz/p/9029395.html

对The Curse of Dimensionality（维度灾难）的理解相关推荐

深度学习：维度灾难（Curse Of Dimensionality）
深度学习:维度灾难维度灾难的几何意义补充说明 (r 如果大于1) 维度灾难于过拟合的关系缓解方法维度灾难的几何意义假设有一个正方形,边长为1,那么面积为1 * 1. 正方形的内接圆的边长为0 ...
如何正确理解维度灾难
一.前言博主最近在学习机器学习的PCA降维算法的时候,对于维度灾难和特征稀疏有了新的认识.这篇文章主要讲解什么是维度灾难,并从几何的角度来对其进行形象的解释. 二.维度灾难的概念维度灾难( ...
维度灾难维数灾难暂记
距离度量问题对于基于距离的模型KNN,K-means来说.需要有效的降维,或者大量数据的训练,发现数据的低维流形空间. Theorem[Beyer et al.99]:Fix ϵ\epsilonϵ ...
ADPRL - 近似动态规划和强化学习 - Note 6 - Mitigating the Curse of Dimensionality
Note 6 Mitigating the Curse of Dimensionality 减轻维度诅咒 6. Mitigating the Curse of Dimensionality 减轻维度诅 ...
02 聚类算法 - 相似度距离公式、维度灾难
聚类就是对__大量未知标注__的数据集,按照数据__内部存在的数据特征__将数据集划分为__多个不同的类别__,使__类别内的数据比较相似__,__类别之间的数据相似度比较小__. 聚类算法的重点是计 ...
机器学习中的维度灾难
红色石头的个人网站:redstonewill.com 一.介绍本篇文章,我们将讨论所谓的"维度灾难",并解释在设计一个分类器时它为何如此重要.在下面几节中我将对这个概念进行直观的 ...
python standardscaler_教你用python一步步解决“维度灾难”
全文共7016字,预计学习时长40分钟或更长现代科技时代产生和收集的数据越来越多.然而在机器学习中,太多的数据可不是件好事.某种意义上来说,特征或维度越多,越会降低模型的准确性,因为需要对更多的数据 ...
Tensorflow张量和维度概念的理解
Tensorflow张量和维度概念的理解理解tensorflow张量的概念:张量就是一个数据存储容器,一种数据结构,是人为定义的.因为在计算机内存中哪里有什么2维空间3维空间,都是一块块连续的内存区 ...
关于维度建模，事实表和维度维度表的理解
以下是我个人对于维度建模的理解. 列: 有一个xx门店,在上午十点,a员工向b客户卖出了一条项链,金额为500元. 这个过程就是什么人在什么时间什么地点做了什么事情. 首先确定业务主题,关于销售的业 ...

对The Curse of Dimensionality（维度灾难）的理解

对The Curse of Dimensionality（维度灾难）的理解相关推荐

最新文章

热门文章