模式识别学习笔记（6）—

特征维数带来什么问题？

1、计算

2、存储

3、泛化能力，过拟合overfitting

分类错误率与特征

特征维数决定可分性

比如：3D空间完全可分，而2D和1D投影空间有重叠

但，增加特征也可能导致分类性能更差，因为有模型估计误差（wrong model）

计算复杂度

当样本数小于特征维度时，协方差可能奇异

过拟合（overfitting）

特征维数高、训练样本少导致模型参数估计不准确，比如协方差矩阵需要样本数大于特征数

——解决办法：

1、特征降维：特征提取（变换），特征选择

2、参数共享/平滑

参考资料：

中国科学院大学硕士课《模式识别》ppt

模式识别学习笔记（6）——特征维数问题相关推荐

模式识别学习笔记（1）——基本概念
模式识别学习笔记--绪论一.从数据集D中产生训练集S和测试集T,主要有以下方法: --hold-out(留出法) --cross-validation(交叉验证法) --bootstrapping( ...
HOG参数简介及Hog特征维数的计算
HOG构造函数 CV_WRAP HOGDescriptor() :winSize(64,128), blockSize(16,16), blockStride(8,8), cellSize( ...
模式识别学习笔记之——统计决策方法
统计决策方法 1.一个简单的例子引出一些基本概念假如我手里拿着一枚硬币,让你猜是多少钱的硬币,这其实就可以看作是一个分类决策的问题:你需要从各种可能的硬币中做出一个决策.如果我告诉你这是一枚一角或五 ...
XY的模式识别学习笔记-最小平方误差准则分类 MSE
最小平方误差准则分类 MSE 最小平方误差准则分类定义简单例题及Matlab代码实现大三数学狗,记录一下学习过程. 最小平方误差准则分类定义对线性不可分的样本集,不等式组 a T y i & ...
模式识别学习笔记（12）——聚类
聚类对一批没有类别标签的样本集,按照样本之间的相似程度分类,相似的归为一类,不相似的归为其它类.这种分类称为聚类分析,也称为无监督分类. --聚类的质量(或结果)取决于对度量标准的选择. --聚类结 ...
模式识别学习笔记——第2章统计学习方法-2.5 正态分布时的统计决策
要学习正态分布有关的统计决策,正态分布相关的知识肯定是必不可少的!!!对于大多数同学来说,一维的正态分布应该是没什么问题,但是一旦涉及多维的正态分布,立刻就傻眼了.书本上对正态分布和性质的回顾,只能说 ...
模式识别学习笔记（一）模式识别初认识
这是本人第一次写博客,把学到的东西以及自己的理解用类似于学习笔记的形式表达出来.如果有不妥的地方,希望大家指正.谢谢! 一.模式识别的定义关于模式识别(pattern recognition)的定义 ...
模式识别学习笔记（11）——线性判别函数
线性判别函数 1.1 用于分类的判别函数的参数形式已知,直接从样本来估计判别函数的参数. 优势:不需要有关概率密度函数的确切的参数形式.因此,属于无参数估计. 利用样本直接设计分类器 1.方法分类: ...
模式识别学习笔记——第2章统计学习方法—2.3最小风险贝叶斯决策
根据场合的不同,我们的决策可能不仅仅是错误率,还有可能是决策错误带来的风险.所谓最小风险贝叶斯决策,就是考虑各种错误造成损失不同时的一种最优决策. 下面用决策论的数学符号表示最小风险贝叶斯决策问题: ...

模式识别学习笔记（6）——特征维数问题

模式识别学习笔记（6）——特征维数问题相关推荐

最新文章

热门文章