特征选择和特征提取，及其分类

特征选择：从大规模的特征空间中提取与所需任务相关的特征。

特征提取：结合任务本身的特点，通过结合和转换原始的特征集，构造出新的特征。

基于特征的选择的机制，特征选择可以分为四类：

1）Filter 方法

特点： 1. 不借助学习算法； 2. 依赖于真实世界的数据集的特征； 3. 一般方式是为每一个特征进行“打分”评估；即给每一维权重赋予权重，权重即代表了该特征的重要性，然后按重要性进行排序。

代表：Chi-squared test （卡方检验）、 information gain （信息增益）、 correlation coefficient scores（相关系数）

2）wrapper 方法

特点：1. 借助学习算法，通过选择出特征评价分类的准确性，来评判特征选择的好坏。 2.计算的复杂度高 3. 一般看成选择最优的特征组合，借助一些常用的优化算法可以解决。

代表： recursive feature elimination algorithm （递归特征消除算法），具体的使用方法可以参考：sklearn 中的 wrapper 方法特征选择

3） embedded 方法

特点：1. 依赖于学习算法选择，不同学习算法使用不同的特征组合

代表：正则化（L1 norm ， L2 norm ， L2-P norm）， Ridge Regression （岭回归）线性回归

4） hybrid 方法

特点： 1. filter 和 wrapper 方法结合物

代表：

参考文献：

Hoque N, Ahmed H A, Bhattacharyya D K, et al. A fuzzy mutual information-based feature selection method for classification[J]. Fuzzy Information and Engineering, 2016, 8(3): 355-384.

https://blog.csdn.net/google19890102/article/details/40019271

特征选择和特征提取，及其分类相关推荐

机器学习之降维（特征选择与特征提取）
一.降维技术主要分为两大类:特征选择和特征提取. 基本概念:特征选择:我们可以选出原始特征的一个子集.特征提取:通过现有信息进行推演,构造出一个新的特征子空间. 为什么要降维: (1)数据的多重 ...
近红外光谱特征选择、特征提取区别及稀疏表示
近红外光谱分析技术已经在很多领域得到了广泛应用,但是实际分析过程中所采集的数据都是高维.复杂的数据信号,如何从复杂的信号中选择出建模所需要的基本数据就是所谓的近红外光谱数据特征筛选或特征选择,特征提取 ...
【老生谈算法】matlab实现特征选择、特征提取算法——特征提取算法
特征选择.特征提取matlab算法实现(模式识别) 1.文档下载: 本算法已经整理成文档如下,有需要的朋友可以点击进行下载序号文档(点击下载) 本项目文档 [老生谈算法]特征选择.特征提取matl ...
paper reading：高光谱遥感影像空谱特征提取与分类方法研究 - 康旭东
这是15年的文章,具有科普的性质. 摘要部分第一段传统的遥感影像处理技术在分析高光谱影像时面临许多问题和挑战:如何解决高维数据小样本识别分类问题.如何实现高维数据的实时处理.如何提升光谱类似地物的 ...
特征提取算法_基于特征选择与特征提取融合的鸡蛋新鲜度光谱快速检测模型优化...
鸡蛋新鲜度为鸡蛋运输.加工以及销售等环节中所需要考察的重要指标.随着鸡蛋新鲜度越来越受重视,新鲜度检测水平亟待提高,其中优化新鲜度检测模型.提高检测效率至关重要.近年来,国内外学者运用光谱分析.介电特 ...
特征选择方法_识别最优的数据驱动特征选择方法以提高分类任务的可重复性
请点击上面"思影科技"四个字,选择关注作者,思影科技专注于脑影像数据处理,涵盖(fMRI,结构像,DTI,ASL,EEG/ERP,FNIRS,眼动)等,希望专业的内容可以给关注者带 ...
识别最优的数据驱动特征选择方法以提高分类任务的可重复性
在机器学习研究中,特征选择是十分重要的一个环节.很多脑影像机器学习研究者更多追求的是所选特征的预测精度,而本文的作者更关注所选特征的可重复性.作者提出的基于图论的FS-Select算法,在挑选出具有可 ...
svm+特征提取做分类
使用SVM做一个图片分类器,主要使用的技术是,各种特征提取方法加上PCA主成分提取,最后用SVM进行图片分类处理. 特征提取这个东西还是比较简单的,前人做的工作很多,源代码也不少.主要采用的不变距.H ...
甲骨文特征提取与分类思路学习
学习目标: 一种基于图形识别的甲骨文分类方法学习与理解学习内容: https://jour.duxiu.com/CPDetail.jsp?dxNumber=330103993412&d=42 ...
edd算法 matlab,特征选择、特征提取MATLAB算法实现(模式识别)
6特征选择 6.1问题对"threethreelarge.m"数据,采用任意一种特征选择算法,选择2个特征 6.2思路采用简单特征选择法(simple feature sele ...

特征选择和特征提取，及其分类

特征选择和特征提取，及其分类相关推荐

最新文章

热门文章