特征选择方法不少，这里介绍CFS（特征相关的特征选择）

一、相关性特征选择CFS

CFS是能确定所选子集特征个数的特征选择方法，该法估计特征子集、并对特征子集而不是单个特征进行排秩。CFS的核心是采用启发的方式评估特征子集的价值；启发方式基于的假设：好的特征子集包含与分类高度相关的特征，但特征之间彼此不相关。

$Merit_s = \frac{{kr_{cf}^-}}{\sqrt{k+k(k-1)r_{ff}^-}}$

其中，S 是特征子集，包含 k个特征， $r_{cf}^-$ 是平均的特征和类之间的相关性， $r_{ff}^-$ 是平均的特征和特征之间的相关性。

CFS采用对称不确定性SU计算上式中的相关性:

$SU=2*\frac{H(x)+H(Y)-H(X,Y)}{H(X)+H(Y)}$

CFS首先从训练集中计算特征-类和特征-特征相关矩阵，然后用最佳优先搜索（best first search）搜索特征子集空间。也可使用其他的搜索方法，包括前向选择(forward selection)，后向消除(backward elimination)。前向选择刚开始没有特征，然后贪心地增加一个特征直到没有合适的特征加入。后向消除开始有全部特征，然后每一次贪心地去除一个特征直到估计值不再降低。最佳优先搜索和前两种搜索方法差不多。可以开始于空集或全集，以空集S为例，开始时没有特征选择，并产生了所有可能的单个特征；计算特征的估计值（由merit值表示），并选择merit值最大的一个特征进入S，然后选择第二个拥有最大的merit值的特征进入S，如果这两个特征的merit值小于原来的merit值，则去除这个第二个最大的merit值的特征，然后在进行下一个，这样依次递进，找出使merit最大的特征组合。

它的时间复杂度为 $m*\frac{n*(n-1)}{2}$ ,m是子集中特征个数，n是全部特征个数;

二、实现步骤和流程

关于特征选择还有其它方法，以后慢慢介绍。

参考文档：

(1条消息) python特征选择（一款非常棒的特征选择工具：feature-selector）_youif的博客-CSDN博客_python特征选择https://blog.csdn.net/youif/article/details/104830519A Feature Selection Tool for Machine Learning in Python | by Will Koehrsen | Towards Data Sciencehttps://towardsdatascience.com/a-feature-selection-tool-for-machine-learning-in-python-b64dd23710f0

机器学习：如何用相关性实现特征选择？相关推荐

机器学习中，有哪些特征选择的工程方法？
机器学习中,有哪些特征选择的工程方法? 数据和特征决定了机器学习的上限,而模型和算法调参只是逼近这个上限而已. 0,特征本身是否具有基础的表征能力或者判别性,例如方差筛选法.方差是衡量一个变量的离散程 ...
机器学习-特征工程中的特征选择
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
机器学习：数据降维（特征选择和主成分分析）
数据降维这里需要注意,我们当前说的降维是特征的数量,比如说四个特征我们可以说是四维特征,不是数组的降维. 数据降维就是把特征数量进行减少. 数据降维方式: 1.特征选择 2.主成分分析 1.特征选择 ...
特征选择之基于相关性的特征选择（CFS）
此为本人学习笔记,转载请劳烦告知! 特征选择特征抽取整合原始特征,这样可能产生一些新的特征,而特征选择是去除无关紧要或庸余的特征,仍然还保留其他原始特征.特征提取主要用于图像分析,信号处理和信息检索 ...
matlab 归一化_机器学习中如何用Fscore进行特征选择（附Matlab代码）
作者:kervin 编辑:阿吉目前,机器学习在脑科学领域的应用可谓广泛而深入,不论你是做EEG/ERP研究,还是做MRI研究,都会看到机器学习的身影.机器学习最简单或者最常用的一个应用方向是分类,如 ...
f score matlab,机器学习中如何用F-score进行特征选择
<本文同步发布于"脑之说"微信公众号,欢迎搜索关注~~> 目前,机器学习在脑科学领域的应用可谓广泛而深入,不论你是做EEG/ERP研究,还是做MRI研究,都会看到机器学 ...
一文介绍机器学习中的三种特征选择方法
作者 | luanhz 来源 | 小数志导读机器学习中的一个经典理论是:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.也正因如此,特征工程在机器学习流程中占有着重要地位.广义的特征 ...
机器学习实战第一步：特征选择与特征工程「附代码」
https://www.toutiao.com/a6641904652575048206/ 2019-01-02 22:41:05 特征工程是机器学习的第一步,涉及清理现有数据集.提高信噪比和降低维数 ...
python线性回归分析看相关性_机器学习入门：相关性分析之线性回归
一.前言机器学习--特征与标签 : 输入模型的属性是"特征",输出的是"标签" 机器学习的核心是"使用算法解析数据,从中学习,然后对世界上的某件事情 ...

机器学习：如何用相关性实现特征选择？

一、相关性特征选择CFS

二、实现步骤和流程

机器学习：如何用相关性实现特征选择？相关推荐

最新文章

热门文章