特征选择算法之 ReliefF 算法

转自：https://blog.csdn.net/yoyodelphine/article/details/52153651

ReliefF算法是Relief算法的扩展， Relief算法只适用于两类样本的问题， ReliefF算法可以应用到多个样本上。

ReliefF算法步骤如下：

现有不同类别的样本若干，对每类样本称作 Xn。

1. 从所有样本中，随机取出一个样本a。

2. 在与样本a相同分类的样本组内，取出k个最近邻样本。

3. 在所有其他与样本a不同分类的样本组内，也分别取出k个最近邻样本。

4. 计算每个特征的权重。

对于每个特征的权重有：

其中， p(C) 为该类别的比例。 p(Class(R)) 为随机选取的某样本的类别的比例。

可以看到，权重意义在于，减去相同分类的该特征差值，加上不同分类的该特征的差值。（若该特征与分类有关，则相同分类的该特征的值应该相似，而不同分类的值应该不相似）

最后可以根据权重排序，得到合适的特征。

特征选择算法之 ReliefF 算法相关推荐

特征选择之Relief算法与Relief-F算法
特征选择之Relief算法与Relief-F算法一.背景介绍二.Relief算法三.Relief-F算法参考资料一.背景介绍 Relief算法是由Kira提出的一种经典的过滤式特征选择算法, ...
特征选择----relief及reliefF算法
relief算法 Relief算法最早由Kira提出,最初局限于两类数据的分类问题.Relief算法是一种特征权重算法(Feature weighting algorithms),根据各个特征和类别的 ...
Matlab中特征选择reliefF算法使用方法（分类与回归）
1. ReliefF简介 ReliefF是特征选择的一种算法,在高维特征样本中,选取部分具有代表性的特征,从而降低样本特征维度.它也是relief算法的进阶.Relief算法只能用来做二分类,但其算法 ...
特征工程特征选择 reliefF算法
特征工程特征选择 reliefF算法背景运行效果背景由于最近在整理一些特征工程的内容,当整理到特征选择算法的时候有reliefF算法,感觉算法挺常见的,应该在sklearn上能找到,但是找了 ...
利用ReliefF算法对特征变量做重要性排序，实现特征选择
利用ReliefF算法对特征变量做重要性排序,实现特征选择. 替换数据即可. 基于relieff算法的分类预测. 通过重要性排序图,选择重要的特征变量,来实现数据降维的目的. matlab语言. ID ...
特征选择 ReliefF算法
一.算法 Relief算法最早由Kira提出. 基本内容:从训练集D中随机选择一个样本R, 然后从和R同类的样本中寻找k最近邻样本H,从和R不同类的样本中寻找k最近邻样本M, 最后按照公式更新特征权重 ...
特征选择之relief及reliefF算法
relief算法 Relief算法最早由Kira提出,最初局限于两类数据的分类问题.Relief算法是一种特征权重算法(Feature weighting algorithms),根据各个特征和类别的 ...
[学习笔记] [机器学习] 8. 聚类算法（聚类算法：K-means、K-means++；聚类算法评估；特征降维：特征选择（Pearson相关系数、Spearman相关系数）、PCA主成分分析）
视频链接数据集下载地址:无需下载 1. 聚类算法简介学习目标: 掌握聚类算法实现过程知道 K-means 算法原理知道聚类算法中的评估模型说明 K-means 的优缺点了解聚类中的算法优化 ...
数据挖掘经典十大算法_C4.5算法
C4.5算法一.对算法的通俗理解 C4.5算法是在ID3算法上的改进而来,为啥这么说呢?首先,我们知道ID3算法的核心是在决策树各个结点上应用信息增益做为特征选择的标准,递归的构建决策树,信息增益 ...
（学习笔记）十大经典算法——K-means聚类算法
概述聚类算法是在无监督的情况下将对象自动分组的一种分析方法,典型的聚类算法分为三个阶段:特征选择和特征提取,数据对象间相似度计算,根据相似度将数据对象分组.聚类算法的目标是将数据集合分成若干簇,使得 ...

特征选择算法之 ReliefF 算法

特征选择算法之 ReliefF 算法相关推荐

最新文章

热门文章