1. 原理

该方法假设特征子集的重要性是由子集中的每个特征所对应的相关统计分量之和所决定的。

所以只需要选择前 k k k 个大的相关统计量对应的特征，或者大于某个阈值的相关统计量对应的特征即可。

2. 公式

2.1 二分类

其中：

δ j \delta_j δj ：属性 j j j 的相关统计量；

x i j x_i^j xij：样本 x i x_i xi 中属性 j j j 的值；

x i , n h j x_{i,nh}^j xi,nhj：样本 x i x_i xi 的 “猜中近邻” x i , n h x_{i,nh} xi,nh 中属性 j j j 的值；

x i , n m j x_{i,nm}^j xi,nmj：样本 x i x_i xi 的 “猜错近邻” x i , n m x_{i,nm} xi,nm 中属性 j j j 的值；

d i f f ( x i j , x i , n h j ) diff(x_i^j,x_{i,nh}^j) diff(xij,xi,nhj)：样本 x i x_i xi 和 x i , n h x_{i,nh} xi,nh 在属性 j j j 上值的差异；

d i f f ( x i j , x i , n m j ) diff(x_i^j,x_{i,nm}^j) diff(xij,xi,nmj)：样本 x i x_i xi 和 x i , n m x_{i,nm} xi,nm 在属性 j j j 上值的差异；

若属性值为离散型，则 d i f f diff diff 当且仅当属性值相等时为 0，否则为 1；若属性值为连续型，则 d i f f diff diff 表示为距离。

2.2 多分类

δ j \delta_j δj ：属性 j j j 的相关统计量；

x i j x_i^j xij：样本 x i x_i xi 中属性 j j j 的值；

x i , n h j x_{i,nh}^j xi,nhj：样本 x i x_i xi 的 “猜中近邻” x i , n h x_{i,nh} xi,nh 中属性 j j j 的值；

p l p_l pl：第 l l l 类样本的比例；

x i , l , n m j x_{i,l,nm}^j xi,l,nmj：样本 x i x_i xi 的第 l l l 类的 “猜错近邻” x i , l , n m x_{i,l,nm} xi,l,nm 中属性 j j j 的值；

d i f f ( x i j , x i , n h j ) diff(x_i^j,x_{i,nh}^j) diff(xij,xi,nhj)：样本 x i x_i xi 和 x i , n h x_{i,nh} xi,nh 在属性 j j j 上值的差异；

d i f f ( x i j , x i , l , n m j ) diff(x_i^j,x_{i,l,nm}^j) diff(xij,xi,l,nmj)：样本 x i x_i xi 和 x i , l , n m x_{i,l,nm} xi,l,nm 在属性 j j j 上值的差异；

3. 参考

知乎：特征选择–我要鼓励娜扎

特征选择 Relief 方法相关推荐

机器学习中的特征——特征选择的方法以及注意点
机器学习中的特征--特征选择的方法以及注意点 https://blog.csdn.net/google19890102/article/details/40019271 关于机器学习中的特征我有话要说 ...
关于机器学习特征选择的方法总结
机器学习特征选择的方法总结 1.特征选择的重要性随着深度学习的发展, 大大缩减了特征提取和设计的任务. 不过, 特征工程依然是各种机器学习应用领域的重要组成部分.其中对于特征选择(排序)的研究对于数 ...
特征选择/筛选方法总结
作者:jliang https://blog.csdn.net/jliang3 1.特征选择介绍 1)特征分类相关特征:对于学习任务(例如分类问题)有帮助,可以提升学习算法的效果: 无关特征:对于我 ...
机器学习5种特征选择的方法！
我们知道模型的性能会随着使用特征数量的增加而增加.但是,当超过峰值时,模型性能将会下降.这就是为什么我们只需要选择能够有效预测的特征的原因. 特征选择类似于降维技术,其目的是减少特征的数量,但是从根本 ...
【特征工程】不容错过的 5 种特征选择的方法！
特征选择是从原始特征中选择出一些最有效特征以降低数据集维度.提高法性能的方法. 我们知道模型的性能会随着使用特征数量的增加而增加.但是,当超过峰值时,模型性能将会下降.这就是为什么我们只需要选择能够有 ...
特征选择----relief及reliefF算法
relief算法 Relief算法最早由Kira提出,最初局限于两类数据的分类问题.Relief算法是一种特征权重算法(Feature weighting algorithms),根据各个特征和类别的 ...
特征选择（模型输入参数的分析选择）方法汇总
特征选择是模式识别和机器学习领域的重要研究课题之一.为了提高准确率, 人们往往最大限度地提取特征信息.然而, 过大的特征向量维数不仅导致计算成本的增加, 复杂运算也随之带来分类识别率的下降.因此, 通 ...
【机器学习】特征选择方法—Filter，Wrapper，Embedded
[机器学习]特征选择方法什么是特征选择? 为什么需要特征选择? 特征选择的两个关键环节常见的特征选择方法参考链接: 什么是特征选择? Feature Selection 是在模型构建过程中选择最 ...
数据维度爆炸怎么办？详解5大常用的特征选择方法
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:Edwin Jarvis,cnblog博客整理在许多机器学习相关 ...

特征选择 Relief 方法

文章目录