【特征选择】过滤式特征选择法

# 过滤式特征选择法的原理

使用发散性或相关性指标对各个特征进行评分，选择分数大于阈值的特征或者选择前K个分数最大的特征。具体来说，计算每个特征的发散性，移除发散性小于阈值的特征/选择前k个分数最大的特征；计算每个特征与标签的相关性，移除相关性小于阈值的特征/选择前k个分数最大的特征。

# 过滤式特征选择法的特点

特征选择过程与学习器无关，相当于先对初始特征进行过滤，再用过滤后的特征训练学习器。过滤式特征选择法简单、易于运行、易于理解，通常对于理解数据有较好的效果，但对特征优化、提高模型泛化能力来说效果一般。

# 常用的过滤式特征选择法

方差选择法（发散性）

使用方差作为特征评分标准，如果某个特征的取值差异不大，通常认为该特征对区分样本的贡献度不大，因此在构造特征过程中去掉方差小于阈值的特征。注意：方差选择法适用于离散型特征，连续型特征需要须离散化后使用；方差较小的特征很少，方差选择法简单但不好用，一般作为特征选择的预处理步骤，先去掉方差较小的特征，然后使用其他特征选择方法选择特征。

# -*- coding: utf-8 -*-
# 载入数据
from sklearn.datasets import load_iris
iris = load_iris()
print("iris特征名称\n",iris.feature_names)
print("iris特征矩阵\n",iris.data)# 特征选择--方差选择法
from sklearn.feature_selection import VarianceThreshold
vt = VarianceThreshold(threshold = 1)  # threshold为方差的阈值，默认0
vt = vt.fit_transform(iris.data)       # 函数返回值为特征选择后的特征
print("方差选择法选择的特征\n",vt)

卡方检验法（相关性）（分类问题）

使用统计量卡方检验作为特征评分标准，卡方检验值越大，相关性越强（卡方检验是评价定性自变量对定性因变量相关性的统计量）

# -*- coding: utf-8 -*-
# 载入数据
from sklearn.datasets import load_iris
iris = load_iris()# 特征选择
from sklearn.feature_selection import SelectKBest # 移除topK外的特征
from sklearn.feature_selection import chi2        # 卡方检验skb = SelectKBest(chi2,k=2)
new_data = skb.fit_transform(iris.data,iris.target)

皮尔森相关系数法法（相关性）（回归问题）

使用pearson系数作为特征评分标准，相关系数绝对值越大，相关性越强（相关系数越接近于1或-1时，相关性越强；相关系数越接近于0时，相关性越弱）。特点：皮尔森相关系数法能够衡量线性相关的特征集。

# -*- coding: utf-8 -*-
# 载入数据
from sklearn.datasets import load_iris
irisdata = load_iris()# 特征选择（pearson相关系数法）
from sklearn.feature_selection import SelectKBest  # 移除topK外的特征
from scipy.stats import pearsonr                   # 计算皮尔森相关系数
from numpy import array"""
# 函数返回值：保留topk特征，移除topk外特征
# 第一个参数：皮尔森相关系数（输入特征矩阵和目标向量，输出二元组（评分，P），二数组第i项为第i个特征的评分和p值
# 第二个参数：topK个数
"""
skb = SelectKBest(lambda X, Y: tuple(map(tuple,array(list(map(lambda x:pearsonr(x, Y), X.T))).T)), k=3)
skb = skb.fit_transform(irisdata.data, irisdata.target)

互信息系数法（相关性）

特点：互信息系数法能够衡量各种相关性的特征集，计算相对复杂。

转载于:https://www.cnblogs.com/wanglei5205/p/8973680.html

【特征选择】过滤式特征选择法相关推荐

特征选择-过滤式选择
过滤式方法先按照某种规则对数据集进行特征选择,然后再训练学习器,特征选择过程与后续学习器无关,这相当于先用特征选择过程对初始特征进行"过滤",再用过滤后的特征来训练模型. [某种规 ...
《机学三》特征工程3 —— 特征选择：特征选择、数据降维
一.概述 1.1[降维] [维降]:把三维降成二维,本质就是减少特征数量: 1.2[特征选择] 什么是特征选择: 特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择后 ...
特征选择、特征选择方法
特征选择.特征选择方法目录特征选择.特征选择方法特征选择特征选择方法特征选择特征选择是
python文本特征选择,机器学习--特征选择（Python实现）
特征选择就是从原始特征中选取一些最有效的特征来降低维度,,提高模型泛化能力减低过拟合的过程,主要目的是剔除掉无关特征和冗余特征,选出最优特征子集: 常见的特征选择方法可以分为3类:过滤式(filter ...
06_特征选择，特征选择的原因，sklearn特征选择API
1.特征选择在现实生活中,一个对象往往具有很多属性(以下称为特征),这些特征大致可以被分成三种主要的类型: 1.相关特征: 对于学习任务(例如分类问题)有帮助,可以提升学习算法的效果: 2.无关特征 ...
分词之后的如何做特征选择_特征选择怎么做？这篇文章告诉你
作者 | Pier Paolo Ippolito 翻译 | Skura 编辑 | 唐里原文标题:Feature Selection Techniques 据<福布斯>报道,每天大约会有 ...
lasso特征选择python_特征选择怎么做？这篇文章告诉你
原标题:特征选择怎么做?这篇文章告诉你照片由 Clem Onojeghuo 发布在 Unsplash 上面作者 | Pier Paolo Ippolito 翻译 | Skura 编辑 | 唐里原 ...
python 卡方检验特征选择_特征选择之卡方检验
特征选择的常用方法之一是卡方检验,作为一个filter model的代表,卡方检验属于简单易计算的Feature weight algorithm(通过一定的measure方法给特征赋上一定的weig ...
浅谈特征选择的原理和Python实现
0.引言在现实世界中,我们总是倾向于收集尽可能多的特征来描述一个事物,以期能够更加全面准确的对其进行刻画.然而,我们了解事物的目的是变化着的,所以并非每一次对事物的刻画都需要所有特征.例如在机器学习 ...

【特征选择】过滤式特征选择法

【特征选择】过滤式特征选择法相关推荐

最新文章

热门文章