VarianceThreshold

最近在数据的预处理中遇到了VarianceThreshold操作，这是sklearn.feature_selection，就是数据特征值选择，为什么会有这种操作呢，其实这是在进行数据分析之前的一种数据预处理作业，以为我们遇到的数据是复杂多变的，有可能会存在很多个特征值，但是并不是每一个特征值都能很好的体现区分度，那么这样的特征值就不存在分析的价值了。

假设某特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用。而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的的特征选择方法中选择合适的进行进一步的特征选择。

那我们怎么来评判一个特征值是不是存在对分析结果而言的高区分度呢，VarianceThreshold就是来帮我们做这一处理的，这样会简化数据分析的复杂程度，也会使得分析结果更有效的。

下面举一个简单的例子：


def var():var=VarianceThreshold(threshold=1.0)data=var.fit_transform([[0,2,0,3],[0,1,4,3],[0,1,1,3]])print(data)return None
var()

调用函数以后出现的结果是：

[[0][4][1]]

我们发现在三组数据里，我们发现第一列，（注意是观察每一列的数据）全是0，第二列方差小于1，第四列也是相同的值，那么这些列的区分度就会很微弱，也就不具备分析的价值了，而至于threshold的理解，官网上面也给出了具体的解释。

Features with a training-set variance lower than this threshold will be removed. The default is to keep all features with non-zero variance, i.e. remove the features that have the same value in all samples.

如果想了解更多可以访问http://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.VarianceThreshold.html

VarianceThreshold相关推荐

机器学习特征筛选：方差选择法VarianceThreshold
机器学习特征筛选:方差选择法VarianceThreshold 方差是衡量一个变量的离散程度(即数据偏离平均值的程度大小): 变量的方差越大,我们就可以认为它的离散程度越大,也就是意味着这个变量对模型 ...
使用方差阈值过滤（VarianceThreshold）进行特征选择、删除方差低于某一阈值的特征、详解及实战
使用方差阈值过滤(VarianceThreshold)进行特征选择.删除方差低于某一阈值的特征.详解及实战方差阈值(VarianceThreshold)法是一种过滤特征选择法. 我们有一组数值特性, ...
特征选择之方差选择法VarianceThreshold
VarianceThreshold #方差选择法 #使用方差选择法,先要计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征.使用feature_selection库的VarianceThresh ...
sklearn.feature_selection.VarianceThreshold 方差过滤踩过的坑
报错信息: Input contains NaN, infinity or a value too large for dtype('float64'). Input X must be non-ne ...
特征提取，转换和选择
特征提取,转换和选择 Extracting, transforming and selecting features This section covers algorithms for workin ...
机器学习（5）降维 -- 特征选择（低方差过滤与相关系数）与主成分分析（PCA降维）
目录一.基础理论 1.降维定义 2.降维对象及目标二.低方差过滤 1.基础理论 2.API 过程: 1.读取待处理数据集 2.创建低方差过滤转换器(设置过滤阈值) 3.低方差过滤处理代码三.相 ...
【机器学习入门】(12) 特征工程：特征选择、数据降维、PCA
各位同学好,今天我和大家分享一下python机器学习中的特征选择和数据降维.内容有: (1)过滤选择:(2)数据降维PCA:(3)sklearn实现那我们开始吧. 一个数据集中可能会有以下问题: ( ...
最实用的机器学习算法优缺点分析，没有比这篇说得更好了
AI技术年度盛会即将开启!11月8-9日,来自Google.Amazon.微软.Facebook.LinkedIn.阿里巴巴.百度.腾讯.美团.京东.小米.字节跳动.滴滴.商汤.旷视.思必驰.第四范式 ...
盘点｜最实用的机器学习算法优缺点分析，没有比这篇说得更好了
对于机器学习算法的盘点,网上屡见不鲜.但目前,还没人能结合使用场景来把问题说明白,而这一点正是本文的目的所在. 文中作者将结合他的实际经验,细致剖析每种算法在实践中的优势和不足. 本文的目的,是务实. ...
用机器学习神器sklearn做特征工程！
Datawhale干货作者:jasonfreak,编辑:数据STUDIO 使用sklearn做特征工程特征工程是什么? 有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是 ...

VarianceThreshold

VarianceThreshold相关推荐

最新文章

热门文章