Sklearn Impute SimpleImputer 处理缺失值

Sklearn 有专门处理缺失值的模块 sklearn.impute.SimpleImputer，本文将探究如何用 Sklearn 中的预处理模块中的 Impute.SimpleImputer 处理缺失值。

一、模块介绍
官网详解在 part 6.4 Imputation of missing values：https://scikit-learn.org/stable/modules/impute.html

它包含四个重要参数：

二、示例应用
接下来将用实例来讲解如何使用填补缺失值：

1）数据来源及数据基本信息

>>> from sklearn.impute import SimpleImputer
>>> import pandas as pd
>>> import numpy as np
>>> data=pd.read_csv(r'C:\Users\Administrator\Desktop\titanic\train.csv',index_col=0)
>>> data.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 891 entries, 1 to 891
Data columns (total 11 columns):
Survived    891 non-null int64
Pclass      891 non-null int64
Name        891 non-null object
Sex         891 non-null object
Age         714 non-null float64
SibSp       891 non-null int64
Parch       891 non-null int64
Ticket      891 non-null object
Fare        891 non-null float64
Cabin       204 non-null object
Embarked    889 non-null object
dtypes: float64(2), int64(4), object(5)
memory usage: 83.5+ KB
>>> data.shape
(891, 11)

数据概要：实例使用的是泰坦尼克号数据集，查看数据集基本信息，发现Age、Cabin、Embarkde这三个字段均有数据缺失。其中Cabin缺失687条，Age缺失177条，Embarked缺少2条数据。下面示例应用将以填充数据集的[Age]字段为例。

2）缺失值处理应用
1、均值填充

age=data['Age'].values.reshape(-1,1)  #取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维from sklearn.impute import SimpleImputer #导入模块
imp_mean=SimpleImputer(missing_values=np.nan,strategy='mean')  #实例化，均值填充
imp_mean=imp_mean.fit_transform(age)     #fit_transform一步完成调取结果data['Age']=imp_mean       #填充好的数据传回到 data['Age']列data['Age'].isnull().sum() #检验是否还有空值，为0即说明空值均已被填充

2、中值填充

age=data['Age'].values.reshape(-1,1)         #取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维from sklearn.impute import SimpleImputer     #导入模块
imp_median=SimpleImputer(missing_values=np.nan,strategy='median')    #实例化，中值填充
imp_median=imp_median.fit_transform(age)     #fit_transform一步完成调取结果
data['Age']=imp_median       #填充好的数据传回到 data['Age']列
data['Age'].isnull().sum()   #检验是否还有空值，为0即说明空值均已被填充

3、众数填充

age=data['Age'].values.reshape(-1,1)  #取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维from sklearn.impute import SimpleImputer #导入模块
imp_most_frequent=SimpleImputer(missing_values=np.nan,strategy='most_frequent')  #实例化，众数填充
imp_most_frequent=imp_most_frequent.fit_transform(age)     #fit_transform一步完成调取结果
data['Age']=imp_most_frequent       #填充好的数据传回到 data['Age']列
data['Age'].isnull().sum()          #检验是否还有空值，为0即说明空值均已被填充

4、常数填充（填充0，填充1等常数）

age=data['Age'].values.reshape(-1,1)  #取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维from sklearn.impute import SimpleImputer       #导入模块
imp_0=SimpleImputer(missing_values=np.nan,strategy='constant',fill_value=0)  #实例化，填充常数0，填充常数需strategy与fill_value一同使用
imp_0=imp_0.fit_transform(age)     #fit_transform一步完成调取结果
data['Age']=imp_0                   #填充好的数据传回到 data['Age']列
data['Age'].isnull().sum()          #检验是否还有空值，为0即说明空值均已被填充

转自：https://www.jianshu.com/p/2c59147e1df1

Sklearn Impute SimpleImputer 处理缺失值相关推荐

数据缺失值补全方法 sklearn.impute.SimpleImputer 使用实例
一.环境 Python 3.7.3(Anaconda 3) sklearn.version'0.20.3' 二.方法对数据中的缺失值进行插补官方说明:https://scikit-learn.or ...
sklearn.impute.SimpleImputer
官方:link class sklearn.impute.SimpleImputer(*, missing_values=nan, strategy='mean', fill_value=None, ...
sklearn.impute.KNNImputer插值寻找近邻的原理
前言最近预处理数据需要使用插值来填充: 首先是sklearn.impute.SimpleImputer方法, strategy 只有mean, median等: 我需要相邻的邻居值来做插值, 所以选 ...
数据预处理2: impute.SimpleImputer来填补缺失值
import numpy as np import pandas as pd import matplotlib.pyplot as plt data = pd.read_csv("trai ...
sklearn与pandas的缺失值处理
housing数据集中的total_bedrooms有部分缺失,对于缺失值,通常我们有以下几种方式处理: 放弃有缺失值的样本放弃整个特征将缺失值设置为某个默认值:0.平均值.中位数等. panda ...
ModuleNotFoundError: No module named 'sklearn.impute'
(-￣▽￣)- 当我在 jupyter notebook 输入 from sklearn.impute import SimpleImputer 是它报错显示: ModuleNotFoundError ...
出现ModuleNotFoundError: No module named ‘sklearn.impute‘的问题
在jupyter notebook上输入from sklearn.impute import SimpleImputer,出现ModuleNotFoundError: No module named ...
No module named 'sklearn.impute'，更新scikit-learn
-------我错了,本篇作废,我把自己的包更新坏了,大家不要往下看了------------------最终我是把anaconda卸载重装的--------- 使用scikit-learn模块进行缺 ...
ImportError: cannot import name ‘IterativeImputer‘ from ‘sklearn.impute‘ 解决思路
一.报错信息导入多特征变量包的时报错 ImportError: cannot import name 'IterativeImputer' from 'sklearn.impute' (C:\Pro ...

Sklearn Impute SimpleImputer 处理缺失值

Sklearn Impute SimpleImputer 处理缺失值相关推荐

最新文章

热门文章