sklearn与pandas的缺失值处理

housing数据集中的total_bedrooms有部分缺失，对于缺失值，通常我们有以下几种方式处理：

放弃有缺失值的样本
放弃整个特征
将缺失值设置为某个默认值：0、平均值、中位数等。

pandas方式

通过DataFrame的dropna(), drop()和fillna()函数，可以方便的实现以上3个功能：

housing.dropna(subset=['total_bedrooms'])
housing.info()housing.drop('total_bedrooms', axis = 1)
housing.info()median = housing['total_bedrooms'].median()
housing['total_bedrooms'].fillna(median,inplace=True)
housing.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 20640 entries, 0 to 20639
Data columns (total 10 columns):#   Column              Non-Null Count  Dtype
---  ------              --------------  -----  0   longitude           20640 non-null  float641   latitude            20640 non-null  float642   housing_median_age  20640 non-null  float643   total_rooms         20640 non-null  float644   total_bedrooms      20640 non-null  float645   population          20640 non-null  float646   households          20640 non-null  float647   median_income       20640 non-null  float648   median_house_value  20640 non-null  float649   ocean_proximity     20640 non-null  object
dtypes: float64(9), object(1)
memory usage: 1.6+ MB

sklearn方式

使用pandas方式需要对每个属性进行处理，我们使用sklearn来批量处理整个数据集的所有属性。

sklearn提供了一个非常容易上手的类来处理缺失值：Simpleimputer。同时，由于中位数只能在数值类属性上计算，所以我们需要创建一个没有文本属性ocean_proximity的数据副本：

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy = 'median')
housing_num = housing.drop('ocean_proximity', axis=1)# fit、transform，然后转换回DataFrame
imputer.fit(housing_num)
X = imputer.transform(housing_num)
housing_num_pd = pd.DataFrame(X, columns=housing_num.columns, index=housing_num.index)

我们可以看一下各个属性的中位数：

print(imputer.statistics_)
print(housing_num.median().values)

[-1.1849e+02  3.4260e+01  2.9000e+01  2.1270e+03  4.3500e+02  1.1660e+034.0900e+02  3.5348e+00  1.7970e+05]
[-1.1849e+02  3.4260e+01  2.9000e+01  2.1270e+03  4.3500e+02  1.1660e+034.0900e+02  3.5348e+00  1.7970e+05]

sklearn与pandas的缺失值处理相关推荐

Sklearn Impute SimpleImputer 处理缺失值
Sklearn 有专门处理缺失值的模块 sklearn.impute.SimpleImputer,本文将探究如何用 Sklearn 中的预处理模块中的 Impute.SimpleImputer 处理缺 ...
pandas对缺失值NaN处理
看下面这张图片,其中有缺失值NaN,处理数据时需要先对缺失值进行处理 1 .如何处理缺失值nan 获取缺失值的标记方式(NaN或者其他标记方式) 如果缺失值的标记方式是NaN 判断数据中是否包含NaN ...
pandas dataframe缺失值（np.nan）处理：识别缺失情况、删除、0值填补、均值填补、中位数填补、加缺失标签、插值填充详解及实例
pandas dataframe缺失值(np.nan)处理:识别缺失情况.删除.0值填补.均值填补.中位数填补.加缺失标签.插值填充详解及实例 isnull().natna().isna().fill ...
pandas统计缺失值的个数
pandas 统计缺失值个数,可以使用 df['whole_post_clean'].isnull().sum()
Python之pandas：pandas中缺失值与空值处理的简介及常用函数(drop()、dropna()、isna()、isnull()、fillna())函数详解之详细攻略
Python之pandas:pandas中缺失值与空值处理的简介及常用函数(drop().dropna().isna().isnull().fillna())函数详解之详细攻略目录 pandas中缺 ...
python替换缺失值_详解Pandas 处理缺失值指令大全
前言运用pandas 库对所得到的数据进行数据清洗,复习一下相关的知识. 1 数据清洗 1.1 处理缺失数据对于数值型数据,分为缺失值(NAN)和非缺失值,对于缺失值的检测,可以通过Python中 ...
python查询缺失值所在位置_Python Pandas找到缺失值的位置方法
问题描述: python pandas判断缺失值一般采用 isnull(),然而生成的却是所有数据的true/false矩阵,对于庞大的数据dataframe,很难一眼看出来哪个数据缺失,一共有多少个 ...
pandas 处理缺失值[dropna、drop、fillna]
面对缺失值三种处理方法: option 1: 去掉含有缺失值的样本(行) option 2:将含有缺失值的列(特征向量)去掉 option 3:将缺失值用某些值填充(0,平均值,中值等) 对于drop ...
【机器学习技巧】之特征工程：数字编码以及One-hot独热编码的几种方式（sklearn与pandas处理方式)
本文主要对OneHot独热编码进行了简单介绍,同时介绍了在sklearn与pandas中进行数字编码以及One-hot独热编码的几种方式. 目录 1. OneHot独热编码介绍 1.1 为什么要用On ...

sklearn与pandas的缺失值处理

pandas方式

sklearn方式

sklearn与pandas的缺失值处理相关推荐

最新文章

热门文章