如何用python处理缺失值_用Python处理数据集中的缺失值
Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发。
现实生活中的数据经常存在缺失值。产生缺失值的原因有很多,如观察资料未被记录、数据损坏等。由于很多机器学习算法不支持存在缺失值的数据集,正确处理缺失值就显得比较重要了。本文向大家介绍一些使用Python处理数据集中缺失值的方法,旨在帮助大家了解以下内容:
1、如何将数据集中无效或损坏的值标记为缺失值;
2、如何删除数据集中的缺失值;
3、如何通过均值估算数据集中存在的缺失值。
注意:运行本文的示例代码前,请确保已经安装Python2或者Python3,并安装好了Pandas, NumPy和Scikit-Learn,另外Scikit-Learn需要0.18及以上版本。
概览
本文分为以下六个部分的内容:
1、皮马印第安人糖尿病数据集(Pima Indians Diabetes Dataset)--该部分将介绍给大家一个已知存在缺失值的数据集
2、标记缺失值--该部分用来学习如何标记数据集中的缺失值
3、缺失值可能会带来的问题--该部分将了解到当数据集中存在缺失值时会对机器学习算法存在怎样的负面影响
4、删除存在缺失值的行--该部分介绍如何删除数据集中包含缺失值的行
5、估算缺失值--该部分介绍如何使用估算值来替换缺失值
6、支持存在缺失值数据集的一些算法--该部分将了解到一些支持缺失值的算法
首先,先来认识下我们的样例数据集。
1、皮马印第安人糖尿病数据集(Pima Indians Diabetes Dataset)
皮马印第安人糖尿病数据集涉及基于给定的医疗措施预测皮马印第安人5年内糖尿病的发病情况。这是一个二分类问题,每一类对应的观测值数量并不均衡。该数据集共有768组观测值,每组观测值有8个输入变量和1个输出变量。变量名称及含义如下所示:
0列为怀孕次数;
1列为口服葡萄糖耐量试验中2小时后的血浆葡萄糖浓度;
2列为舒张压(单位:mm Hg)
3列为三头肌皮褶厚度(单位:mm)
4列为餐后血清胰岛素(单位:mm)
5列为体重指数(体重(公斤)/ 身高(米)^2)
6列为糖尿病家系作用
7列为年龄
8列为分类变量(0或1)
多数情况下,预测模型的基准水平大约为65%的分辨精度,最高则能达到接近77%的分类精度。
数据集的前五组观测值如下所示:
该数据集已知存在缺失值,某些列中存在的缺失值被标记为0。通过这些列中指标的定义和相应领域的常识可以证实上述观点,譬如体重指数和血压两列中的0作为指标数值来说是无意义的。
点击此处下载数据集到你的当前工作路径,并重命名为pima-indians-diabetes.csv。
2、标记缺失值
在这一部分,我们将学习如何鉴别和标记缺失值。
借助散点图和统计指标,我们能够识别缺失或损坏的数据。
如下图所示,先将数据加载到Pandas模块提供的DataFrame中,然后打印出每个变量的统计信息。
运行上述代码将产生以下结果:
这个结果非常有用:从结果中我们可以看到很多列的最小值为0。而在一些特定列代表的变量中,0值并没有意义,这就表名该值无效或为缺失值。
具体来说,下列变量的最小值为0时数据无意义:
1、血浆葡萄糖浓度
2、舒张压
3、肱三头肌皮褶厚度
4、餐后血清胰岛素
5、体重指数
让我们确认一下原始数据,下述代码打印了数据集的前二十条数据。
代码运行后,可以很清楚得看到第2、3、4、5列的0值。
输出结果容易看出上述几列中每一列缺失值的个数。我们可以把DataFrame中感兴趣的包含0值的那部分子集标记为True,然后计算出对应列中值为True的数量。
上述代码的运行结果如下:
结果显示,第1、2、5列中0值较少;相比较而言,第3、4列中的0值多出数倍,接近总量的一半。
值得注意的是,为了确保有足够的数据量来训练模型,针对不同的列需要有不同的缺失值判断策略。
在Python中,尤其Pandas、Numpy、Scikit-Learn模块中,我们用NaN来标记缺失值。值为NaN的数据均不参与如求和、计数类的运算。
在Pandas的DataFrame中,通过replace()函数可以很方便的将我们感兴趣的数据子集的值标记为NaN。
标记完缺失值之后,可以利用isnull()函数将数据集中所有的NaN值标记为True,然后就可以得到每一列中缺失值的数量了。
上述代码打印了每一列中的缺失值。结果显示,第1-5列中标记后的缺失值的数量和之前打印的0值的数量相等,这表明我们已经正确识别了缺失值。
这是一个很有用的概要。不过为了确保数据准确,我们通常还是会浏览一下原数据。
以下是代码示例,这里只打印了前二十条数据。
以上代码运行后,我们可以很清楚地看到第2、3、4、5列的NaN值。由于第一列中只有5个缺失值,所以在前二十列中看不到值为NaN的情况也挺正常。
从原数据中可以很清楚地看到,对缺失值进行标记达到了预期的效果。
在开始着手处理缺失值之前,让我们先来演示下存在缺失值的数据集将会带来什么问题。
3、缺失值带来的问题
在一些机器学习算法中使用存在缺失值的数据集将会产生运行错误。
在本节中,我们将尝试评估带有缺失值的数据对线性判别分析(LDA)算法的影响。当数据集存在缺失值时,该算法将停止工作。
以下的代码用上一部分的方法标记了数据集中的缺失值,然后尝试用3倍交叉验证来求LDA算法的值并打印其平均精度。
正如所料,代码运行过程中产生了如下错误:
在有缺失值的数据集上应用LDA算法(以及其他算法)求值的过程中我们碰到了问题。接下来,我们开始学习处理缺失值的方法。
4、删除存在缺失值的行
处理缺失值最简单的策略是删除存在缺失值的记录。通过创建一个删除缺失值后的新的Pandas数据框可以实现以上效果。Pandas的dropna()函数可以用来删除存在缺失值的行或列。如下所示,利用dropna()函数我们可以删除所有存在缺失值的行。
上述代码运行后,由于所有存在NaN值的行全部被删除了,可以看到数据集的行数由原来的768大幅减少到392。
经过处理后的数据集已经可以应用到LDA这类对缺失值比较敏感的算法上来。
代码运行成功后会打印模型的预测精度。
删除存在缺失值的行对部分预测模型来说存在诸多局限性,另一种方法是估算缺失值。
5、估算缺失值
估算是指利用模型计算的结果来替代缺失值。
在进行缺失值替换时我们有很多选择,例如:
在域内具有含义且不同于所有其他值的一个常量,例如0
使用另一条随机选取的记录中的对应值
该列的均值、中值或者众数
由另一个预测模型估算的值
对于训练数据及进行的任何估算,必须在将来使用最终确定的模型进行预测时,对新的数据集执行相同的操作。
例如,如果你选择使用列的均值进行缺失值估算,这些列的均值需要保存在文件中供将来存在缺失值的线数据集使用。
Pandas提供了fillna()函数来实现用特定值来替换缺失值。
如下所示,通过fillna()函数我们用每列的均值替换了该列中的缺失值。
代码的最后一行打印了每一列中的缺失值数量,结果显示经过处理已经不存在缺失值了。
scikit-learn库提供了Imputer()预处理类用来替换缺失值。
Impuer是一个很灵活的类,既可以用除了NaN之外的特定值替换缺失值,也可以指定固定的运算结果(如均值、中值、众数)来进行替换。Imputer类直接在NumPy的数组上进行运算而不是Pandas的DataFrame。
下面的代码利用Imputer类使用每一列的均值对缺失值进行了替换,并打印了转置矩阵中NaN值的数量。
运行结果显示所有的NaN值均被成功替换。
使用上述两个方法的任意一种,我们都可以对转化后的数据集中使用对NaN值敏感的算法进行训练,如前面提到的LDA。
下述代码显示了在使用估算方法转换后的数据集上训练LDA算法的过程。
运行结果打印出了使用转换后数据集训练得出的LDA模型的平均精度。
尝试用其他数值来替换缺失值,然后看一下是否能够提升模型的预测精度。
在某些情景中,数据集的缺失值具有一定的意义。下一部分将会学习一些在建模过程中将缺失值作为“值”来处理的一些算法的运用。
6、支持存在缺失值数据集的一些算法
当数据集中存在缺失值时,并不是所有算法都会失效。
有一些算法对缺失值的处理比较灵活,例如K最近邻分类算法(k-Nearest Neighbors)遇到缺失值时,可以将其不计入距离测量。
另外还有一类算法在建立训练模型时会将数据集中的缺失值作为唯一的数值来处理,例如分类和回归树算法。
不幸的是,尽管已经在考虑当中,scikit-learn模块中决策树和K最近邻分类算法的应用中对缺失值的处理并不够健壮。
即便如此,如果你准备使用诸如xgboost之类的其他算法实现或者开发自己的算法,这仍然是一个选择。
总结
在本教程中,你学习了如何处理机器中存在缺失值的数据集。
具体来说,你学到了:
如何将数据集中的缺失值标记为numpy的NaN值
如何删除数据集中存在缺失值的行
如何使用有意义的数值替代数据集中的缺失值
英文原文:http://machinelearningmastery.com/handle-missing-data-python/
译者:mrwoody
如何用python处理缺失值_用Python处理数据集中的缺失值相关推荐
- python 时间序列预测_使用Python进行动手时间序列预测
python 时间序列预测 Time series analysis is the endeavor of extracting meaningful summary and statistical ...
- python 概率分布模型_使用python的概率模型进行公司估值
python 概率分布模型 Note from Towards Data Science's editors: While we allow independent authors to publis ...
- python集群_使用Python集群文档
python集群 Natural Language Processing has made huge advancements in the last years. Currently, variou ...
- 使用python预测基金_使用python先知3 1创建预测
使用python预测基金 This tutorial was created to democratize data science for business users (i.e., minimiz ...
- python网页版_经典python学习教程:20行代码打造一个微信群聊助手,解放双手
今天的Python学习教程教大家如何用20行Python代码实现微信群聊助手,可以用来活跃群气氛,好多群主创建完群后,拉完一群人,之后就一片寂静,有个群聊助手,就可以帮忙活跃群里气氛,通过今天在自己的 ...
- c调用python第三方库_用 Python ctypes 来调用 C/C++ 编写的第三方库
看到一篇简洁的文章--如何用Python ctypes调用C++(ctypes调用C没这么多麻烦事),不敢独享... 如果需要用 Python 调用 C/C++ 编写的第三方库(这些第三方库很可能就是 ...
- python对象引用计数器_在Python中借助计数器对象对项目进行计数
python对象引用计数器 前提 (The Premise) When we deal with data containers, such as tuples and lists, in Pytho ...
- python 网页编程_通过Python编程检索网页
python 网页编程 The internet and the World Wide Web (WWW), is probably the most prominent source of info ...
- python机器学习预测_使用Python和机器学习预测未来的股市趋势
python机器学习预测 Note from Towards Data Science's editors: While we allow independent authors to publish ...
最新文章
- 在Proteus中添加标号
- Java 技术篇-java连接并操作数据库实例演示,执行查询、插入、更新和删除操作
- 指令流水 一个时钟周期 出一个结果_以SM3算法为例,构建一个软硬协作算法加速器:性能分析与优化...
- 文巾解题 16. 最接近的三数之和
- ldap基本dn_2020年,手把手教你如何在CentOS7上一步一步搭建LDAP服务器的最新教程...
- VTK:Math之PerpendicularVector
- 列车停站方案_4月10日零时起阜阳高铁、铁路大调图!最新列车时刻表来了!看看有没有你经常乘坐的列车?...
- eclipse中配置c++开发环境 Eclipse + CDT + MinGW
- bzoj 3504: [Cqoi2014]危桥(最大流)
- 天龙源码框架分析_天龙源码分析 - 客户端登录流程
- 2021年最新的Java面试题,精选100题,大厂必备
- 面试鹅厂,我被虐的体无完肤。。。
- 代码管理学:常量类应该单独一个目录,还是在模块目录下?
- 线性系统和非线性系统——《应用非线性动力学》读书笔记
- 神经网络,多输入多输出
- 26字母 导航 android,Android自定义View实现字母导航栏的代码
- Windows 2008 Server线程池前瞻(原创)
- 传统数据库辉煌不再,云数据库迎来黄金时代
- 设计,让交叉口更安全
- HTML5的字体样式设置方法