Pandas系列(五)对缺失值的处理

文章目录

读取数据
检测空值
删除空值
填充空值

Pandas主要有三类函数处理缺失值，对其分类可以分为检测、丢弃和填充。

isnull和notnull：检测是否是空值，可用于df和series。
dropna：丢弃、删除缺失值。这个函数有三个参数：
1. axis : 删除行还是列，{0 or ‘index’, 1 or ‘columns’}, default 0按行删除。
2. how : 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除。
3. inplace : 如果为True则修改当前df，否则返回新的df。
fillna：填充空值，有四个参数：
1. value：用于填充的值，可以是单个值，或者字典（key是列名，value是值）
2. method : 等于ffill使用前一个不为空的值填充forword fill；等于bfill使用后一个不为空的值填充backword fill。
3. axis : 按行还是列填充，{0 or ‘index’, 1 or ‘columns’} default 0按行填充。
4. inplace : 如果为True则修改当前df，否则返回新的df

读取数据

参数skiprows=2表示忽略读取前两行，从第三行开始读取：

可以看到数据中有很多空值nan。

检测空值

检测所有行和列的空值(isnull())情况：

检测某一列的空值(isnull())和非空值(notnull())情况：

通过检测为空或者非空的结果(True or False)就可以对DataFrame进行筛选：

删除空值

删除掉全是空的列，axis="columns"参数表示的就是按列删除：

删除掉全是空值的行：

填充空值

这里的填充空值提供3种方式：

采用字典的方法：

采用赋值的方法：

使用前面的有效值填充，用ffill：forward fill：

最后可以将其写入到excel中去：

studf.to_excel("./aa.xlsx", index=False)

Pandas系列(五)对缺失值的处理相关推荐

Pandas系列(五)：可视化绘图
Pandas系列目录文章目录一. 简介二. 思维导图三. Pandas可视化绘图 1. Pandas绘图基本方法 2. plot模块 2.1 简单图表 2.1.1 绘图函数 2.1.2 进阶用 ...
Python 数据分析三剑客之 Pandas（五）：统计计算与统计描述
CSDN 课程推荐:<迈向数据科学家:带你玩转Python数据分析>,讲师齐伟,苏州研途教育科技有限公司CTO,苏州大学应用统计专业硕士生指导委员会委员:已出版<跟老齐学Python ...
pandas用众数填充缺失值_7步搞定数据清洗－Python数据清洗指南
脏数据就是在物理上临时存在过,但在逻辑上不存在的数据. 数据清洗是整个数据分析过程的第一步,就像做一道菜之前需要先择菜洗菜一样.数据分析师经常需要花费大量的时间来清洗数据或者转换格式,这个工作甚至会占 ...
【机器学习】实战系列五——天文数据挖掘实验（天池比赛）
系列文章目录学习笔记: [机器学习]第一章--机器学习分类和性能度量 [机器学习]第二章--EM(期望最大化)算法 [机器学习]第六章--概率无向图模型实战系列: [机器学习]实战系列一--波士顿 ...
Pandas系列(三)：数据清洗
Pandas系列目录文章目录一. 简介二. 思维导图三. Pandas数据清洗 1. 空值.缺失值处理 1.1 空值.缺失值判断 1.2 空值处理 2. 异常数据替换 2.1 条件替换 2.2 ...
python解复杂方程_Python数据处理篇之Sympy系列(五)---解方程
前言 sympy不仅在符号运算方面强大,在解方程方面也是很强大. 本章节学习对应官网的:Solvers 官方教程 (一)求解多元一次方程-solve() 1.说明: 解多元一次方程可以使用solve( ...
《ASP.NET Core In Action》读书笔记系列五 ASP.NET Core 解决方案结构解析1
<ASP.NET Core In Action>读书笔记系列五 ASP.NET Core 解决方案结构解析1 参考文章: (1)<ASP.NET Core In Action> ...
Silverlight Blend动画设计系列五：故事板(StoryBoards)和动画(Animations)
原文:Silverlight & Blend动画设计系列五:故事板(StoryBoards)和动画(Animations) 正如你所看到的,Blend是一个非常强大的节约时间的设计工具,在Bl ...
盘点2013年那些最优秀的网页设计作品【系列五】
这个系列的文章向大家展示2013年最优秀的国外网页设计作品,这些都是过去的一年在图片,纹理,导航等等各个方面的优秀网站.2013年,网页设计领域出现了几个新的流行趋势,最热门的就是响应式设计(Resp ...
数学之美系列五 -- 简单之美：布尔代数和搜索引擎的索引
数学之美系列五 -- 简单之美:布尔代数和搜索引擎的索引 [建立一个搜索引擎大致需要做这样几件事:自动下载尽可能多的网页:建立快速有效的索引:根据相关性对网页进行公平准确的排序.我们在介绍 Googl ...

Pandas系列(五)对缺失值的处理

文章目录

读取数据

检测空值

删除空值

填充空值

Pandas系列(五)对缺失值的处理相关推荐

最新文章

热门文章