本篇详解pandas中缺失值(Missing data handling)处理常用操作。
缺失值处理常用于数据分析数据清洗阶段;Pandas中将如下类型定义为缺失值
NaN: ‘’, ‘#N/A’, ‘#N/A N/A’, ‘#NA’, ‘-1.#IND’, ‘-1.#QNAN’,
‘-NaN’, ‘-nan’, ‘1.#IND’, ‘1.#QNAN’, ‘’, ‘N/A’, ‘NA’,
‘NULL’, ‘NaN’, ‘n/a’, ‘nan’, ‘null’,None

欢迎微信随缘关注@pythonic生物人

本文将学到什么?

1

更好的阅读体验请戳:Pandas处理缺失值(NA)


1、pandas中缺失值注意事项

pandas和numpy中任意两个缺失值不相等(np.nan != np.nan)

下图中两个NaN不相等:

In 

pandas读取文件时那些值被视为缺失值

NaN: ‘’, ‘#N/A’, ‘#N/A N/A’, ‘#NA’, ‘-1.#IND’, ‘-1.#QNAN’,‘-NaN’, ‘-nan’, ‘1.#IND’, ‘1.#QNAN’, ‘<NA>’, ‘N/A’, ‘NA’,‘NULL’, ‘NaN’, ‘n/a’, ‘nan’, ‘null’,None


2、pandas缺失值操作

pandas.DataFrame中判断那些值是缺失值:isna方法

#定义一个实验DataFrame

pandas.DataFrame中删除包含缺失值的行:dropna(axis=0)

In 

pandas.DataFrame中删除包含缺失值的列:dropna(axis=1)

In 

pandas.DataFrame中删除包含缺失值的列和行:dropna(how='any')

In 

pandas.DataFrame中删除全是缺失值的行:dropna(axis=0,how='all')

In 

pandas.DataFrame中删除全是缺失值的列:dropna(axis=1,how='all')

In 

pandas.DataFrame中使用某个值填充缺失值:fillna(某个值)

In 

pandas.DataFrame中使用前一列的值填充缺失值:fillna(axis=1,method='ffill')

#后一列填充为fillna(axis=1,method=bfill')

pandas.DataFrame中使用前一行的值填充缺失值:fillna(axis=0,method='ffill')

#后一行填充为fillna(axis=1,method=bfill')

pandas.DataFrame中使用字典传值填充指定列的缺失值

In 


3、参考资料

https://pandas.pydata.org/pandas-docs/stable/reference/frame.html?highlight=missing


欢迎微信随缘关注@pythonic生物人

dataframe 一列的不同值_python数据分析包|Pandas-02之缺失值(NA)处理相关推荐

  1. excel值false 显示否_Python数据分析包pandas中也有Excel的IF这么简单实用函数

    此系列文章收录在公众号中:数据大宇宙 > 数据处理 > E-pd 转发本文并私信我"python",即可获得Python资料以及更多系列文章(持续更新的) 经常听别人说 ...

  2. pandas重新设置列索引_python数据分析包Pandas(一)

    pandas是一个python包,提供快速,灵活和富有表现力的数据结构,旨在使"关系"或"标记"数据的使用既简单又直观. pandas的两个主要数据结构Seri ...

  3. c++控制台应用每一列数据如何对齐_Python数据分析第五节 pandas入门

    这一节将开始学习python的一个核心数据分析支持库---pandas,它是python数据分析实践与实战的必备高级工具.对于使用 Python 进行数据分析来说,pandas 几乎是无人不知,无人不 ...

  4. python数据分析最基本的库_Python数据分析库pandas基本操作方法_python

    下面就为大家分享一篇Python数据分析库pandas基本操作方法,具有很好的参考价值,希望对大家有所帮助.一起过来看看吧 pandas是什么? 是它吗? ....很显然pandas没有这个家伙那么可 ...

  5. python中不能使用索引运算的是_Python数据分析之Pandas库(笔记)

    Pandas数据结构 pandas有两个基本的数据结构:Series和DataFrame. 1.1 创建Series数据 需要引入pandas模块:import pandas as pd 需要引入Se ...

  6. c++控制台应用每一列数据如何对齐_懂Excel就能轻松入门Python数据分析包pandas(十六):合并数据...

    此系列文章收录在公众号中:数据大宇宙 > 数据处理 >E-pd 转发本文并私信我"python",即可获得Python资料以及更多系列文章(持续更新的) 经常听别人说 ...

  7. pandas用众数填充缺失值_python数据分析包|Pandas-02之缺失值(NA)处理

    本篇详解pandas中缺失值(Missing data handling)处理常用操作. 缺失值处理常用于数据分析数据清洗阶段:Pandas中将如下类型定义为缺失值: NaN: '', '#N/A', ...

  8. pandas 更改单元格的值_懂Excel轻松入门Python数据分析包pandas(二十四):连续区域...

    此系列文章收录在公众号中:数据大宇宙 > 数据处理 >E-pd 转发本文并私信我"python",即可获得Python资料以及更多系列文章(持续更新的) 经常听别人说 ...

  9. python 统计分析 包_Python 数据分析包:pandas 基础

    pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包 类似于 Numpy 的核心是 ndarray,pandas 也是围绕着 Series 和 DataFrame 两个核心数据 ...

最新文章

  1. 转:【AI每日播报】从TensorFlow到Theano:横向对比七大深度学习框架
  2. 算法题:实现一个IP白名单过滤器
  3. zTree的调用设使用(跨两个系统,两类技术实现的项目案例SpringMVC+Spring+MyBatis和Struts2+Spring+ibatis框架组合)
  4. 全实践!3天物联网安全课程不断电
  5. java headless_使用Chrome Headless 快速实现java版数据的抓取
  6. mysql root密码忘记2018_2018-03-28设置及修改mysql用户密码学习笔记
  7. C++ _countf
  8. 织梦cms生成首页html的php文件,织梦DedeCMS定时自动生成首页HTML的实现方法
  9. python脚本去除文件名里的空格
  10. 软考高级网络规划设计师5天修炼
  11. 《精通并发与Netty》学习笔记(02 - 服务端程序编写)
  12. CentOS7安装Java,java高级面试笔试题
  13. 相机标定(一)—— 向量几何基础
  14. The Furthest Distance In The World
  15. OpenSource.com 评出 2014 年十佳开源软件
  16. PHP把列表数据的子级内容合并到父级
  17. 计算机显卡怎样安装方法,电脑显卡怎么安装?轻松安装电脑显卡的方法
  18. Java接入第三方微博登陆
  19. Audio Effect
  20. php输出世界时转北京时,php中把美国时间转为北京时间的自定义函数分享

热门文章

  1. 转: Linux下单网卡多vlan多虚拟机
  2. 3.1_ _2_ 内存管理的概念
  3. 操作系统 —— 磁盘
  4. Leetcode--91. 解码方法
  5. 计算机能力挑战赛_蓝桥杯、PAT、CCF CSP、团体程序设计天梯赛、传智杯、计算机能力挑战赛、软考等大学生编程比赛/考试介绍...
  6. python缩进格式错误的是_Python 中常见错误总结
  7. linux at24测试程序,linux 2.6下eeprom at24c08 i2c设备驱动(new style probe方式)
  8. python中难的算法_一个python的比较难的算法,有懂的人可以进来一下
  9. c# 从一组数中随机抽取一定个数_Python随机模块22个函数详解
  10. jupyternotebook运行python_jupyter notebook参数化运行python方式