python的dropna 和notna的性能_python轻松滤除缺失数据

前言

缺失数据(missing data)在大部分数据分析应用中都很常见。Pandas的设计目标之一就是让缺失数据的处理任务尽量轻松。

Pandas使用浮点值NAN(not a number)表示浮点和非浮点数组中的缺失数据，它只是一个便于被检测出来的标记而已。

Python内置的None值也会被当做NA处理。

滤除缺失数据-dropna()

过滤掉缺失数据的方法，一是手工，二是dropna，后者更实用。

Series缺失值过滤

对于一个Series，dropna返回一个仅含非空数据和索引值的series。

#书写方式如下

from numpy import nan as NA

data.dropna()

也可以通过布尔型索引达到这个目的：

Data[data.notnull()]

DataFrame缺失值过滤

对于DataFrame对象，事情就有点复杂了。你可能希望丢弃全NA或含有NA的行或列。

#dropna默认丢弃任何含有缺失值的行

书写方式：data.dropna()

#传入how=’all’将只丢弃全为NA的那些行

书写方式：data.dropna(how=’all’)

#传入axis=1丢弃列

书写方式：data.dropna(how=’all’,axis=1)

#thresh参数过滤时间序列数据

书写方式：df.dropna(thresh=3)

「亲，如果笔记对您有帮助，收藏的同时，记得给点个赞、加个关注哦！感谢！」

「文中代码均亲测过，若有错误之处，欢迎批评指正，一起学习，一起成长！」

python的dropna 和notna的性能_python轻松滤除缺失数据相关推荐

python的dropna 和notna的性能_python数据分析学习(7)数据清洗与准备(1)
关于文件的读写方面先放一下,接下来介绍数据清洗方面的知识.有时候数据对于特定的任务来说格式并不正确,需要转化为更加适合的数据形式.这里介绍数据清洗的有关基础知识,本篇博客先介绍如何处理缺失值. 一:处 ...
python pandas dropna_Pandas之Dropna滤除缺失数据的实现方法
约定: import pandas as pd import numpy as np from numpy import nan as NaN 滤除缺失数据 pandas的设计目标之一就是使得处理缺失 ...
Pandas详解十之Dropna滤除缺失数据
约定: import pandas as pd import numpy as np from numpy import nan as NaN 滤除缺失数据 pandas的设计目标之一就是使得处理缺失 ...
.Dropna()滤除缺失数据||空字符串处理
滤除缺失数据 DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False) Remove missing v ...
python合并多个excel为一个_Python合并多个Excel数据
安装模块 1.找到对应的模块 2.用pip install 安装 pip install xlrd pip install XlsxWriter pip list查看 XlsxWriter示例 1 i ...
python爬取app中的音频_Python爬取喜马拉雅音频数据详解
码农公社 210.net.cn 210是何含义?10月24日是程序员节,1024 =210.210既 210 之意. Python爬取喜马拉雅音频数据详解一.项目目标爬取喜马拉雅音频数据受害 ...
python读取txt文件中的数字_python从txt文件读取数据
(作为一个python初学者,记录一点学习期间的笔记,方便日后查阅,若有错误或者更加便捷的方法,望指出!) 1.读取TXT文件数据,并对其中部分数据进行划分.一部分作为训练集数据,一部分作为测试集数据 ...
python爬取微博评论点赞数_python 爬虫爬微博分析数据
python 爬虫爬微博分析数据最近刚看完爱情公寓5,里面的大力也太好看了吧... 打开成果的微博,小作文一样的微博看着也太爽了吧... 来用python分析分析狗哥这几年微博的干了些啥. ...
python爬取股票大单历史记录_python爬取股票实时数据,python爬虫与股票分析
内容导航: Q1:怎么学python爬取财经信息本程序使用Python 2.7.6编写,扩展了Python自带的HTMLParser,自动根据预设的股票代码列表,从Yahoo Finance抓取列表 ...

python的dropna 和notna的性能_python轻松滤除缺失数据

python的dropna 和notna的性能_python轻松滤除缺失数据相关推荐

最新文章

热门文章