pandas 空数据处理和数据过滤

1.pandas数据过滤

import pandas as pd
from pandas import DataFrame,Series
import numpy as npdict1 = {'age':[12,23,34,45],'name':['小宁','小红','小兰','小花'],'sex':['男','女','男','女']}
df1 = pd.DataFrame(dict1,index = ['a','e','w','r'])
print(df1)age name sex
a   12   小宁   男
e   23   小红   女
w   34   小兰   男
r   45   小花   女
df1['英语'] = ['66','77','88','87']
df1['语文'] = ['66','77',np.NaN,'87']
df1['数学'] = ['66','77','88','87']
df1[df1.columns[3:]]英语  语文  数学  address
a   66  66  66
e   77  77  77
w   88  NaN 88
r   87  87  87
s   NaN NaN NaN

pandas 空数据处理

isnull 函数判断是否含有空数据，如果有为True否则为False，notnull函数和isnull函数相反

df1.isnull()age  name    sex 英语  语文  数学
a   False   False   False   False   False   False
e   False   False   False   False   False   False
w   False   False   False   False   True    False
r   False   False   False   False   False   False

对数据添加行和列：

df1age   name    sex 英语  语文  数学
a   12  小宁  男   66  66  66
e   23  小红  女   77  77  77
w   34  小兰  男   88  NaN 88
r   45  小花  女   87  87  87
df1['address'] = ['上海',np.NaN,np.NaN,np.NaN,np.NaN]
df1.ix['s'] = ['32','红','55',np.NaN,np.NaN,np.NaN,np.NaN,]age  name    sex 英语  语文  数学  address
a   12  小宁  男   66  66  66  上海
e   23  小红  女   77  77  77  NaN
w   34  小兰  男   88  NaN 88  NaN
r   45  小花  女   87  87  87  NaN
s   32  红   55  NaN NaN NaN NaN

删除所有带nan的行：

df1.dropna(how = 'any',axis = 0)age  name    sex 英语  语文  数学  address
a   12  小宁  男   66  66  66  上海

删除所有带nan的列：

df1.dropna(how = 'any',axis = 1)age  name    sex
a   12  小宁  男
e   23  小红  女
w   34  小兰  男
r   45  小花  女
s   32  红   55

注意：axis 是表示行和列的参数，如个axis=1代表列，axis=0代表行

使用0填充数据，需要用到函数：fillna()

df1.fillna(0)age name    sex 英语  语文  数学  address
a   12  小宁  男   66  66  66  上海
e   23  小红  女   77  77  77  0
w   34  小兰  男   88  0   88  0
r   45  小花  女   87  87  87  0
s   32  红   55  0   0   0   0

pandas 空数据处理和数据过滤相关推荐

python 取反_自从用了这招pandas 空数据处理方法，python编程速度提升了不少
今天为大家带来的内容是:自从用了这招pandas 空数据处理方法,python编程速度提升了不少文章内容主要介绍了pandas 空数据处理方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工 ...
数据处理——实现数据过滤
实现spring batch中的ItemProcessor接口,并重写接口中的process方法来实现数据过滤. 示例:从一个list源中读取数据,只过滤出与"A"差值大于10的数 ...
数据导入与预处理-拓展-pandas时间数据处理01
数据导入与预处理-拓展-pandas时间数据处理01 Pandas时序数据系列博客 Pandas时间序列数据处理 1.好用的Python库 2.Pandas历史 3.时序数据处理 3.1 时序中的基本 ...
推荐系统-应用Pandas进行数据处理
1. PANDAS PANDAS是一个包,它使我们能够访问高性能.易于使用的工具和数据结构,以便在Python中进行数据分析. Python是一种运行很慢的语言.PANDAS通过使用C编程语言实现大量 ...
pandas创建时间序列仿真数据并过滤（filter）时间数据：头尾数据、某年的数据、某年某月的数据、某年某月某日的数据、某个时间范围内的数据、truncate函数查看特定时间之前护着之后的数据
pandas创建时间序列仿真数据并过滤(filter)时间数据:头尾数据.某年的数据.某年某月的数据.某年某月某日的数据.某个时间范围内的数据.truncate函数查看特定时间之前护着之后的数据目录
Pandas常见的数据过滤方法、通过列条件筛选行数据
Pandas常见的数据过滤方法.通过列条件筛选行数据不废话了,直接看代码吧: 一般情况下,前面5种就覆盖了绝大多数需求 import pandas as pd import numpy as npd ...
Python 数据分析三剑客之 Pandas（八）：数据重塑、重复数据处理与数据替换
CSDN 课程推荐:<迈向数据科学家:带你玩转Python数据分析>,讲师齐伟,苏州研途教育科技有限公司CTO,苏州大学应用统计专业硕士生指导委员会委员:已出版<跟老齐学Python ...
Pandas数据分析1-了解数据、数据过滤与排序
了解数据 import pandas as pd #读入数据 path1 = "E:/kaggle数据/exercise_data/chipotle.tsv" df = pd.re ...
python pandas excel数据处理_Python处理Excel数据-pandas篇
Python处理Excel数据-pandas篇非常适用于大量数据的拼接.清洗.筛选及分析在计算机编程中,pandas是Python编程语言的用于数据操纵和分析的软件库.特别是,它提供操纵数值表格和 ...

pandas 空数据处理和数据过滤

pandas 空数据处理和数据过滤相关推荐

最新文章

热门文章