[Pandas] 缺失值填充 df.fillna()

df.fillna(x)可以将缺失值填充为指定的值

import pandas as pd # 原数据
df = pd.DataFrame({'A':['a1','a1','a2','a2'],'B':['b1','b2',None,'b2'],'C':[1,2,3,4],'D':[5,6,None,8],'E':[5,None,7,8]})# 将缺失值填充为0
res1 = df.fillna(0)

结果展示

res1

# 常用的方法还有以下几个:
# 填充为0
df.fillna(0)
# 填充为指定字符
df.fillna('missing')
df.fillna('暂无')
df.fillna('待补充')
# 指定字段填充
df.E.fillna('暂无')
# 指定字段填充
df.E.fillna(0, inplace = True)
# 只替换第一个
df.fillna(0, limit = 1)
# 将不同列的缺失值替换为不同的值
values = {'A':0,'B':1,'C':2,'D':3}
df.fillna(value = values)

需要注意的是,如果想让填充马上生效，需要重新为df赋值或者传入参数inplace = True

有时候我们不能填入固定值，而是按照一定的方法填充，df.fillna()提供了一个method参数，可以指定以下几个方法:

pad/ffill:向前填充，使用前一个有效值填充,df.fillna(method=’ffill’)可以简写为df.ffill()

bfill/backfill:向后填充，使用后一个有效值填充,df.fillna(method=’bfill’)可以简写为df.bfill()

import pandas as pd # 原数据
df = pd.DataFrame({'A':['a1','a1','a2','a2'],'B':['b1','b2',None,'b2'],'C':[1,2,3,4],'D':[5,6,None,8],'E':[5,None,7,8]})# 取后一个有效值填充
res1 = df.fillna(method = 'bfill')# 取前一个有效值填充
res2 = df.fillna(method = 'ffill')

结果展示

res1

res2

除了取前后值，还可以取经过计算得到的值，比如常用的平均值填充法:

# 填充列的平均值
df.fillna(df.mean())
# 对指定列填充平均值
df.fillna(df.mean()['B':'D'])
# 另一种填充列的平均值的方法
df.where(pd.notna(df),df.mean(),axis = 'columns')

缺失值的填充的另一思路是使用替换方法df.replace():

# 将指定列的空值替换成指定值
import pandas as pd
import numpy as np
# 原数据
df = pd.DataFrame({'A':['a1','a1','a2','a2'],'B':['b1','b2',None,'b2'],'C':[1,2,3,4],'D':[5,6,None,8],'E':[5,None,7,8]})
df.replace({'B':{np.nan:'Hudas'}})

结果展示

扩展补充知识

import pandas as pd
stu_info = pd.read_excel(r'C:\Users\X2001565\Desktop\stu_info.xlsx')
stu_info.rename(columns=lambda x: str.lower(x), inplace=True)

stu_info

对字段'name'中的缺失值进行赋值

# refresh Name to put "Error" for empty one
def refresh_name(row):if type(row['name']) != str:return 'Error'else:return row['name']stu_info['name'] = stu_info.apply(lambda row: refresh_name(row), axis = 1)

stu_info

提示Tips: 注意上述缺失值填充方法只适合字段存储的值是字符串类型

def refresh_grade(row):if type(row['grade']) != str:return 'No grade'else:return row['grade']stu_info['grade'] = stu_info.apply(lambda row: refresh_grade(row), axis = 1)

stu_info

我们可以发现字段'grade'列填充缺失值是行不通的

[Pandas] 缺失值填充 df.fillna()相关推荐

Pandas缺失值处理df.fillna()
目录 1.将缺失值填充指定的值 2.按照一定的方法填充 3.平均值填充法 4.参考 1.将缺失值填充指定的值 import pandas as pd # 原数据 df = pd.DataFrame({ ...
数据预处理+缺失值处理方案+Missing Value+pandas+缺失值填充方法、方案
数据预处理+缺失值处理方案+Missing Value+pandas+缺失值填充方法.方案缺失值+sklearn from sklearn.preprocessing import Imputer ...
[Pandas] 缺失值删除 df.dropna()
整行整列删除使用df.dropna()方法删除缺失值 import pandas as pd import numpy as np # 原数据 df = pd.DataFrame({'A':['a1 ...
python做数据分析时缺失值填补、缺失值填充方法汇总
在我们进行数据分析时,通常会遇到各种数据缺失的情况,针对这种情况我们该如何进行填补呢? 1.人工填补该方法仅适用于小数据集,受个人因素影响. 2.平均值填补对某一列的缺失值,采用该列的平均值填充 ...
05_Pandas删除，替换并提取其中的缺失值NaN(dropna,fillna,isnull)
05_Pandas删除,替换并提取其中的缺失值NaN(dropna,fillna,isnull) 例如,当使用pandas读取csv文件时,如果元素为空,则将其视为缺失值NaN(非数字). 使用dro ...
python pandas缺失值处理_Pandas之缺失值处理
原标题:Pandas之缺失值处理本文作者:杨长青本文编辑:周聪聪技术总编:张学人好消息!!!爬虫俱乐部将于2019年5月2日至4日在武汉举行Stata编程技术五一训练营,此次采用理论与案例相结 ...
数据分析之缺失值填充（重点讲解多重插值法Miceforest）
数据分析之缺失值填充(重点讲解多重插值法Miceforest) 数据分析的第一步--数据预处理,不可缺失的一步.为了得到更好的结果,选择合适的数据处理方法是非常重要的! 数据预处理之缺失值填充在大数 ...
python缺失值填充_python填充缺失数据
对于大多数情况而言,fillna方法是最主要的函数.通过一个常数调用fillna就会将缺失值替换为那个常数值. fillna(value) 参数:value 说明:用于填充缺失值的标量值或字典对象 # ...
df.fillna()
df.fillna() 是一个 Pandas 数据处理库中的函数,它可以用来填充数据框中的空值.它的用法如下: df.fillna(value=None, method=None, axis=None ...

[Pandas] 缺失值填充 df.fillna()

[Pandas] 缺失值填充 df.fillna()相关推荐

最新文章

热门文章