一、缺失值处理 isnull( ) 、fillna( ) 、dropna( )

（1）查看

• 缺失

查看数据集缺失，返回每列的缺失个数 df.isnull().sum()

查看某字段有缺失的行 df[df.a.isnull()]

查看某字段每行的缺失情况：返回T/F：df.score.isnull() 、返回0/1：df.score.isnull().astype(int)

• 缺失占比

返回每列的缺失占比：df.apply(lambda col:sum(col.isnull())/col.size)

行的缺失占比大于60%的列：data.ix[data.isnull().sum(axis=1)/data.shape[1]>0.6,:]

列的缺失占比大于60%的行：data.isnull().sum(axis=0)/data.shape[0]>0.6

• 可视化

import missingno as msno

msno.bar(Customer, color='IndianRed')

（2）填补 fillna

• 以指定值填补：

#填补一列：df.a.fillna(df.a.mean/median())，#mean：使用均值填补、median：使用中位数填补

#填补多列：

fill_cols=['a','b','c']

fill_values={col:df[col].mode()[0] for col in fill_cols} #使用每个字段的值的众数填补

df=df.fillna(fill_values)

• 通过字典调用fillna：df.fillna({'a': 0.55, 'b': 0.66} , inplace=True)
• df.fillna(method='ffill', limit=2) limit：对于前向和后向填充可以连续填充的最大数量
• 利用随机森林对缺失值预测填充函数

def set_missing(df):

# 把已有的数值型特征取出来

process_df = df.ix[:,[12,1,2,3,4,5,6,7,8,9,10,14,16]]

# 分成已知该特征和未知该特征两部分

known = process_df[process_df.StockMoney>0].as_matrix()

unknown = process_df[process_df.StockMoney==0].as_matrix()

# X为特征属性值

X = known[:, 1:]

# y为结果标签值

y = known[:, 0]

# fit到RandomForestRegressor之中

rfr = RandomForestRegressor(random_state=0,

n_estimators=200,max_depth=3,n_jobs=-1)

rfr.fit(X,y)

# 用得到的模型进行未知特征值预测

predicted = rfr.predict(unknown[:, 1:]).round(0)

print(predicted)

# 用得到的预测结果填补原缺失数据

df.loc[(df.StockMoney==0), 'StockMoney'] = predicted

return df

Data=set_missing(data07)

（3）删除 dropna

• df=df.dropna(subset=['a','b','c'],how='any'/'all',inplace=True)
• 删除缺失率超过80%的字段（首先筛选缺失超过80%的列）：df.drop(columns=['a','b'])
• df.dropna(thresh=2) 这一行除去NA值，剩余数值的数量大于等于2，便显示这一行。

二、重复值处理duplicated( )、drop_duplicates( )

（1）查看

• 查看数据集重复，返回重复的行数

df.duplicated().sum()

(df.duplicated(subset=['a','b','c'])).sum()

• 查看指定字段有的重复的行

df[df.a.duplicated()]

df[df.duplicated(subset=['a','b','c'])] #isnull( )没有此用法

• 查看指定字段的重复情况，返回T/F：df.a.duplicated()、返回0/1：df.a.duplicated().astype(int)

（2）去重

• df.drop_duplicates()

df.drop_duplicates(subset=None, keep='first', inplace=False)

keep : {‘first’, ‘last’, False}, default first’删除重复项并保留第一次出现的项(duplicated和drop_duplicates默认保留的是第一个出现的值组合)