加载并查看数据基本情况

library(VIM)

data(sleep)

str(sleep)

summary(sleep)

head(sleep)

一、处理缺失值

查看NA的分布情况，有一个直观了解

library('mice')

md.pattern(sleep)

matrixplot(sleep)

NA分布情况

根据NA的分布情况，获取数据子集

#统计每一列NA的数量

na_flag

# na_flag % .[nrow(.),-ncol(.)]#同上

library('dplyr')

#获取含有NA的列和不含NA的列

na_col = na_flag[na_flag > 0] %>% names()

full_col = setdiff(names(sleep),na_col)

# fill_col = names(sleep)[!(names(sleep) %in% na_col)]同上

# 获取所有含有NA的行

na_df = sleep[!complete.cases(sleep),]

#获取所有不含NA的行

full_df = na.omit(sleep)

#fill_df = sleep[complete.cases(sleep),]同上

#对变量进行重新排序

sleep = sleep[,c(na_col,full_col)]

1. 删除法

当缺失值占比不大时，直接删除缺失部分是最简单的办法

1.1 针对特定变量删除NA

sleep_del_Gest = sleep[!is.na(sleep$Gest),]

md.pattern(sleep_del_Gest)

对特定变量删除NA后

1.2 删除所有含NA的行

sleep_del_all = na.omit(sleep)

# sleep_del_all = sleep[complete.cases(sleep),]#同上

md.pattern(sleep_del_all)

删除所有NA

1.3 观察变化前后变量之间的相关性

library(PerformanceAnalytics)

chart.Correlation(sleep,histogram = T)

chart.Correlation(sleep_del_all,histogram = T)

删除前变量相关性

删除后变量相关性

2. 插补法

若缺失值占比过大，直接删除会损失大量的信息。这种情况应该对缺失值进行填补。

若属性是连续的，则使用该属性存在值的均值去插补缺失值；

若属性是离散的，则可取该属性的众数来插补缺失值。

2.1. 使用均值,中值等针对某一个变量填值

#观察数据分布情况

NonD_var = c(var = 'NonD',

mean = mean(sleep$NonD,na.rm = T),

median = median(sleep$NonD,na.rm = T),

quantile(sleep$NonD,c(0,0.01,0.1,0.25,0.5,0.75,0.9,1),na.rm = T),

max = max(sleep$NonD,na.rm = T),

missing = sum(is.na(sleep$NonD)))

View(t(NonD_var))

变量NonD数据分布情况

#简单可视化

op

hist(sleep$NonD,freq = F,col = 'lightblue',main = 'Befor')

#使用该变量现有数据的均值替换缺失值

library('Hmisc')

sleep$NonD = impute(sleep$NonD, fun = mean)#impute(x,2.5), impute(x,mean), impute(x,"random")

hist(NonD,freq = F,col = 'pink',main = 'After')

填值前后变量NonD数据分布变化

2.2. 基于kmeans均值算法填值

只适用于数值型缺失

####重新加载原始数据并对变量进行排序

data("sleep",package = 'VIM')

sleep = sleep[,c(na_col,full_col)]

library('DMwR')

#以距离最近的3个值根据距离进行加权平均来填值

sleep_fill_knn = knnImputation(sleep, k = 10, meth = 'weighAvg')

md.pattern(sleep_fill_knn)

sleep_fill_knn = sleep_fill_knn[,names(sleep)]

#观察变换前后数据的分布情况

op

for(fct in na_col){

hist(sleep[,fct],col = 'lightblue',freq = F,xlab = fct,main = 'Befor')

hist(sleep_fill_knn[,fct],col = 'pink',freq = F,xlab = fct,main = 'After')

}

par(op)

均值填值前后各变量数据分布情况

#观察变换前后变量间的相关性

library(PerformanceAnalytics)

chart.Correlation(sleep,histogram = T)

chart.Correlation(sleep_fill_knn,histogram = T)

before_knnImputation

after_knnImputation

2.3. 基于回归算法填值

f = as.formula(paste(paste(na_col,collapse = ' + '),'~',paste(fill_col,collapse = ' + ')))

sleep_fill_reg = regressionImp(f,data = sleep)

#这里的formular = y ~ .,y是response variable，即要插补的变量。

#我这里使用了所有包含NA的变量来对所有不含NA的变量进行回归，有些极端，仅供参考。

sleep_fill_reg = sleep_fill_reg[,names(sleep)]

md.pattern(sleep_fill_reg)

#观察变换前后数据的分布情况，变量间的相关性

library(PerformanceAnalytics)

chart.Correlation(sleep,histogram = T)

chart.Correlation(sleep_fill_reg,histogram = T)

befor_regressionImp

after_regressionImp

2.4. 基于随机森林替换

if(!require('randomForest'))(

install.packages('randomForest')

)

sleep_fill_rf = rfImpute(Danger ~ .,sleep)

sleep_fill_rf = sleep_fill_rf[,names(sleep)]

#观察变换前后数据的分布情况，变量间的相关性

library(PerformanceAnalytics)

chart.Correlation(sleep,histogram = T)

chart.Correlation(sleep_fill_rf,histogram = T)

befor_rf

after_rf

二、处理异常值

1.1 单变量异常值检测

lb = c('ggplot2','reshape2','dplyr')

lapply(lb,require,character.only = T)

boxplot(sleep_fill_rf,frame = T)

sleep_fill_rf %>% melt() %>%

ggplot(aes(NULL,value)) +

geom_boxplot(aes(fill = variable)) +

facet_wrap(variable ~. , scales = 'free_y')

sigular_boxplot

sigular_ggboxplot

1.2 盖帽法处理异常值

#采用盖帽法，用10%处的数据覆盖分布在10%以下的数据，用90%处的数据覆盖分布在99%以上的数据。

#这里的10%和90%取值有些极端，及供参考。

block

if(lower){

q1

x[x<=q1]

}

if(upper){

q99

x[x>q99]

}

return(x)

}

sleep_fill_rf_blk = sapply(sleep_fill_rf,block)

boxplot(sleep_fill_rf_blk,frame = T)

after_block