#####缺失值判断以及处理#####

#举例1：向量类型判断缺失值is.na和缺失值的填补which

(x

is.na(x)  #返回一个逻辑向量，TRUE为缺失值，FALSE为非缺失值

table(is.na(x))  #统计分类个数

sum(x)  #当向量存在缺失值的时候统计结果也是缺失值

sum(x,na.rm = TRUE)  #很多函数里都有na.rm=TRUE参数，此参数可以在运算时移除缺失值

(x[which(is.na(x))]

#举例2：数据框类型判断缺失值is.na、缺失值的填补which、缺失值所在行的删除na.omit

(test

is.na(test)  #test中空值的判断

which(is.na(test),arr.ind = T)  #arr.ind=T可以返回缺失值的相应行列坐标

test[which(is.na(test),arr.ind = T)]

(test_omit

#举例3：识别缺失值的基本语法汇总

str(airquality)

complete.cases(airquality)  #判断个案是否有缺失值

airquality[complete.cases(airquality),]  #列出没有缺失值的行

nrow(airquality[complete.cases(airquality),])  #计算没有缺失值的样本量

airquality[!complete.cases(airquality),]  #列出有缺失的值的行

nrow(airquality[!complete.cases(airquality),])  #计算有缺失值的样本量

is.na(airquality$Ozone)  #TRUE为缺失值，FALSE为非缺失值

table(is.na(airquality$Ozone))

complete.cases(airquality$Ozone)  #FALSE为缺失值，TRUE为非缺失值

table(complete.cases(airquality$Ozone))

#可用sum()和mean()函数来获取关于缺失数据的有用信息

sum(is.na(airquality$Ozone))  #查看缺失值的个数

sum(complete.cases(airquality$Ozone))  #查看没有缺失值的个数

mean(is.na(airquality$Ozone))  #查看缺失值的占比

mean(is.na(airquality))  #查看数据集airquality中样本有缺失值的占比

#举例4：探索缺失值模式

#列表缺失值探索

library(mice)

md.pattern(airquality)

#图形缺失值探索

library(VIM)

aggr(airquality,prop=FALSE,number=TRUE)

aggr(airquality,prop=TRUE,number=TRUE) #生成相同的图形，但用比例代替了计数

aggr(airquality,prop=FALSE,number=FALSE)  #选项numbers = FALSE(默认)删去数值型标签

#举例5：删除缺失值

airquality[complete.cases(airquality),] #方法一：删除缺失值行

na.omit(airquality) #方法二：删除缺失值的行

#举例6：缺失值回归模型插补

newnhanes2

sub

datatr

datatr

datate

datate

fit

newnhanes2[sub,4]

#举例7：缺失值随机森林插补

library(missForest)

z

air.full

zz

nhanes2.full

#举例8：线性回归模型插补

mice::md.pattern(airquality)

index1

dput(colnames(airquality))  #求出变量列名称

Ozone_train

Ozone_test

fit

summary(fit)

airquality[index1,"Ozone"]

index2

Solar.R_train

Solar.R_test

Solar.R_fit

summary(Solar.R_fit)

airquality[index2,"Solar.R"]

mice::md.pattern(airquality)

#knn和bag缺失值插补(利用caret包中的preProcess函数，method参数有多种方式可选)

question

question

str(question)

for(i in 1:ncol(question)){

question[,i]

}  #批量修改为因子类型

str(question)

#举例9：利用KNN算法进行缺失值插补(只能对数值型变量处理)

question

question

mice::md.pattern(question)  #列表缺失值探索

library(caret)

knn.model

question1

install.packages("RANN")

mice::md.pattern(question1)

table(question1$性别)  #不是之前的1和2了

table(question$性别)

#最后结果：knn不适合处理该数据，需要做哑变量处理，再套模型

#举例10：利用袋装算法进行缺失值插补(只能对数值型变量处理)

question

question

mice::md.pattern(question) #列表缺失值探索

library(caret)

bag.model

install.packages("ipred")

question2

mice::md.pattern(question2)  #列表缺失值探索

table(question2$性别)

#最后结果：bag算法不适合处理该数据