这是一篇对R语言中处理缺失值的整理，主要思路搬运自Medium上面一篇Harshitha Mekala写的文章Dealing with Missing Data using R，是我目前搜到的最全的关于missing value处理package的整理，足足五个包。我自己读的时候做了一些其他资料的查阅作为补充。我用了一个上课的时候老师给的完整的dataset，其中的missing value是随机生成的，写到哪部分的时候我会同时po一些代码和截屏。分成三个部分：

一、check missing values in your dataset

二、缺失值处理的四种思路

三、五个package在R中的实现

一、了解缺失值

1)计数一下有多少缺失：sum(is.na(data frame$column name)

2)MICE包中的 md.pattern(df)

3)visualisation：VIM包/UpsetR

library(VIM)
mice_plot <- aggr(cm, col=c('navyblue','yellow'),numbers=TRUE, sortVars=TRUE,labels=names(cm), cex.axis=.7,gap=5, ylab=c("Missing data","Pattern"),)

library(UpSetR)
gg_miss_upset(cm)

missmap(iris.mis)

二、处理缺失值四种思路

1.删掉（当缺失值所占的比重太大的时候考虑直接删列，删行的话，当对于所有样本来说missing的概率相同的时候probability of missing variable is same for all observations）分为两种方法：1）list wise deletion; 2）pair wise deletion.

2.Mean/ Mode/ Median Imputation: 最简单的一种插值方式，这里还可以分group去求这些统计量。但是问题是 全部的空缺都用一样的value会损坏分布，所以我们可以random imputed with existing values，这样考虑了补齐前后的分布相差太多的问题。还可以从分布里面random生成值取填补。但是不管用什么办法，首先把想要impute的column拎出来看一下分布，看一下缺失比例再选择合适的值。

3.用prediction model：每个想要填补的column都作为label 去建模做预测。它的问题在于，如果这些attributes之间没什么联系的话，prediction就不会太准。

4. KNN插值：找到与有缺失值的attributes最similar（基于distance）的样本，用它的值去填补。优点是：qualitative & quantitative特征都可用/不需要建model/可以同时处理一个样本的多个missing/考虑了整个数据集的内在联系。缺点是：耗时/找合适的K值很麻烦

三、五个package在R中的实现

1.MICE(Multivariate Imputation via Chained Equations) 链式方程多重插补，是被人们用的最多最熟知的一种，我有参考这两篇文章：https://zhuanlan.zhihu.com/p/21549898 https://jiangjun.link/post/r-missing-data/基本思想是对于一个具有缺失值的变量，用其他变量的数据对这个变量进行拟合，这样每个变量都有自己的插值模型，再用拟合的预测值对这个变量的缺失值进行填补。可以这么做的原因MICE有个假定：所有的missing都是Missing at Random (MAR)：the probability that a value is missing depends only on observed value and can be predicted using them。

library(mice)
md.pattern(cm)
imputed = mice(cm, m=5, maxit = 50, method = 'pmm', seed = 500)
summary(imputed)
completeData <- complete(imputed,2)  #从5个里面选第二个

系数：

• m — Refers to 5 imputed data sets
• maxit — 迭代次数Refers to no. of iterations taken to impute missing values
• method — Refers to method used in imputation.

四种填补方法：

1. PMM (Predictive Mean Matching) — For numeric variables
2. logreg(Logistic Regression) — For Binary Variables( with 2 levels)
3. polyreg(Bayesian polytomous regression) — For Factor Variables (>= 2 levels)
4. Proportional odds model (ordered, >= 2 levels)

看一下summary：这里面PredictorMatrix也是可以自己提前设定的，要哪个变量不要哪个变量

可以选择一个imputed的结果，也可以combine5个在一起（pool() command我还没搞懂…）

附一个PMM的原理解释：

2.Amelia

It is enabled with bootstrap based EMB（期望最大化） algorithm which makes it faster and robust to impute many variables including cross sectional, time series data etc. Also, it is enabled with parallel imputation feature using multicore CPUs.

Amelia 这个名字来源于 Amelia Earhart，美国航空先驱、作家。她是世界上第一个独立飞行穿越大西洋的女飞行员。但在 1937 年一次环球飞行中，她在途径太平洋上空时神秘失踪（missing）了。所以这个专门用来处理 missing value 的包以 Amelia 命名。

Amelia 对缺失值假设为：

• 缺失值随机(Missing at Random)
• 数据中所有变量都满足多元正态分布（Multivariate Normal Distribution, MVN），可以使用均值和协方差来描述数据。

Amelia 利用 bootstrap（有放回抽样），同样也是生成多组填补值。但相比 MICE，MVN 还是有一些局限：

1. MICE 对缺失值的模拟是一个一个变量进行的，而 MVN 依赖整体数据的多元正态分布
2. MICE 可以处理多种类型数据的缺失值，而 MVN 只能处理正态分布或经转换后近似正态分布的变量
3. MICE 能在数据子集的基础上处理缺失值，MVN 则不能

Amelia 适合用于符合多元正态分布的数据。如果数据不符合条件，可能需要事先将数据转换为近似正态分布。

3. missForest

顾名思义 它是random forest的一种应用。是一种非参数插值方法，不需要估计参数，它为每一个需要impute的变量建立随机森林。会返回OOB (out of bag) imputation error estimate for each variable.This helps to look more closely as to how accurately the model has imputed values for each variable. 说明它也用到bootstrap。

关于OOBerror：This can be improved by tuning the values of mtry and ntree parameter. mtry refers to the number of variables being randomly sampled at each split. ntree refers to number of trees to grow in the forest.

4.Hmisc

Hmisc是一个用途很多的包。（high — level graphics, imputing missing values, advanced table making, model fitting & diagnostics (linear regression, logistic regression & cox regression) etc.）

在实现impute功能的时候，它是假定线性关系的。常用的函数：impute()和aregImpute(). impute()function simply imputes missing value using user defined statistical method (mean, max, mean). It’s default is median. On the other hand,aregImpute()allows mean imputation using additive regression, bootstrapping, and predictive mean matching.

分三步：首先是bootstrap，然后用additive model进行缺失值预测，最后pmm来impute。

5.mi

mi (Multiple imputation with diagnostics)也用pmm

• It allows graphical diagnostics （图形诊断）of imputation models and convergence of imputation process.
• It uses bayesian version of regression models to handle issue of separation.
• Imputation model specification is similar to regression output in R
• It automatically detects irregularities in data such as high collinearity among variables.
• Also, it adds noise to imputation process to solve the problem of additive constraints.

系数default：

• rand.imp.method as “bootstrap”
• n.imp (number of multiple imputations) as 3
• n.iter ( number of iterations) as 30

library(mi)
mi_data <- mi(cm[1:11], seed = 335)
summary(mi_data)

以上。