缺失数据处理(R实现)
转载自https://www.cnblogs.com/GhostBear/p/8416897.html
#####缺失值判断以及处理#####
#举例1:向量类型判断缺失值is.na和缺失值的填补which
(x<-c(1,2,3,NA))
is.na(x) #返回一个逻辑向量,TRUE为缺失值,FALSE为非缺失值
table(is.na(x)) #统计分类个数
sum(x) #当向量存在缺失值的时候统计结果也是缺失值
sum(x,na.rm = TRUE) #很多函数里都有na.rm=TRUE参数,此参数可以在运算时移除缺失值
(x[which(is.na(x))]<-0) #可以用which()函数代替缺失值,which()函数返回符合条件的响应位置
#举例2:数据框类型判断缺失值is.na、缺失值的填补which、缺失值所在行的删除na.omit
(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))
is.na(test) #test中空值的判断
which(is.na(test),arr.ind = T) #arr.ind=T可以返回缺失值的相应行列坐标
test[which(is.na(test),arr.ind = T)]<-0 #结合which进行缺失替代
(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))) #na.omit函数可以直接删除值所在的行
#举例3:识别缺失值的基本语法汇总
str(airquality)
complete.cases(airquality) #判断个案是否有缺失值
airquality[complete.cases(airquality),] #列出没有缺失值的行
nrow(airquality[complete.cases(airquality),]) #计算没有缺失值的样本量
airquality[!complete.cases(airquality),] #列出有缺失的值的行
nrow(airquality[!complete.cases(airquality),]) #计算有缺失值的样本量
is.na(airquality$Ozone) #TRUE为缺失值,FALSE为非缺失值
table(is.na(airquality$Ozone))
complete.cases(airquality$Ozone) #FALSE为缺失值,TRUE为非缺失值
table(complete.cases(airquality$Ozone))
#可用sum()和mean()函数来获取关于缺失数据的有用信息
sum(is.na(airquality$Ozone)) #查看缺失值的个数
sum(complete.cases(airquality$Ozone)) #查看没有缺失值的个数
mean(is.na(airquality$Ozone)) #查看缺失值的占比
mean(is.na(airquality)) #查看数据集airquality中样本有缺失值的占比
#举例4:探索缺失值模式
#列表缺失值探索
library(mice)
md.pattern(airquality)
#图形缺失值探索
library(VIM)
aggr(airquality,prop=FALSE,number=TRUE)
aggr(airquality,prop=TRUE,number=TRUE) #生成相同的图形,但用比例代替了计数
aggr(airquality,prop=FALSE,number=FALSE) #选项numbers = FALSE(默认)删去数值型标签
#举例5:删除缺失值
airquality[complete.cases(airquality),] #方法一:删除缺失值行
na.omit(airquality) #方法二:删除缺失值的行
#举例6:缺失值回归模型插补
newnhanes2<-nhanes2
sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2数据集中第4列NA的行标识
datatr<-newnhanes2[-sub,] #方法一:将第4列不为NA的数存入数据集datatr中
datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #方法二:将第4列不为NA的数存入数据集datatr中
datate<-newnhanes2[sub,] #方法一:将第4列为NA的数存入数据集datate中
datate<-newnhanes2[is.na(newnhanes2[,4]),] #方法二:将第4列为NA的数存入数据集datate中
fit<-lm(chl~age,data = datatr) #利用datatr中age为自变量,chl为因变量构建线性回归模型lm
newnhanes2[sub,4]<-round(predict(fit,datate)) #利用datate中数据按照模型fit对nhanes2中chl中的缺失数据进行预测
#举例7:缺失值随机森林插补
library(missForest)
z<-missForest(airquality) #用随机森林迭代弥补缺失值
air.full<-z$ximp
zz<-missForest(nhanes2)
nhanes2.full<-zz$ximp
#举例8:线性回归模型插补
mice::md.pattern(airquality)
index1<-is.na(airquality$Ozone) #对Ozone变量进行缺失值处理
dput(colnames(airquality)) #求出变量列名称
Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #训练集,需注意什么时候用!,什么时候用-
Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #测试集
fit<-lm(Ozone~.,data = Ozone_train) #建立线性回归模型
summary(fit)
airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )
index2<-is.na(airquality$Solar.R) #Solar.R变量进行缺失值处理,Ozone变量数据已补齐
Solar.R_train<-airquality[!index2,] #训练集
Solar.R_test<-airquality[index2,] #测试集
Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)
summary(Solar.R_fit)
airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)
mice::md.pattern(airquality)
#knn和bag缺失值插补(利用caret包中的preProcess函数,method参数有多种方式可选)
question<-read.csv("问卷调研数据.csv")
question<-question[,-1]
str(question)
for(i in 1:ncol(question)){
question[,i]<-as.factor(question[,i])
} #批量修改为因子类型
str(question)
#举例9:利用KNN算法进行缺失值插补(只能对数值型变量处理)
question<-read.csv("问卷调研数据.csv")
question<-question[,-1]
mice::md.pattern(question) #列表缺失值探索
library(caret)
knn.model<-preProcess(question,method = "knnImpute") #KNN处理数值型数据(欧式距离),不能处理因子型数据
question1<-predict(knn.model,newdata = question)
install.packages("RANN")
mice::md.pattern(question1)
table(question1$性别) #不是之前的1和2了
table(question$性别)
#最后结果:knn不适合处理该数据,需要做哑变量处理,再套模型
#举例10:利用袋装算法进行缺失值插补(只能对数值型变量处理)
question<-read.csv("问卷调研数据.csv")
question<-question[,-1]
mice::md.pattern(question) #列表缺失值探索
library(caret)
bag.model<-preProcess(question,method = "bagImpute") #bag算法模型建立
install.packages("ipred")
question2<-predict(bag.model,question) #预测结果
mice::md.pattern(question2) #列表缺失值探索
table(question2$性别)
#最后结果:bag算法不适合处理该数据
缺失数据处理(R实现)相关推荐
- 缺失数据处理方法简介
现实情况下,研究人员手上拿到的数据,无论多少,一般都会包含缺失值. 如何妥善处理缺失值,以获得可靠的统计分析结果,是重多研究者关注的问题. 本文基于多篇文献及网络资料,重点从缺失原因,缺失数类型,以及 ...
- R语言ggplot2可视化线图(line plot):当数据有中断、缺失时R不会将数据绘制为连续的线图、而是出现断点
R语言ggplot2可视化线图(line plot):当数据有中断.缺失时R不会将数据绘制为连续的线图.而是出现断点 目录
- DataFrame详解——缺失数据处理
缺失数据处理 方法 解释 DataFrame.backfill([axis, inplace, limit, -]) 后向填充,等同于DataFrame.fillna(method='bfill') ...
- R count函数_R最快且比dplyr最高效的大数据处理R包:tidyfst
R最快且比dplyr最高效的大数据处理R包:tidyfstmp.weixin.qq.com 写在前面 本包开发者黄天元: 首先我对tidyfst进行了一套完整的学习,因为这里面的函数并不多,满打满计 ...
- 插值法补齐缺失数据_缺失数据处理-插值法
缺失数据处理-插值法 在数据挖掘中,原始海量的数据中存在着大量不完整.不一致.有异常.偏离点的数据.这些问题数据轻则影响数据挖掘执行效率,重则影响执行结果.因此数据预处理工作必不可少,而其中常见工作的 ...
- 数据分析之Pandas缺失数据处理
↑↑↑关注后"星标"Datawhale每日干货 & 每月组队学习,不错过Datawhale干货 作者:耿远昊,Datawhale成员,华东师范大学Pandas 是一个强大的 ...
- R最快且比dplyr最高效的大数据处理R包:tidyfst
写在前面 本包开发者黄天元: 首先我对tidyfst进行了一套完整的学习,因为这里面的函数并不多,满打满计算,也就38个. 随着扩增子的平稳,我逐渐转入宏基因组,软件更多,平台跨度更大,R语言显示出来 ...
- 【Python】pandas 缺失数据处理大全(附代码)
之前一直在分享pandas的一些骚操作:pandas骚操作,根据大家反映还不错,但是很多技巧都混在了一起,没有细致的分类,这样不利于查找,也不成体系. 利用闲暇之余将有关数据清洗.数据分析的一些技能再 ...
- df python 增加数据_【Note】关于玩转数据处理R语言120题的注解(P1-P50)
前言: 这是关于张敬信老师@张敬信的专栏R&Python数据科学中的文章:玩转数据处理120题(R语言tidyverse版本)的个人自学笔记.敬信老师是我本科期间的恩师之一,非常感谢他提供的学 ...
最新文章
- Elasticsearch yellow 意味着主分片可用,副本不可用
- scratch学习_学习scratch编程能学到什么?对孩子有帮助吗?
- 类与类之间的交互关系
- Python定义函数的三种方式
- German Companies
- 淘宝弹性布局方案lib-flexible研究
- 《构建之法》 读书笔记
- 10个舍不得删的高质量公号
- 转贴:匹配中文的正则表达式及其他
- [转]Reporting Service部署之访问权限
- mysql-5.7.17的最新安装教程
- 2014图灵技术图书最受欢迎TOP15
- maven依赖关系中 scope属性含义
- JAVA汽车4s店管理系统前后台
- 关键成功因素法(CrISical Success Factors,CSF)
- mysql主从配置master、slaver
- 跳马问题C++递归调用
- 数字特征值-对数字求特征值是常用的编码算法,奇偶特征是一种简单的特征值
- android+广播+讲解,Android广播机制
- 利用WMI轻松打造WINDOWS任务管理器