r语言datarame删除行_R语言缺失值的处理:线性回归模型插补
原文链接:
拓端数据科技 / Welcome to tecdattecdat.cn
在当我们缺少值时,系统会告诉我用-1代替,然后添加一个指示符,该变量等于-1。这样就可以不删除变量或观测值。
视频
缺失值的处理:线性回归模型插补
我们在这里模拟数据,然后根据模型生成数据。未定义将转换为NA。一般建议是将缺失值替换为-1,然后拟合未定义的模型。默认情况下,R的策略是删除缺失值。如果未定义50%,则缺少数据,将删除一半的行
- n=1000
- x1=runif(n)
- x2=runif(n)
- e=rnorm(n,.2)
- y=1+2*x1-x2+e
- alpha=.05
- indice=sample(1:n,size=round(n*alpha))
- base=data.frame(y=y,x1=x1)
- base$x1[indice]=NA
- reg=lm(y~x1+x2,data=base)
我们模拟10,000,然后看看未定义的分布,
- m=10000
- B=rep(NA,m)
- hist(B,probability=TRUE,col=rgb(0,0,1,.4),border="white",xlab="missing values = 50%")
- lines(density(B),lwd=2,col="blue")
- abline(v=2,lty=2,col="red")
当然,丢失值的比率较低-丢失的观测值较少,因此估计量的方差较小。
现在让我们尝试以下策略:用固定的数值替换缺失的值,并添加一个指标,
- B=rep(NA,m)
- hist(B,probability=TRUE,col=rgb(0,0,1,.4),border="white")
- lines(density(B),lwd=2,col="blue")
- abline(v=2,lty=2,col="red")
不会有太大变化,遗漏值的比率下降到5%,
例如仍有5%的缺失值,我们有
如果我们查看样本,尤其是未定义的点,则会观察到
缺失值是完全独立地随机选择的,
- x1=runif(n)
- plot(x1,y,col=clr)
(此处缺失值的1/3为红色)。但可以假设缺失值的最大值,例如,
- x1=runif(n)
- clr=rep("black",n)
- clr[indice]="red"
- plot(x1,y,col=clr)
有人可能想知道,估计量会给出什么?
它变化不大,但是如果仔细观察,我们会有更多差异。如果未定义变量会发生什么,
- for(s in 1:m){
- base$x1[indice]=-1
- reg=lm(y~x1+x2+I(x1==(-1)),data=base)
- B[s]=coefficients(reg)[2]
- }
这次,我们有一个有偏差的估计量。
- set.seed(1)
- indice=sample(1:n,size=round(n*alpha),prob = x1^3)
- base$x1[indice]=-1
- coefficients(reg1)
- (Intercept) x1 x2 I(x1 == (-1))TRUE
- 1.0988005 1.7454385 -0.5149477 3.1000668
- base$x1[indice]=NA
- coefficients(reg2)
- (Intercept) x1 x2
- 1.1123953 1.8612882 -0.6548206
正如我所说的,一种更好的方法是推算。这个想法是为未定义的缺失预测值预测。最简单的方法是创建一个线性模型,并根据非缺失值进行校准。然后在此新基础上估算模型。
- for(s in 1:m){
- base$x1[indice]=NA
- reg0=lm(x1~x2,data=base[-indice,])
- base$x1[indice]=predict(reg0,newdata=base[indice,])
- reg=lm(y~x1+x2,data=base)
- }
- hist(B,probability=TRUE,col=rgb(0,0,1,.4),border="white")
- lines(density(B),lwd=2,col="blue")
- abline(v=2,lty=2,col="red")
在数字示例中,我们得到
- base$x1[indice]=NA
- coefficients(reg3)
- (Intercept) x1 x2
- 1.1593298 1.8612882 -0.6320339
这种方法至少能够纠正偏差
然后,如果仔细观察,我们获得与第一种方法完全相同的值,该方法包括删除缺少值的行。
- Coefficients:
- Estimate Std. Error t value Pr(>|t|)
- (Intercept) 1.15933 0.06649 17.435 < 2e-16 ***
- x1 1.86129 0.21967 8.473 < 2e-16 ***
- x2 -0.63203 0.20148 -3.137 0.00176 **
- ---
- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
- Residual standard error: 1.051 on 997 degrees of freedom
- Multiple R-squared: 0.1094, Adjusted R-squared: 0.1076
- F-statistic: 61.23 on 2 and 997 DF, p-value: < 2.2e-16
- Coefficients: Estimate Std. Error t value Pr(>|t|)
- (Intercept) 1.11240 0.06878 16.173 < 2e-16 ***
- x1 1.86129 0.21666 8.591 < 2e-16 ***
- x2 -0.65482 0.20820 -3.145 0.00172 **
- ---
- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
- Residual standard error: 1.037 on 797 degrees of freedom
- (200 observations deleted due to missingness)
- Multiple R-squared: 0.1223, Adjusted R-squared: 0.12
- F-statistic: 55.5 on 2 and 797 DF, p-value: < 2.2e-16
除了进行线性回归外,还可以使用另一种插补方法。
在模拟的基础上,我们获得
- for(j in indice) base0$x1[j]=kpp(j,base0,k=5)
- reg4=lm(y~x1+x2,data=base)
- coefficients(reg4)
- (Intercept) x1 x2
- 1.197944 1.804220 -0.806766
如果我们看一下10,000个模拟中的样子,就会发现
- for(s in 1:m){
- base0=base
- for(j in indice) base0$x1[j]=kpp(j,base0,k=5)
- reg=lm(y~x1+x2,data=base0)
- B[s]=coefficients(reg)[2]
- }
- hist(B,probability=TRUE,col=rgb(0,0,1,.4),border="white")
- lines(density(B),lwd=2,col="blue")
- abline(v=2,lty=2,col="red")
这里的偏差似乎比没有插补时要弱一些,换句话说,在我看来,插补方法似乎比旨在用任意值替换NA并在回归中添加指标的策略更强大。
参考文献
1.用SPSS估计HLM层次线性模型模型
2.R语言线性判别分析(LDA),二次判别分析(QDA)和正则判别分析(RDA)
3.基于R语言的lmer混合线性回归模型
4.R语言Gibbs抽样的贝叶斯简单线性回归仿真分析
5.在r语言中使用GAM(广义相加模型)进行电力负荷时间序列分析
6.使用SAS,Stata,HLM,R,SPSS和Mplus的分层线性模型HLM
7.R语言中的岭回归、套索回归、主成分回归:线性模型选择和正则化
8.R语言用线性回归模型预测空气质量臭氧数据
9.R语言分层线性模型案例
r语言datarame删除行_R语言缺失值的处理:线性回归模型插补相关推荐
- r语言清除变量_R语言(1)初识与数据结构
点击上方蓝字,记得关注我们! a picture is worth a thousand words! 一,R语言简介 1,R语言的发展 上世纪90年代初,新西兰奥克兰大学 Ross Ihaka 和 ...
- r语言 tunerf函数_R语言 | 一网打尽高质量统计分析与机器学习包
原标题:R语言 | 一网打尽高质量统计分析与机器学习包 146+72本期刊<SCI期刊分析+选刊网站>免费领 解螺旋公众号·陪伴你科研的第2232天 常用统计方法包+机器学习包(名称.简介 ...
- R 多变量数据预处理_R语言常用统计方法包+机器学习包(名称、简介)
上期帮大家盘点了一下R中常用的可视化包,这期将简要盘点一下关于统计分析与机器学习的R包,并通过简要介绍包的特点来帮助读者深入理解可视化包. 本文作者为"食物链顶端"学习群中的小伙伴 ...
- r语言logistic回归_R语言多分类logistic逻辑回归模型在混合分布模拟单个风险损失值评估的应用...
原文链接 :http://tecdat.cn/?p=14017tecdat.cn 通常,我们在回归模型中一直说的一句话是" 请查看一下数据 ". 在上一篇文章中,我们没有查看数据 ...
- r - 求平均成绩_R语言 从零开始的笔记(一)
R是用于统计分析.绘图的语言和操作环境.R是属于GNU系统的一个自由.免费.源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具. R语言于生物学分析中的应用越来越广泛,在其他领域的统计绘图应用 ...
- R语言JAVA对比_R语言统计分析应用与SAS、SPSS的比较
能够用来做统计分析的软件和程序很多,目前应用比较广泛的包括:SPSS, SAS.R语言,Matlab,S-PLUS,S-Miner等.下面我们来看一下各应用的特点: SPSS: 最简单的,都是菜单操作 ...
- r语言electricity数据集_R语言多元逐步回归模型分析房价和葡萄酒价格:选择最合适的预测变量...
包含更多的预测变量不是免费的:在系数估算的更多可变性,更难的解释以及可能包含高度依赖的预测变量方面要付出代价.确实, 对于样本大小 ,在线性模型中可以考虑 的预测变量最大数量为 p .或等效地,使用 ...
- r语言pls分析_R语言中的偏最小二乘PLS回归算法
偏最小二乘回归: 我将围绕结构方程建模(SEM)技术进行一些咨询,以解决独特的业务问题.我们试图识别客户对各种产品的偏好,传统的回归是不够的,因为数据集的高度分量以及变量的多重共线性.PLS是处理这些 ...
- r语言electricity数据集_R语言学习10-查看数据
当我们处理一个新的数据集的时候,第一件事就是要对数据做一个了解.数据的格式是什么?数据的维度是多少?变量名是什么? 变量如何存储? 是否缺少数据? 数据中是否有任何缺陷? 本次课将学习如何使用R的内置 ...
最新文章
- MySQL 5.5主从复制(Replication)
- SAP ABAP二分查找(binary search)实际问题的深度分析
- 数据可视化组队学习:《Task04 - 文字图例尽眉目》笔记
- Linux(三)——mysql服务
- oracle跳过undo回滚段启动,[Oracle] 解析在没有备份的情况下undo损坏怎么办
- linux需要你的不懈努力
- 吴恩达发布了大型X光数据集,斯坦福AI诊断部分超越人类 | AAAI 2019
- 2021年各省高考试成绩查询,2021年各省高考成绩查询时间 什么时候出分
- 通过重建Hosting系统理解HTTP请求在ASP.NET Core管道中的处理流程[下]:管道是如何构建起来的?...
- [运放滤波器]1_理想运放_虚短虚断
- Mac上好用的音乐软件是哪个?MacOS专业音乐制作软件推荐
- u盘虚拟启动cd linux,CDlinux系统用U盘搭建启动盘
- layui 富文本编辑器和textarea值的相互传递
- 摸鱼儿·雁丘词 / 迈陂塘
- 2022全球新能源与智能汽车供应链创新大会|爱普搜同期项目对接会
- C++模拟手机调查问卷
- 如何用sql profile 找出执行慢的sql
- IntelliJ IDEA 如何创建一个普通的 Java 项目,及创建 Java 文件并运行
- 这个世界依聪明才智的先天高下得三种人:先知先觉的发明家,后知后觉的宣传家,不知不觉的实践家...
- 煤焦油称重管理软件你了解吗