主成分分析应用之主成分回归
主成分回归分析
对于OXY数据集的变量解释如下:
对上述数据进行回归模型的拟合,得到模型:
从模型的显著性检验结果看出:除了常数项以及β3显著,其他变量系数都不通过显著性检验。同时,从模型整体拟合效果来看,R^2为0.8618,调整的R^2为0.7697,整体拟合效果可以通过。最后,p值为0.00198说明,拒绝原假设,即有理由认为回归模型从整体上拟合效果比较好。
下面针对系数通不过检验进行分析。
##残差图,异方差,自相关检验
plot(lm.sol$residuals,main = "the residuals of liner model",ylab = "re")
abline(h=0,lty=2)
#多重共线性检验
kappa(qr(OXY))
结果:
借助残差图,其随机围绕着re=0波动,可以排除模型不存在自相关以及异方差问题。
kappa(qr(OXY))
[1] 264.2117
由其条件数为264大于100,可认为,该模型存在较强的多重共线性。
则采用主成分回归法,来消减模型存在多重共线性带来的影响,即系数通不过显著性检验。
求主成分:
由cumulative proportion可以得到当主成分个数m等于3时,累计贡献率为83.526%大于80%,即可认为前三个主成分,就基本提取了原数据绝大部分的信息。所以,以前三个主成分的得分值作其观测值z1,z2,z3,并把它添加到数据集OXY中,建立回归模型:
y =46.3800+2.0593*z1 -1.4782*z2 +0.6950*z3
可从summary(lm.sol.1)结果得到,除了z3的系数没通过显著性检验。同时模型的整体
拟合效果得到提高,R^2为0.8676,调整的R^2为0.8345,同时p值远远小于0.05,说明
模型整体拟合效果较佳。
lm.sol.1<-lm(y~z1+z2+z3, data=OXY)
summary(lm.sol.1)
Call:
lm(formula = y ~ z1 + z2 + z3, data = OXY)
Residuals:
Min 1Q Median 3Q Max
-2.3880 -1.5069 0.3160 0.7009 4.3672
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 46.3800 0.4762 97.394 < 2e-16 ***
z1 2.0593 0.2591 7.950 4.01e-06 ***
z2 -1.4782 0.4093 -3.611 0.00357 **
z3 0.6950 0.4512 1.540 0.14942
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.905 on 12 degrees of freedom
Multiple R-squared: 0.8676, Adjusted R-squared: 0.8345
F-statistic: 26.2 on 3 and 12 DF, p-value: 1.49e-05
使用逆变换法,得到原始变量的回归方程:
beta<-coef(lm.sol.1); A<-loadings(prin.oxy)
x.bar<-prin.oxy$center; x.sd<-prin.oxy$scale
coef<-(beta[2]*A[,1]+ beta[3]*A[,2])/x.sd
beta0 <- beta[1]- sum(x.bar * coef)
c(beta0, coef)
(hntercept) x1 x2 x3 x4 x5 x6 y
84.48047095 -0.19517781 -0.11688617 -1.04312708 -0.12361966 -0.03916300 -0.05573319 0.31272008
即可以得到原始变量的回归方程
从其系数可以大致得到以下结论:
即认为人体肺活量与年龄,体重,脉搏成负相关,与运动时最大脉搏成正比。
主成分分析应用之主成分回归相关推荐
- 主成分分析,充分图,聚类,主成分回归——数据分析与R语言 Lecture 11
主成分分析,充分图,聚类,主成分回归--数据分析与R语言 Lecture 11 主成分分析 例子:求相关矩阵特征值 例子:求主成分载荷 例子:画碎石图确定主成分 例子:主成分得分-相当于predict ...
- 【R统计】主成分分析2——主成分回归
习题: 对某地区的某消费品的销售量Y进行调查,它与下面四个变量有关:x1居民可支配收入,x2该类消费品平均价格指数,x3社会该消费品保有量,x4其他消费品平均价格指数,历史资料如下表所示.试用主成分 ...
- 偏最小二乘,主成分分析,主成分回归,奇异值之间的关系
在统计中,主成分回归(PCR)是一种基于主成分分析(PCA)的回归分析技术. 在PCR中,不是直接对解释变量进行因变量回归,而是将解释变量的主要成分用作回归变量. 基于奇异值分解(SVD)的偏最小二乘 ...
- 主成分分析(最小二乘法回归,主成分回归模型)代码分享
clc, clear load example_1.txt %数据要求:前几列为自变量,最后一列为因变量 data = example_1; [m, n] = size(data); num = 3; ...
- 偏最小二乘回归(PLSR)和主成分回归(PCR)
本项目中我们被要求显示如何在matlab中应用偏最小二乘回归(PLSR)和主成分回归(PCR),并讨论这两种方法的有效性.当存在大量预测变量时,PLSR和PCR都是对因变量建模的方法,并且这些预测变量 ...
- MATLAB中的偏最小二乘回归(PLSR)和主成分回归(PCR)
通过Matlab示例来解释偏最小二乘的原理 此示例显示如何在matlab中应用偏最小二乘回归(PLSR)和主成分回归(PCR),并讨论这两种方法的有效性. 当存在大量预测变量时,PLSR和PCR都是对 ...
- matlab偏最小二乘截距,matlab代写偏最小二乘回归(PLSR)和主成分回归(PCR)
原标题:matlab代写偏最小二乘回归(PLSR)和主成分回归(PCR) 原文:http://tecdat.cn/?p=2655 此示例显示如何在matlab中应用偏最小二乘回归(PLSR)和主成分回 ...
- 机器学习——数据的共线性问题(岭回归、LASSO回归、逐步回归、主成分回归)
一.如何检验共线性 容忍度(Trlerance):容忍度是每个自变量作为因变量对其他自变量进行回归建模时得到的残差比例,大小用1减得到的决定系数来表示.容忍度的值介于0和1之间,如果值越小,说明这个自 ...
- R语言主成分回归(PCR)、 多元线性回归特征降维分析光谱数据和汽车油耗、性能数据...
原文链接:http://tecdat.cn/?p=24152 什么是PCR?(PCR = PCA + MLR)(点击文末"阅读原文"获取完整代码数据). • PCR是处理许多 x ...
最新文章
- c 与java 反射性能_谈谈Java 反射的快慢
- Powershell管理系列(二十八)PowerShell操作之修改AD账号密码
- 推荐8个非常实用的办公软件和网站,效率提升
- ospf避免环路_OSPF路由协议的区域防环机制
- 是否保证Python列表的元素保持按插入顺序排列?
- 1. Action 实现 ModelDriven 接口后的运行流程
- Android 调试工具集合
- 数据库原理学习笔记(二)数据库范式
- ZendStudio10.6.1如何安装最新的集成svn小工具?
- Docker - 在CentOS 7中安装Docker
- 讲一下Asp.net core MVC2.1 里面的 ApiControllerAttribute
- Flask最强攻略 - 跟DragonFire学Flask - 第四篇 Flask 中的模板语言 Jinja2 及 render_template 的深度用法
- linux epoll 开发指南-【ffrpc源码解析】
- 基于OMCS的远程桌面实现远程控制地面站
- win10桌面管理文件收纳_放心的电脑桌面收纳工具必备,电脑桌面win10应用商店
- [C++系列] 66. 超详解C++阶段性总结思维导图
- Nvidia Jetson deepstream配置多路RTSP视频源
- 当Android开发遇到魅族手机
- 交换机ftp将文件传到服务器,如何用FTP实现交换机间配置文件复制?
- c# 获取CPU占用率和剩余内存