侵权声明：

本篇文章是查阅各种网络技术博客撰写的，仅供学习使用，如有侵权立即删除。

下载使用数据，在公众号回复data。

一、相关分析和回归分析

变量间不存在完全的确定性，不能用精确的数学公式来表示——相关关系

相关变量间的关系——平行关系和依存关系

相关分析——研究平行关系，不区分自变量和因变量

回归分析——研究依存关系，区分自变量和因变量

二、简单线性相关系数

1 公式

总体：

样本：

在R中计算简单线性相关系数会用到cor()

它的标准格式：

代码：

setwd('F:/R project/multi_analysis')data1 x1 x2 cor(x1,x2)

结果：

[1] 0.9593031

2 检验

先说相关系数假设检验的理论知识：

H0：ρ=0

H1：ρ≠0

检验统计量为：

检验准则：

P值 < α，拒绝原假设，可认为两个变量之间是显著相关的。

在R中用到cor.test()进行检验，它的标准格式：

代码：

cor.test(x1,x2)

结果：

Pearson's product-moment correlationdata:  x1 and x2t = 10.743, df = 10, p-value = 8.21e-07alternative hypothesis: true correlation is not equal to 095 percent confidence interval:0.8574875 0.9888163sample estimates:cor 0.9593031

结果中“p-value = 8.21e-07”，当α取0.05时，可以拒绝原假设了，因此可以认为x1和x2之间显著相关。而且r = 0.9593031 ，说明x1和x2之间相关性还挺强的。

以上是两个变量之间的线性相关性，而在多元中，我们常常用协方差矩阵或者相关矩阵

来表示多个变量之间的相关性，用到的函数依旧是cov()和cor()，其实在这两个函数的标准格式

里就表明了这一点。

代码：

data1 cor(data1[,-1])pairs(data1[,-1],col = 'red')

结果：

y        x1        x2        x3        x4

y  1.0000000 0.9871498 0.9994718 0.9912053 0.6956619

x1 0.9871498 1.0000000 0.9907018 0.9867664 0.7818066

x2 0.9994718 0.9907018 1.0000000 0.9917094 0.7154297

x3 0.9912053 0.9867664 0.9917094 1.0000000 0.7073820

x4 0.6956619 0.7818066 0.7154297 0.7073820 1.0000000

这个图是散点图矩阵，可以直观地查看变量间的关系。

三、一般线性模型——lm()和nls()

1 一元线性回归

这个系列主要针对R语言的实际操作，原理部分可以参见统计学相关教材。

代码：

data1 attach(data1)fm #查看结果fm

结果：

Call:lm(formula = y ~ x)Coefficients:(Intercept)            x  -1.197        1.116

这个拟合的模型为：y = -1.197+1.116x

代码：

#绘图plot(x,y)lines(x,fitted(fm),col = 'red')

结果：

代码：

#假设检验#模型的检验anova(fm)

结果：

Analysis of Variance TableResponse: yDf Sum Sq Mean Sq F valuex          1 712077  712077   27427Residuals 29    753      26        Pr(>F)    x         < 2.2e-16 ***Residuals              ---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05‘.’ 0.1 ‘ ’ 1

可以看出，整个模型是显著的。

代码：

#回归系数的检验summary(fm)detach(data1)

结果：

Call:lm(formula = y ~ x)Residuals:Min     1Q Median     3Q    Max -6.631 -3.692 -1.535  5.338 11.432 Coefficients:Estimate Std. Error(Intercept) -1.19660    1.16126x            1.11623    0.00674t value Pr(>|t|)    (Intercept)   -1.03    0.311    x            165.61   <2e-16 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05‘.’ 0.1 ‘ ’ 1Residual standard error: 5.095 on 29 degrees of freedomMultiple R-squared:  0.9989,Adjusted R-squared:  0.9989 F-statistic: 2.743e+04 on 1 and 29 DF,  p-value: < 2.2e-16

可以看出，回归系数是显著的。在一元回归模型中，F检验和 t检验的结果是一致等价的。

2 多元线性回归

和一元线性回归差不多，同样，理论部分请参见统计专业教材。

代码：

data1 attach(data1)fm fm

结果：

Call:lm(formula = y ~ x1 + x2 + x3 + x4)Coefficients:(Intercept)           x1           x2           x3  23.5321088   -0.0033866    1.1641150    0.0002919  x4  -0.0437416

拟合的模型为：

y = 23.5321088-0.0033866 x1+1.1641150x2 +0.0002919x3

-0.0437416x4

代码：

#检验summary(fm)detach(data1)

结果：

Call:lm(formula = y ~ x1 + x2 + x3 + x4)Residuals:Min      1Q  Median      3Q     Max -5.0229 -2.1354  0.3297  1.2639  6.9690 Coefficients:Estimate Std. Error t value Pr(>|t|)    (Intercept) 23.5321088  4.5990714   5.117 2.47e-05 ***x1          -0.0033866  0.0080749  -0.419    0.678    x2           1.1641150  0.0404889  28.751  < 2e-16 ***x3           0.0002919  0.0085527   0.034    0.973    x4          -0.0437416  0.0092638  -4.722 7.00e-05 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 2.79 on 26 degrees of freedomMultiple R-squared:  0.9997,Adjusted R-squared:  0.9997 F-statistic: 2.289e+04 on 4 and 26 DF,  p-value: < 2.2e-16

F检验的p-value: < 2.2e-16，说明模型是显著的。另外回归系数的检验中，x2和x4是显著的。

3 非线性回归

做非线性回归需要提前知道拟合模型的形式，并且要给定各个参数的初始值。

代码：

data1 plot(data1$x,data1$y)

结果：

观察散点图，发现和 y = a*x^2+b*x+c类似，于是用这个模型拟合非线性模型。

代码：

attach(data1)fit fitdata1$fit library(ggplot2)ggplot(data1)+geom_point(aes(x,y))+geom_line(aes(x,fit),color = 'red')+theme_classic()

结果：

拟合的图形是用ggplot2绘制的，这个在R数据科学之ggplot2入门中已经介绍过了。

四、广义线性模型

第三部分介绍的一般线性模型解决的是因变量y是连续型变量的情况，那如果y是其他类型的变量呢？

(1)0-1变量——Logistic回归模型

(2)有序变量——累计比数模型和对数线性模型

(3)多分类变量——对数线性模型和多分类Logistic回归模型

(4)连续伴有删失——Cox比例风险模型

标准格式：

这里主要介绍Logistic模型，它用到Logit变换。

因为这里的y只能取0-1，不太符合我们的研究思路，所以通常将问题转化为：分析y = 1的概率和解释变量之间的关系。即为：

可是这样还是很麻烦，我们将其进行变换，就有了Logistic回归模型。

这个模型确定之后，也能确定P与解释变量X的关系。我们以一个具体的例子进行分析。这个案例是在研究视力(x1)、年龄(x2)和驾车教育(x3)对是否出现事故(y)的影响。

代码：

data1 fit fit

结果：

Call:  glm(formula = y ~ x1 + x2 + x3, family = "binomial", data = data1)Coefficients:(Intercept)           x1           x2           x3  0.597610    -1.496084    -0.001595     0.315865  Degrees of Freedom: 44 Total (i.e. Null);  41 ResidualNull Deviance:    62.18 Residual Deviance: 57.03 AIC: 65.03

所以得到：

我们可以进行简单的预测，视力正常、年龄在17岁、受过驾车教育的情况下，出现事故的概率怎么样？

代码：

temp p p

结果：

1

0.3521214

那么今天就说到这儿，这个系列下一篇更新主成分分析和因子分析方法~