数据分析方法——回归分析

文章目录

2.1 线性回归模型及其参数估计
- 2.1.1 线性回归模型及其矩阵表示
- 2.1.2 参数估计及其性质
- - 1.回归参数的最小二乘估计
  - 2.误差方差σ2的估计
  - 3.估计量的基本性质
2.2 统计推断与预测
- 2.2.1 回归方程的显著性检验
- - 1.离差平方和的分解与复相关系数
  - 2.线性回归关系的显著性检验
- 2.2.2 回归系数的统计推断
- 2.2.3 预测及统计推断
- 2.2.4 与回归系数有关的假设检验的一般方法
2.3残差分析
- 2.3.1 误差项的正态性检验
- - 1.频率检验
  - 2.正态QQ图检验
  - 3.相关系数检验
- 2.3.2 残差图分析
- 2.3.3 Box-Cox变换
2.4 回归方程的选取
- 2.4.1 穷举法
- - 1.修正的复相关系数准则(均方残差准则)
  - 2.Cp准则
  - 3.预测平方和准则
- 2.4.2 逐步回归法

2.1 线性回归模型及其参数估计

2.1.1 线性回归模型及其矩阵表示

2.1.2 参数估计及其性质

1.回归参数的最小二乘估计

2.误差方差σ2的估计

3.估计量的基本性质

…一堆数学公式…，估计也不用全部掌握，先pass

2.2 统计推断与预测

2.2.1 回归方程的显著性检验

1.离差平方和的分解与复相关系数

2.线性回归关系的显著性检验

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210113144650401.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0ZXJuaXR5a2M=,s ize_16,color_FFFFFF,t_70)

2.2.2 回归系数的统计推断

2.2.3 预测及统计推断

2.2.4 与回归系数有关的假设检验的一般方法

2.3残差分析

2.3.1 误差项的正态性检验

1.频率检验

这是残差，残差=实际y-预测y。

学生化残差ri是由残差经过一个运算得来的，如果ri服从标准正态分布，则通过了误差项的正态性检验。
这个服从正态分布用频率来检验，比如(-1,1)的概率为0.68，(-1.5,1.5)的概率为0.87，(-2,2)的概率0.95，若在两个区间上两者有较大差异，则有理由怀疑误差独立同正态分布假定的合理性。

2.正态QQ图检验

画出学生化残差的正态QQ图，散点应大致一条直线上。若明显不在一条直线上，则有理由怀疑误差独立同正态分布假定的合理性。

3.相关系数检验

若QQ图的横坐标q和纵坐标r(学生化残差)的相关系数p^接近1，则表明通过正态性检验

2.3.2 残差图分析

残差图是以残差为纵坐标，以任何其他有关量为横坐标，如：
(1)因变量Y的拟合值
(2)自变量X的观测值
(3)某种时序(有的数据有)

2.3.3 Box-Cox变换

通过残差分析，可以发现该回归方程的一些不足
Box-Cox变换就是为了改进其不足而搞得
它是对因变量Y做适当的变换

2.4 回归方程的选取

设自变量有M-1个，记为X1，X2，…XM-1,穷举法就是从这M-1个自变量的所有可能的子集所拟合的回归方程中，按照一定准则选取最优的一个或几个。
若有p个回归系数，则包含p-1个自变量(因为其中一个回归系数给了常数项)。
下面介绍评价回归方程优良性的准则.

2.4.1 穷举法

1.修正的复相关系数准则(均方残差准则)

就是修正的R^2嘛，越大越好。

2.Cp准则

p是回归系数个数，Cp相当于某个统计量，这里拟合所有可能的2^(M-1)-1个回归方程，将相应的(p,Cp)画在直角坐标系中，再画出参考直线Cp=p，称之为Cp图。
在Cp图中选择最接近参考直接的点所对应的回归方程为最优方程。

3.预测平方和准则

选取PRESSp达到最小的那个回归方程为最优回归方程。

2.4.2 逐步回归法