残差分析（残差原理与标准化残差分析）

2024-04-28 07:50:42

1、残差分析定义

在回归模型 $y=\beta _{0}+\beta _{1}x+\varepsilon$ 中，假定 $\varepsilon$ 的期望值为0，方差相等且服从正态分布的一个随机变量。但是，若关于 $\varepsilon$ 的假定不成立，此时所做的检验以及估计和预测也许站不住脚。确定有关 $\varepsilon$ 的假定是否成立的方法之一是进行残差分析（residual analysis）.

2、残差与残差图

残差（residual）是因变量的观测值 $y_{i}$ 与根据估计的回归方程求出的预测 $\hat{y}_{i}$ 之差，用e表示。反映了用估计的回归方程去预测 $y_{i}$ 而引起的误差。第i个观察值的残差为： $e_{i}=y_{i}-\hat{y}_{i}$

常用残差图：有关x残差图，有关 $\hat{y}$ 的残差图，标准化残差图

有关x残差图：用横轴表示自变量x的值，纵轴表示对应残差 $e_{i}=y_{i}-\hat{y}_{i}$ ，每个x的值与对应的残差用图上的一个点来表示。

分析残差图，首先考察残差图的形态及其反映的信息。

分析：

（a）对所有x值， $\varepsilon$ 的方差都相同，且描述变量x和y之间的回归模型是合理的，残差图中的所有点落在一条水平带中间。

（b）对所有的值， $\varepsilon$ 的方差是不同的，对于较大的x值，相应的残差也较大，违背了 $\varepsilon$ 的方差相等的假设

（c）表明所选的回归模型不合理，应考虑曲线回归或多元回归模型。

3、标准化残差

对于 $\varepsilon$ 正态性假定的检验，也可通过标准化残差分析完成。

标准化残差（standardized residual）是残差除以其标准差后得到的数值，也称Pearson残差或半学生化残差（semi-studentized residuals）,用 $z_{e}$ 表示。第i个观察值的标准化残差为： $z_{e_{i}}=\frac{e_{i}}{s_{e}}=\frac{y_{i}-\hat{y}_{i}}{s_{e}}$ ( $s_{e}$ 是残差的标准差的估计)

如果误差项 $\varepsilon$ 服从正态分布的这一假定成立，则标准化残差的分布也服从正态分布。大约有95%的标准化残差在 -2~2 之间。

从图中可以看出，除了箭头所标识的点外，所有的标准化残差都在 -2~2 之间，所以误差项服从正态分布的假定成立。

残差分析（残差原理与标准化残差分析）相关推荐

期望、方差、标准差、协方差、相关系数、协方差矩阵、残差、残差平方和(SSE)、标准化残差，残差分析
通过学习,结合网络上搜索, 把相关概念整理了一下. 1.期望(均值.数学期望) 期望是度量数据的集中趋势的一个重要指标,是研究随机变量的一个重要数字特征离散型随机变量Xi,其对因的概率P(Xi) ...
回归标准差和残差平方和的关系_期望、方差、标准差、协方差、相关系数、协方差矩阵、残差、残差平方和(SSE)、标准化残差，残差分析...
通过学习,结合网络上搜索, 把相关概念整理了一下. 1.期望(均值.数学期望) 期望是度量数据的集中趋势的一个重要指标,是研究随机变量的一个重要数字特征离散型随机变量Xi,其对因的概率P(Xi) ...
R语言计算回归模型标准化残差实战（Standardized Residuals）:识别回归模型中离群点
R语言计算回归模型标准化残差实战(Standardized Residuals):识别回归模型中离群点目录
深度学习之残差网络的原理
目录一. 什么是残差(residual) 二.残差网络的背景三.残差块(residual block) 四.深度残差学习五.DenseNet网络和Resnets网络对比转载:https://b ...
一文读懂PCA分析（原理、算法、解释和可视化）
生物信息学习的正确姿势 NGS系列文章包括NGS基础.高颜值在线绘图和分析.转录组分析 (Nature重磅综述|关于RNA-seq你想知道的全在这).ChIP-seq分析 (ChIP-seq基本分析流 ...
ConcurrentHashMap实现原理及源码分析
ConcurrentHashMap是Java并发包中提供的一个线程安全且高效的HashMap实现(若对HashMap的实现原理还不甚了解,可参考我的另一篇文章HashMap实现原理及源码分析),Con ...
concurrenthashmap_ConcurrentHashMap实现原理及源码分析
ConcurrentHashMap是Java并发包中提供的一个线程安全且高效的HashMap实现(若对HashMap的实现原理还不甚了解,可参考我的另一篇文章HashMap实现原理及源码分析),Con ...
Android10.0 Binder通信原理(八)-Framework层分析
摘要:本节主要来讲解Android10.0 Binder 在Framework的使用分析阅读本文大约需要花费15分钟. 文章首发微信公众号:IngresGe 专注于Android系统级源码分析,An ...
Android10.0 Binder通信原理(五)-Binder驱动分析
摘要:本节主要来讲解Android10.0 Binder的驱动层分析阅读本文大约需要花费35分钟. 文章首发微信公众号:IngresGe 专注于Android系统级源码分析,Android的平台设计 ...
MyBatis 源码分析 - 缓存原理
1.简介在 Web 应用中,缓存是必不可少的组件.通常我们都会用 Redis 或 memcached 等缓存中间件,拦截大量奔向数据库的请求,减轻数据库压力.作为一个重要的组件,MyBatis 自然 ...

最新文章

热门文章