作者：Abhijit Telang

翻译：张睿毅

校对：丁楠雅

文章来源：微信公众号 数据派THU

本文介绍了做残差分析的方法及其重要性，以及利用R语言实现残差分析。

在这篇文章中，我们通过探索残差分析和用R可视化结果，深入研究了R语言。

残差本质上是当一个给定的模型(在文中是线性回归)不完全符合给定的观测值时留下的gap。

医学中的病理学发现的残留分析是一个形象的比喻。人们通常用代谢残留水平来作为衡量药物吸收的指标。

残差是用于建模的原始值与作为模型结果的对于原始值的估计之间的差异。

残差=y-y-hat，其中y是初始值，y-hat是计算值。

期望这个错误尽可能接近于零，并且通过残差找到任何异常值。

找到异常值的一个快速方法是使用标准化残差。第一种方法是简单地求出残差与其标准差的比值，因此，任何超过3个标准差的情况都可以被视为异常值。

## 标准化残差-相对于其标准偏差的比例残差

residueStandard

df[residueStandard>3,]

以下是得到的结果：

days.instant days.atemp days.hum days.windspeed days.casual

442 442 0.505046 0.755833 0.110704 3155

456 456 0.421708 0.738333 0.250617 2301

463 463 0.426129 0.254167 0.274871 3252

470 470 0.487996 0.502917 0.190917 2795

471 471 0.573875 0.507917 0.225129 2846

505 505 0.566908 0.456250 0.083975 3410

512 512 0.642696 0.732500 0.198992 2855

513 513 0.641425 0.697083 0.215171 3283

533 533 0.594708 0.504167 0.166667 2963

624 624 0.585867 0.501667 0.247521 3160

645 645 0.538521 0.664167 0.268025 3031

659 659 0.472842 0.572917 0.117537 2806

当然，我希望我的模型是无偏的，至少我想这样。因此回归线两边的任何残差，如果没有在这条线上，都是随机的，也就是说，没有任何特定的模式。

也就是说，我希望我的剩余误差分布遵循一个普通的正态分布。

使用R语言，只需两行代码就可以优雅地完成这项工作。

绘制残差柱状图；

添加一个分位数图，其中有一条线穿过，即第一个和第三个分位数。

hist(lmfit$residuals)

qqnorm(lmfit$residuals);qqline(lmfit$residuals)

于是，我们知道这个图偏离了正常值(正常值用直线表示)。

但这种非黑即白的信息一般是不够的。因此，我们应该检查偏态和峰度，以了解分布的分散性。

首先，我们将计算偏态；我们将使用一个简单的高尔顿偏态(Galton’s skewness)公式。

## 分布对称性检验：偏态

summary

Q1

Q2

Q3

skewness

skewness

[1] 0.2665384

这量化了分布的方向(分布于右侧或左侧，或者是否完全对称或均匀)。

另一个度量角度是峰度，它显示分布是朝向中心(+ve值)还是远离中心(-ve值)。峰度是一个量化离群值可能性的指标。正值表示离群的存在。

kurtosis(lmfit$residuals)

[1] 2.454145

接下来，除了可视化残差的分布，我还想找出残差是否相互关联。

对于一个模型来说，为了解释观测值的所有变化，残差必须随机发生，并且彼此不相关。

Durbin-Watson测试允许检验残差彼此之间的独立性。

dwt(lm(df$days.windspeed~df$days.atemp+df$days.hum),method='resample', alternative='two.sided')

lag Autocorrelation D-W Statistic p-value

1 0.2616792 1.475681 0

Alternative hypothesis: rho != 0

对于给定的自由度和观测次数，需要将统计值与临界值表确定的下限和上限进行比较。文中案例的值域是[1.55,1.67]。

由于计算的D-W统计值低于该范围的较低值，我们拒绝了残差不相关的零假设。因此取而代之的假设是残差之间可能存在相关性。

直观地看，这个假设可以通过研究模型在试图捕获原始Y值的增加值时失败的原因来了解。当捕获增加值时，随着y的增加，残差与y成正比。

将其与绘制拟合y-hat值与y值进行比较。当y-hat值趋于落后时，残差似乎与y共同增长，故此，因为过去的残值似乎继续沿着固定的坡度值运行，过去的残值似乎是当前值的更好预测因子。同时，在达尔文-沃森检验(Darwin-Watson tests)中在残差与先前值之间的差的平方和，与所有观测的给定残差之和的比较和对比中，发现了相关性。

因此，残余误差之间的相关性就像心率测试失灵一样。如果你的模型不能跟上Y的快速变化，它会越来越和一个检验玩命的跑步者的情况类似，没记录上的步数似乎比跑步者实际的步数更相关。

重构你的线性回归模型中的下意识影响。

有一点很重要：当对任何给定的观测集进行线性回归时，因变量(符号上表示为y)的计算估计量(符号上表示为y-hat)的每个值不仅依赖于当前值(例如，观察值)，还依赖于每次观测。

毕竟，你的多元线性回归模型只在最小化因变量y的实际值和所有观测值y(y-hat)的计算估计值之间的误差后，才计算出每个影响因素的系数。

在数学上，这可以用简单的加权平均模型表示，如下所示。

Yhat(j)= w1j*Y(1)+w2j*Y(2)+w3j*Y(3)+w4j*Y(4)+.....+wnj*Y(n);

where n is number of observations and j is one particular estimated value.

如果你想用矩阵表示法来考虑这个问题，矩阵w的维数是[n，n]，其中n是观察到的数目。同样，以矩阵形式表示的y具有尺寸[n，1]，因此y-hat[j]表示为矩阵，因为它是两个矩阵(w和y)的乘积，并且具有与y相同的尺寸[n，1]。

因此，计算出的估计量的每一个值都可以表示为所有初始y值的加权平均值，表明给定的计算估计量在多大程度上受到每个初始y值的影响。

更简单地说，如果我看到一堆分散的观察结果，我必须以尽可能小的偏差，画一条直线穿过它们，也就是说，如果我必须遗漏一些观察结果，我必须在这条回归线的两侧平等地遗漏。

但是在这样做的同时，我(或选择的回归程序)不管来源何处，下意识地估计了每次观察对我回归线的斜率的影响程度。

我现在所做的就是重新计算这些影响。为了改变我的回归线，将它们包括在内或排除在外，每一个观察值的权重是多少？

权重的统计术语是hat values，因为它们连接了计算的估计量和它们的原始对应的估计量。

以下是用R语言计算的方法：

modelmatrix

hatvalues

首先，我们得到一个矩阵形式的模型。然后我们计算hat值。

或者，可以使用以下函数获得类似的结果。

hatvalues

让我们考虑一下可以施加在每个权重上的限制。

显然，权重的最小可能值等于所有原始Y值贡献相等的可能性(因为它们必须为线性回归程序贡献一些东西，通过对所有观测进行工作和优化来估计系数)。

在这种情况下，其值域的下限为1/n，其中n是观测总数。在任何情况下，因为n总是+ve，所以权重总是<1。

现在试着将hat值加和，你会看到一个有趣的结果…

sum(hatvalues)

[1] 4

它们等于线性回归模型为计算考虑的影响因素数量+1。

例如，在示例数据集中，我们有三个因素，即温度、湿度和风速。

接下来，我们如何找到最重要或最有影响的观察结果？

一种优雅的方式是：

将hat值切分为四分位数。

应用95%标准过滤最异常值。

将该过滤标准应用于观察结果。

R语言允许你一步完成这些操作！

df[hatvalues>quantile(hatvalues,0.95),]

我们可以得到满足这一标准的具体观测结果。

days.instant days.atemp days.hum days.windspeed days.casual

9 9 0.1161750 0.434167 0.361950 54

21 21 0.1578330 0.457083 0.353242 75

22 22 0.0790696 0.400000 0.171970 93

26 26 0.2036000 0.862500 0.293850 34

32 32 0.2345300 0.829565 0.053213 47

36 36 0.2430580 0.929167 0.161079 100

45 45 0.3983500 0.375833 0.417908 208

50 50 0.3914040 0.187917 0.507463 532

65 65 0.3662520 0.948261 0.343287 114

69 69 0.3856680 0.000000 0.261877 46

90 90 0.2575750 0.918333 0.217646 179

94 94 0.5429290 0.426250 0.385571 734

95 95 0.3983500 0.642083 0.388067 167

106 106 0.4254920 0.888333 0.340808 121

153 153 0.6439420 0.305000 0.292287 736

239 239 0.6355560 0.850000 0.375617 226

249 249 0.5152000 0.886957 0.343943 204

293 293 0.4665250 0.636250 0.422275 471

302 302 0.2279130 0.882500 0.351371 57

341 341 0.4002460 0.970417 0.266175 50

368 368 0.1262750 0.441250 0.365671 89

383 383 0.2752540 0.443333 0.415429 109

388 388 0.2430580 0.911250 0.110708 145

408 408 0.1016580 0.464583 0.409212 73

421 421 0.2556750 0.395833 0.421642 317

433 433 0.5246040 0.567500 0.441563 486

434 434 0.3970830 0.407083 0.414800 447

463 463 0.4261290 0.254167 0.274871 3252

465 465 0.4766380 0.317500 0.358196 905

478 478 0.3895040 0.835417 0.344546 120

543 543 0.5947040 0.373333 0.347642 1077

627 627 0.5650670 0.872500 0.357587 371

667 667 0.4677710 0.694583 0.398008 998

668 668 0.4394000 0.880000 0.358200 2

694 694 0.2487420 0.404583 0.376871 532

722 722 0.2361130 0.441250 0.407346 205

726 726 0.2203330 0.823333 0.316546 9

最终，你可以用颜色编码使他们具象化。

具象化

plot(df$days.casual,lmfit$fitted.values,col=ifelse(hatvalues>quantile(hatvalues,0.95),'red','blue'))

就是这样！这是进行残差分析和其重要性的简单概述。

原文标题：

Doing Residual Analysis Post Regression in R

原文链接：

译者简介

张睿毅，北京邮电大学大二物联网在读。我是一个爱自由的人。在邮电大学读第一年书我就四处跑去蹭课，折腾整一年惊觉，与其在当下焦虑，不如在前辈中沉淀。于是在大二以来，坚持读书，不敢稍歇。资本主义国家的科学观不断刷新我的认知框架，同时因为出国考试很早出分，也更早地感受到自己才是那个一直被束缚着的人。太多真英雄在社会上各自闪耀着光芒。这才开始，立志终身向遇到的每一个人学习。做一个纯粹的计算机科学里面的小学生。

翻译组招募信息

工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。