统计推断——假设检验——线性回归—

在《统计推断——假设检验——简单线性回归分析》，我们学到了一个回归模型评价指标：决定系数 $R^{2}$ 。

回顾一下决定系数 $R^{2}$ 的公式： $R^{2}=\frac{SSR}{SST}=1-\frac{SSE}{SST}$ ，其中 $SST$ 代表离差总平方和， $SSE$ 代表残差平方和， $SSR$ 代表回归平方和，各指标计算如下所示：

例如下图中，P表示某一个观察点。

则根据： $SST=SSR+SSE$ ，根据上图进行分解： $\sum (Y-\overline{Y})^2=\sum (\widehat{Y}-\overline{Y})^2+\sum (Y-\widehat{Y})^2$ 。

我们以下面数据为例，以 $Y=X^{2}$ 生成点：

生成的数据点 $%uFF08X,Y%uFF09$ $\left ( X,Y \right )$ 及 $\overline{Y}$ 如下图所示.，在图中，蓝线上的数据是我们生成的数据，水平红线是该数据的平均值。这样根据公式我们就可以求出 $SST=\sum (Y-\overline{Y})^2=1092$ 。

此数据的线性回归方程为 $\widehat{Y}=6X+5$ ，将 $X$ 代入可以求出相应的 $\widehat{Y}$ ，然后根据公式 $SSE=\sum (Y-\widehat{Y})^2$ ，我们可以求得残差平方和 $SSE=84$ 。

最后根据公式： $R^{2}=\frac{SSR}{SST}=1-\frac{SSE}{SST}=1-\frac{84}{1092}=0.9231$

算出来决定系数 $R^{2}$ ，那么如何定义它的效益呢？

$R^{2}$ 为1.0最佳。这意味着你的回归模型没有错误。
$R^{2}$ 为0表示你的回归并不比取平均值更好，即你没有使用其他变量中的任何信息。
$R^{2}$ 为负表示你的回归模型的表现比平均值还差。

下面我们来考虑一个问题， $R^{2}$ 可以为负吗？什么时候为负？

通过上面我们知道：任何大于零的 $R^{2}$ 都意味着回归分析比仅使用一条穿过平均值的水平线要好。在极少数情况下，你会得到负 $R^{2}$ 值，你可能应该重新考虑回归分析，尤其是在强制进行截距的情况下。

我们还是继续上面的数据进行讨论，我们随便找个线性回归方程为 $\widehat{Y}=-2X+20$ ，如下图黑线代表 $\widehat{Y}=-2X+20$ ，将 $X$ 代入可以求出相应的 $\widehat{Y}$ ，然后根据公式 $SSE=\sum (Y-\widehat{Y})^2$ ，我们可以求得残差平方和 $SSE=1883$ 。

最后根据公式： $R^{2}=\frac{SSR}{SST}=1-\frac{SSE}{SST}=1-\frac{1883}{1092}=-0.7244$ 。

这个时候我们计算出来的 $R^{2}$ 就变成了负数，他代表的意义在于：该线性回归模型（黑线）对数据的拟合效果，还不如均值模型（红线）。在现实应用中，很少会出现这么离谱的情况，所以一般认为有用的模型的 $R^{2}$ 的取值范围在0-1之间。

统计推断——假设检验——线性回归——R的平方可以为负数相关推荐

python3**2的值,线性回归中的R*2平方值
回归分析,是对两个或两个以上变量之间的因果关系进行定量研究的一种统计分析方法.在做回归分析或者解决回归问题时,常会用到R²平方值. 定义: 1.定义:决定系数,反应因变量的全部变异能通过回归关系被自变 ...
线性回归中的R*2平方值
回归分析,是对两个或两个以上变量之间的因果关系进行定量研究的一种统计分析方法.在做回归分析或者解决回归问题时,常会用到R²平方值. 定义: 应用描述: 应用实现代码: 定义: 1.定义:决定系数,反应 ...
统计学习导论之R语言应用（三）：线性回归R语言代码实战
统计学习导论(ISLR) 参考资料 The Elements of Statistical Learning An Introduction to Statistical Learning 统计学习导 ...
Simple Linear Regressions 简单线性回归 (R)
本文从简单线性回归出发,终止于多项式回归.变量类型涉及连续/分类变量. 理论部分值得一看,代码部分适合用于忘了格式的时候查一查,不适合新学. 理论用GLM表示普通线性模型如果你不知道GLM(Gen ...
统计推断——假设检验——两变量关联性分析
一.线性相关描述问题:两变量间是否存在相关或关联? 身高与体重尿铅排出量与血铅含量凝血时间与凝血酶浓度血压与年龄 1.线性相关例在某地一项膳食调查中,随机抽取了14名40~60岁的健康妇女 ...
机器学习--线性回归R语言
回归分析就是利用样本,产生拟合方程,从而进行预测.简而言之,就是你用你手头上的数据进行模型的训练,然后用你得到的模型对于新数据进行预测. 一元线性回归: 例子: y<- c(61,57,58,4 ...
R语言学习笔记（五）假设检验及其R实现
文章目录写在前面概念回顾关于χ2\chi^2χ2分布的一个重要定理假设检验概念两类错误功效与样本量假设检验与置信区间的关系单个正态总体均值的检验推导过程 ppp值的有关结论 R语言 ...
(R，线性回归)R语言里的模型诊断图（Residuals vs Fitted，Normal QQ ， Scale-Location ，Residuals Leverage）
线性回归,是概率统计学里最重要的统计方法,也是机器学习中一类非常重要的算法.线性模型简单理解非常容易,但是内涵是非常深奥的.尤其是线性回归模型中的Diagnostics plot的阅读与理解一直被认为 ...
兀r的平方写成C语言表达式,“圆的面积πR平方。应该是四个6寸才等于一个12寸的”。...
原标题:"圆的面积πR平方.应该是四个6寸才等于一个12寸的". 1.刚接到一个电话,"您好,我是瓜子二手车-" 我问她,你是卖瓜子,还是卖二手车? 她说卖二手 ...

统计推断——假设检验——线性回归——R的平方可以为负数

统计推断——假设检验——线性回归——R的平方可以为负数相关推荐

最新文章

热门文章