判定系数推导 — Coefficient of Determination Derivation

通过线性回归得到回归参数后，可以通过计算判定系数R2R^2R2来评估回归函数的拟合优度。判定系数R2R^2R2定义如下：
R2=SSRSST=1−SSESSTR^2 = \frac {SSR}{SST} = 1 - \frac {SSE}{SST} R2=SSTSSR=1−SSTSSE
其中，SSR=∑i=1n(y^i−yˉi)2SSR = \sum\limits_{i=1}^n (\hat y_i - \bar y_i)^2SSR=i=1∑n(y^i−yˉi)2，SSE=∑i=1n(yi−y^i)2SSE = \sum\limits_{i=1}^n (y_i - \hat y_i)^2SSE=i=1∑n(yi−y^i)2和SST=∑i=1n(yi−yˉ)2SST = \sum\limits_{i=1}^n (y_i - \bar y)^2SST=i=1∑n(yi−yˉ)2。R2R^2R2越接近1，回归函数的拟合优度越大。上式可改写成SST=SSR+SSESST = SSR + SSESST=SSR+SSE，即：
∑i=1n(yi−yˉ)2=∑i=1n(y^i−yˉi)2+∑i=1n(yi−y^i)2\sum\limits_{i=1}^n (y_i - \bar y)^2 = \sum\limits_{i=1}^n (\hat y_i - \bar y_i)^2 + \sum\limits_{i=1}^n (y_i - \hat y_i)^2 i=1∑n(yi−yˉ)2=i=1∑n(y^i−yˉi)2+i=1∑n(yi−y^i)2

为了理解R2R^2R2，我们有必要先回顾一下线性回归的通式：
{y^i=f(x)=θ0+∑j=1nθjxijyi=y^i+ϵi\begin{cases} \hat y_i = f(x) = \theta_0 + \sum\limits_{j=1}^n \theta_j x_i^j \\ y_i = \hat y_i + \epsilon_i \end{cases} ⎩⎨⎧y^i=f(x)=θ0+j=1∑nθjxijyi=y^i+ϵi
其中，yiy_iyi实际上由y^i\hat y_iy^i和ϵi\epsilon_iϵi组成，y^i\hat y_iy^i随xix_ixi变化而变化。令 xi0=1x_i^0 = 1xi0=1，y^i=θ0+∑j=1nθjxij\hat y_i = \theta_0 + \sum\limits_{j=1}^n \theta_j x_i^jy^i=θ0+j=1∑nθjxij可被改写成y^i=θTxi\hat y_i = \theta^Tx_iy^i=θTxi。将上式改写成向量和矩阵的形式：
{[1x11x12…x1n1x21x22…x2n⋮1xm1xm2…xmn][θ0θ1⋮θn]=[y^1y^2⋮y^m][y1y2⋮ym]=[y^1y^2⋮y^m]+[ϵ1ϵ2⋮ϵm]\begin{cases} \begin{bmatrix} 1 & x_1^1 & x_1^2 & \dots & x_1^n \\ 1 & x_2^1 & x_2^2 & \dots & x_2^n \\ \vdots \\ 1 & x_m^1 & x_m^2 & \dots & x_m^n \\ \end{bmatrix} \begin{bmatrix} \theta_0 \\ \theta_1 \\ \vdots \\ \theta_n \end{bmatrix} = \begin{bmatrix} \hat y_1 \\ \hat y_2 \\ \vdots \\ \hat y_m \end{bmatrix} \\ \\ \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{bmatrix} = \begin{bmatrix} \hat y_1 \\ \hat y_2 \\ \vdots \\ \hat y_m \end{bmatrix} + \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_m \end{bmatrix} \end{cases} ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧⎣⎢⎢⎢⎡11⋮1x11x21xm1x12x22xm2………x1nx2nxmn⎦⎥⎥⎥⎤⎣⎢⎢⎢⎡θ0θ1⋮θn⎦⎥⎥⎥⎤=⎣⎢⎢⎢⎡y^1y^2⋮y^m⎦⎥⎥⎥⎤⎣⎢⎢⎢⎡y1y2⋮ym⎦⎥⎥⎥⎤=⎣⎢⎢⎢⎡y^1y^2⋮y^m⎦⎥⎥⎥⎤+⎣⎢⎢⎢⎡ϵ1ϵ2⋮ϵm⎦⎥⎥⎥⎤
当θ≠0\theta \neq \mathbf 0θ̸=0时，Y^\hat YY^是XXX的一个线性组合，即Y^\hat YY^存在于由XXX的列向量所展开的列空间中。对于一次幂的线形回归，XXX的列空间即是一个超平面，Y^\hat YY^是存在于面内的一个向量（即YYY在面上的投影）。为了使得残差最小化，ϵ\epsilonϵ是YYY垂直于面方向上的投影。在三维中的几何意义如下图（文中θ\thetaθ即图中β\betaβ，图中XiX_iXi表示列向量，图取自）：

因为ϵ\epsilonϵ垂直于XXX的列空间，所以ϵ\epsilonϵ垂直于XXX的所有列向量，即XTϵ=0X^T \epsilon = \mathbf 0XTϵ=0。又因ϵ=Y−Xθ\epsilon = Y - X\thetaϵ=Y−Xθ，得：
XT(Y−Xθ)=0XTY=XTXθθ=(XTX)−1XTYY^=Xθ=X(XTX)−1XTYX^T(Y - X\theta) = \mathbf 0 \\ X^TY = X^TX\theta \\ \theta = (X^TX)^{-1}X^TY \\ \hat Y = X\theta = X(X^TX)^{-1}X^TY XT(Y−Xθ)=0XTY=XTXθθ=(XTX)−1XTYY^=Xθ=X(XTX)−1XTY
根据Y^=Xθ=X(XTX)−1XTY\hat Y = X\theta = X(X^TX)^{-1}X^TYY^=Xθ=X(XTX)−1XTY，我们得到了投影矩阵P=X(XTX)−1XTP = X(X^TX)^{-1}X^TP=X(XTX)−1XT。Y^=PY\hat Y = PYY^=PY，投影矩阵PPP乘以YYY得到了YYY属于XXX列空间的分量Y^\hat YY^。投影矩阵有两个性质需要了解：

PPP是对称矩阵；
PT=(X(XTX)−1XT)T=X((XTX)−1)TXT=X((XTX)T)−1XT=X(XTX)−1XT=PP^T = (X(X^TX)^{-1}X^T)^T = X((X^TX)^{-1})^TX^T = X((X^TX)^T)^{-1}X^T = X(X^TX)^{-1}X^T = P PT=(X(XTX)−1XT)T=X((XTX)−1)TXT=X((XTX)T)−1XT=X(XTX)−1XT=P
P2=PP^2 = PP2=P。
P2=PTP=X(XTX)−1XTX(XTX)−1XT=X(XTX)−1XTX(XTX)−1⏞XT=X(XTX)−1XT=PP^2 = P^TP = X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T = X(X^TX)^{-1} \overbrace{X^TX(X^TX)^{-1}}X^T = X(X^TX)^{-1}X^T = P P2=PTP=X(XTX)−1XTX(XTX)−1XT=X(XTX)−1XTX(XTX)−1XT=X(XTX)−1XT=P

现在，我们可以开始推导判定系数公示SST=SSR+SSESST = SSR + SSESST=SSR+SSE了。如下（1∈Rm\mathbf 1 \in R^m1∈Rm）：
SST=∑i=1n(yi−yˉ)2=∑i=1n[(yi−y^i)+(y^i−yˉ)]2=∑i=1n(y^i−yˉi)2+∑i=1n(yi−y^i)2+∑i=1n2(yi−y^i)(y^i−yˉ)=∑i=1n(y^i−yˉi)2+∑i=1n(yi−y^i)2+∑i=1n2(yi−y^i)(y^i−yˉ)=∑i=1n(y^i−yˉi)2+∑i=1n(yi−y^i)2+2ϵ(Y^−Yˉ1)=∑i=1n(y^i−yˉi)2+∑i=1n(yi−y^i)2+2ϵ(PY−Yˉ1)=∑i=1n(y^i−yˉi)2+∑i=1n(yi−y^i)2+2ϵTY^−2YˉϵT1\begin{aligned} & SST = \sum\limits_{i=1}^n (y_i - \bar y)^2 = \sum\limits_{i=1}^n [(y_i - \hat y_i) + (\hat y_i - \bar y)]^2 \\ & = \sum\limits_{i=1}^n (\hat y_i - \bar y_i)^2 + \sum\limits_{i=1}^n (y_i - \hat y_i)^2 + \sum\limits_{i=1}^n 2(y_i - \hat y_i)(\hat y_i - \bar y) \\ & = \sum\limits_{i=1}^n (\hat y_i - \bar y_i)^2 + \sum\limits_{i=1}^n (y_i - \hat y_i)^2 + \sum\limits_{i=1}^n 2(y_i - \hat y_i)(\hat y_i - \bar y) \\ & = \sum\limits_{i=1}^n (\hat y_i - \bar y_i)^2 + \sum\limits_{i=1}^n (y_i - \hat y_i)^2 + 2\epsilon(\hat Y -\bar Y\mathbf 1) \\ & = \sum\limits_{i=1}^n (\hat y_i - \bar y_i)^2 + \sum\limits_{i=1}^n (y_i - \hat y_i)^2 + 2\epsilon(PY -\bar Y\mathbf 1) \\ & = \sum\limits_{i=1}^n (\hat y_i - \bar y_i)^2 + \sum\limits_{i=1}^n (y_i - \hat y_i)^2 + 2\epsilon^T\hat Y - 2\bar Y\epsilon^T\mathbf 1 \end{aligned} SST=i=1∑n(yi−yˉ)2=i=1∑n[(yi−y^i)+(y^i−yˉ)]2=i=1∑n(y^i−yˉi)2+i=1∑n(yi−y^i)2+i=1∑n2(yi−y^i)(y^i−yˉ)=i=1∑n(y^i−yˉi)2+i=1∑n(yi−y^i)2+i=1∑n2(yi−y^i)(y^i−yˉ)=i=1∑n(y^i−yˉi)2+i=1∑n(yi−y^i)2+2ϵ(Y^−Yˉ1)=i=1∑n(y^i−yˉi)2+i=1∑n(yi−y^i)2+2ϵ(PY−Yˉ1)=i=1∑n(y^i−yˉi)2+i=1∑n(yi−y^i)2+2ϵTY^−2YˉϵT1
因为ϵ\epsilonϵ垂直于XXX的列空间，且Y^\hat YY^属于XXX的列空间，所以ϵTY^=0\epsilon^T \hat Y = 0ϵTY^=0；又因为1=xi0∈Rm\mathbf 1 = x_i^0 \in R^m1=xi0∈Rm（1\mathbf 11属于XXX的列空间），所以ϵT1=0\epsilon^T \mathbf 1 = 0ϵT1=0。因此：
SST=∑i=1n(y^i−yˉi)2+∑i=1n(yi−y^i)2+2ϵTY^−2YˉϵT1=SSR+SSESST = \sum\limits_{i=1}^n (\hat y_i - \bar y_i)^2 + \sum\limits_{i=1}^n (y_i - \hat y_i)^2 + 2\epsilon^T\hat Y - 2\bar Y\epsilon^T\mathbf 1 = SSR + SSE SST=i=1∑n(y^i−yˉi)2+i=1∑n(yi−y^i)2+2ϵTY^−2YˉϵT1=SSR+SSE

判定系数推导 — Coefficient of Determination Derivation相关推荐

统计学决定系数(Coefficient of Determination) 和相关系数 (Correlation of Coefficient )
在对数据进行线性回归计算之后,我们能够得出相应函数的系数, 那么我们如何知道得出的这个系数对方程结果的影响有强呢? 所以我们用到了一种方法叫 coefficient of determination ...
R语言基于glmnet构建分类模型并可视化特征系数（coefficient）以及L1正则化系数（lambda）实战
R语言基于glmnet构建分类模型并可视化特征系数(coefficient)以及L1正则化系数(lambda)实战 # 导入测试数据集 data(BinomialExample) x <- Bi ...
回归方程的拟合优度检验_判定一元线性回归方程拟合优度的判定系数R的取值范围...
展开全部 (1)计算残差32313133353236313431303231363533e58685e5aeb931333431353333平方和Q=∑(y-y*)^2和∑y^2,其中,y代表的是实测 ...
R2决定系数（Coefficient of Determination）
R2决定系数(Coefficient of Determination)是一种用于评估回归模型拟合优度的指标.它表示模型能够解释数据方差的比例,通常用于比较不同模型的表现. 假设有n个样本,真实值分别 ...
估计标准误差syx_什么是判定系数r2和估计标准误差syx
匿名用户 1级 2014-11-26 回答 R2系数是一个重要的判定指标,公式为 .从公式中可以看出,判定系数等于回归平方和在总平方和总所占的比率,即回归方程所能解释的因变量变异性的百分比.如果R2= ...
统计知识5：总平方和、残差平方和、判定系数
总平方和SST(total sum of squares) 解释平方和SSE(explained sum of squares),也成模型平方和残差平方和SSR(residual sum of sq ...
python数据挖掘，利用线性回归分析命令，求出Y与5个因素之间的线性回归关系式系数向量，并在命令窗口输出该系数向量。求出线性回归关系的判定系数。今有一个样本X1=4，X2=1.5，X3==10
读取文件 import pandas as pd import numpy as np pd=pd.read_excel('test3.xlsx') pd样本 X1 X2 X3 X4 X5 Y 0 1 ...
【六更完结！由于字数限制开新文章继续】零基础信号与系统学习笔记：复指数信号、傅里叶级数的系数推导、三角函数正交性、离散傅里叶变换、相位补偿、z变换表、逆变换表、常见序列及其作用
零基础信号与系统学习笔记:复指数信号.傅里叶变换.三角函数正交性基础1:复指数信号复指数信号基础知识复指数信号推导1 虚指数信号虚指数信号特性和作用直流信号基础2:傅里叶级数推导傅里叶级 ...
聚类评价指标(轮廓系数 Silhouette coefficient)
聚类评价指标最近在做聚类的项目,聚类得到结果后我们需要知道聚类的好坏,用哪个算法效果比较好.肯定要选择那个最好评价的算法.今天我们就不谈算法只谈算法结果的评价. 我也从网上看了很多的别人写的东西,总 ...
图论中的聚类系数(Clustering coefficient)简单介绍
目录前言介绍局部聚类系数全局聚类系数前言在GraphSage论文的理论分析部分,涉及到一个概念叫做"Clustering coefficient",直译过来就是聚类系数 ...

判定系数推导 — Coefficient of Determination Derivation

判定系数推导 — Coefficient of Determination Derivation相关推荐

最新文章

热门文章