因变量方差膨胀系数_如何理解方差膨胀因子（Variance Inflation Factor，VIF）？

OLS方差膨胀因子的标准定义为：

，

其中，

为第i个变量

与其他全部变量

(

)的复相关系数，所谓复相关系数即可决系数

的算术平方根，也即拟合优度的算术平方根。不过这个可决系数

是指用

做因变量，对其他全部

(

)做一个新的回归以后得到的可决系数。

当然这些都是网上随便搜就有的结果，本不值得我重新再写一边。但是经过本人推导，方差膨胀因子确实跟皮尔逊相关系数(矩阵)有关系。

首先什么是皮尔逊相关系数矩阵？

大家对这个东西估计是不陌生，这本身就是一个矩阵，不过这是下三角矩阵。把下三角矩阵填满，形成一个对称矩阵，就是一个皮尔逊相关系数矩阵，

。

本人发现第i个变量的方差膨胀因子正好为

，

不用说，就是对这个相关系数矩阵求行列式。

而

则指的是将相关系数矩阵

的第i行i列去掉，剩下的部分计算行列式。如果大学线代课没全忘的话，这个东西就是余子式。

有人觉得神奇么？(PS:这个结果应该有大把人已经推导过，只是我暂时还没看见而已hhh)

=======================证明============================

求证：

既然有评论问起来我就补充一下证明。

证明：

--------------------------------(1) 最小二乘解与相关系数矩阵的关系----------------------

令

其中向量

，且

列满秩(列不满秩那就是完全共线性，无穷多个最小二乘解)，那么

那么逆矩阵(自行用线性变换算一下就有了)就是

是观测变量的个数。

是自变量观测值

对应的方差-协方差矩阵。

令

是自变量观测值

对应的标准差对角矩阵，即

只取对角元素的算术平方根形成的子矩阵。

则是

对应的相关系数矩阵。

则易由定义得

又

此时

同理，

是自变量观测值

分别与因变量观测值

对应的协方差向量，

是相关系数向量，

是因变量观测值

对应的标准差。

则

所以

-----------------------------------------残差平方和与相关系数矩阵-------------------------

残差平方和

又根据一阶条件

联立得(先用第一个一阶条件把其余两两式

消掉，再联立消去

)得残差平方和(RSS或SSE)

把上一小节代进去就得

又总平方和

所以代入得

又

拟合优度=复相关系数的平方=回归平方和/总平方和

即

---------------------------------------证明的最后一步--------------------------------------

绕完上面的口令以后，我们构造一个矩阵

能看出来吗？这也是个相关系数矩阵，即y , x1 , x2 , x3，... ，xn对应的相关系数矩阵

然后对

求行列式。分块矩阵怎么求行列式呢？分块矩阵行列式的性质及其应用 - 图文 - 百度文库wenku.baidu.com

神奇的事情来了，按链接介绍的行列式计算法则：

所以

！！！！！！！！！！答案呼之欲出！！！！！！！！！！！！！！！

----------------------------------------方差膨胀因子----------------------------------------

你看，

不正是

划掉第一行第一列的子矩阵，即

不就是Q的第1,1 个余子式了吗！

所以同理推得：

为第i个变量

与其他全部变量

(

)做OLS的拟合优度啊！！

因变量方差膨胀系数_如何理解方差膨胀因子（Variance Inflation Factor，VIF）？相关推荐

因变量方差膨胀系数_请问如何计算潜变量的方差膨胀因子（VIF）?
这里提供一个 Python 实现的方法和原理趣分析方差膨胀因子是非常经典缓解多元共线性的方法,原理简单,实现优雅,效果拔群.源代码源数据可私聊俺获取,每天固定时间查看和回复. 原理趣析多重线性回归 ...
R计算方差膨胀因子（VIF，Variance Inflation Factor）计算并解读VID与共线性（Multicollinearity）的关系实战
R计算方差膨胀因子(VIF,Variance Inflation Factor)计算并解读VID与共线性(Multicollinearity)的关系实战目录
基于python的异方差检验_讲讲异方差的检验
我们前面讲了异方差,也讲了怎么用图示法来判断是否有异方差,这一篇来讲讲怎么用统计的方法来判断有没有异方差. 关于检验异方差的统计方法有很多,我们这一节只讲比较普遍且比较常用的white test(怀特 ...
样本方差的期望_如何理解方差和偏差
这是我在学习李宏毅老师机器学习课程时记录的笔记,并不是一个全面的记录而只记录我认为比较关键的知识点,起到知识梳理和温故知新的作用.对较为简单的点只放上PPT和一点记录,对自认为重点的内容会多记录一些理 ...
方差标准差_均值、方差、标准差、协方差、相关系数的概念及意义
一.均值(期望).方差.标准差下面给出这些概念的公式描述: 均值(期望): 方差: 标准差: 均值(期望)描述的是样本集合的中间点(平均值),但是它告诉我们的信息是有限的,而标准差给我们描述的是样本 ...
多元线性模型分类变量方差_第三十一讲 R多元线性回归中的多重共线性和方差膨胀因子...
在前两讲中,我们介绍了多元线性回归的概念以及多元线性回归中的交互作用.今天学习的主要内容是多元线性回归中的多重共线性和方差膨胀因子. 1. 共线性的概念 1 共线性在多元回归中,两个或多个预测变量可 ...
因变量方差膨胀系数_SPSS技术：多重线性回归模型；极端值与多重共线性
原标题:SPSS技术:多重线性回归模型:极端值与多重共线性欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区. 对商业智能BI.大数据分析挖掘.机器学习,pytho ...
多重共线性检验-方差膨胀系数（VIF）
方差膨胀系数(variance inflation factor,VIF)是衡量多元线性回归模型中复 (多重)共线性严重程度的一种度量.它表示回归系数估计量的方差与假设自变量间不线性相关时方差相比的比 ...
VIF 多重共线性膨胀因子
方差膨胀系数(variance inflation factor,VIF)是衡量多元线性回归模型中复 (多重)共线性严重程度的一种度量.它表示回归系数估计量的方差与假设自变量间不线性相关时方差相比的比 ...
python方差膨胀因子_讲讲共线性问题
多重共线性是使用线性回归算法时经常要面对的一个问题.在其他算法中,例如决策树和贝叶斯,前者的建模过程是逐步递进,每次拆分只有一个变量参与,这种建模机制含有抗多重共线性干扰的功能:后者干脆假定变量之间是 ...

因变量方差膨胀系数_如何理解方差膨胀因子（Variance Inflation Factor，VIF）？

因变量方差膨胀系数_如何理解方差膨胀因子（Variance Inflation Factor，VIF）？相关推荐

最新文章

热门文章

因变量 方差膨胀系数_如何理解方差膨胀因子（Variance Inflation Factor，VIF）？

因变量 方差膨胀系数_如何理解方差膨胀因子（Variance Inflation Factor，VIF）？相关推荐

最新文章

热门文章

因变量方差膨胀系数_如何理解方差膨胀因子（Variance Inflation Factor，VIF）？

因变量方差膨胀系数_如何理解方差膨胀因子（Variance Inflation Factor，VIF）？相关推荐