逻辑回归中解决多重共线性问题

2024-04-27 01:59:44

解释变量理论上的高度相关与观测值高度相关没有必然关系，有可能两个解释变量理论上高度相关，但观测值未必高度相关，反之亦然。所以多重共线性本质上是数据问题。

造成多重共线性的原因有一下几种：

1、解释变量都享有共同的时间趋势；

2、一个解释变量是另一个的滞后，二者往往遵循一个趋势；

3、由于数据收集的基础不够宽，某些解释变量可能会一起变动；

4、某些解释变量间存在某种近似的线性关系；

判别：

1、发现系数估计值的符号不对；

2、某些重要的解释变量t值低，而R方不低

3、当一不太重要的解释变量被删除后，回归结果显著变化；

检验；

1、相关性分析，相关系数高于0.8，表明存在多重共线性；但相关系数低，并不能表示不存在多重共线性；

2、vif检验；

3、条件系数检验；

解决方法：

1、增加数据；

2、对模型施加某些约束条件；

3、删除一个或几个共线变量；

4、将模型适当变形；

5、主成分回归

处理多重共线性的原则：

1、多重共线性是普遍存在的，轻微的多重共线性问题可不采取措施；

2、严重的多重共线性问题，一般可根据经验或通过分析回归结果发现。如影响系数符号，重要的解释变量t值很低。要根据不同情况采取必要措施。

3、如果模型仅用于预测，则只要拟合程度好，可不处理多重共线性问题，存在多重共线性的模型用于预测时，往往不影响预测结果；

逻辑回归中解决多重共线性问题相关推荐

小白也能懂--逻辑回归中损失函数的难点理解
写下此文是因自己在学习的过程中对逻辑回归的损失函数定义有所疑惑,查了诸多资料才得以理解,因此在此记录下来,一是为来日忘却时能够回来查阅,二是希望为有同样困惑的伙伴提供一点帮助. 1. 逻辑回归(Log ...
理解逻辑回归中的ROC曲线和KS值
1.回归和分类任务分类和回归都属于监督学习(训练样本带有信息标记,利用已有的训练样本信息学习数据的规律预测未知的新样本标签) 分类预测的结果是离散的(例如预测明天天气-阴,晴,雨) 回归预测的任务是 ...
梯度下降原理及在线性回归、逻辑回归中的应用
1 基本概念 1)定义梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐步减小. 梯度下降法是2范数下的最速下降法. 最速下降法的一种简单形式是:x(k+ ...
吴恩达深度学习 —— 2.9 逻辑回归中的梯度下降法
这一节讨论怎么计算偏导数来实现逻辑回归的梯度下降法,它的核心关键点是其中有几个重要法公式用于实现逻辑回归的梯度下降法. 这里将使用导数流程图来计算梯度,必须承认,用导数流程图来计算逻辑回归的梯度下降有 ...
逻辑回归中的梯度下降法
梯度下降法:该算法是一个一阶最优化算法,通过向函数上当前点对应梯度(或近似梯度)的反方向的规定步长距离点进行迭代搜索找到一个函数的局部极小值. 以一元函数为例说明梯度下降法: w的更新会朝着成本函数J ...
理解逻辑回归中的后验概率和损失函数
一.理解后验概率在LR中, 后验概率 .很多人不禁会问,为什么要这么计算? 这里通过对后验概率的推导,并结合sigmod,来谈谈自己的看法. 首先,由贝叶斯公式得 ...
逻辑回归中的损失函数的解释
1.Logistic Regression(逻辑回归) 逻辑回归是机器学习中的一个非常常见的模型, 逻辑回归模型其实仅在线性回归的基础上,套用了一个逻辑函数. 逻辑回归可以看做是两步,第一步和线性回归 ...
用逻辑回归模型解决互联网金融信用风险问题
逻辑回归(Logistic Regression) 针对因变量为分类变量而进行回归分析的一种统计方法,属于概率型非线性回归. 优点:算法易于实现和部署,执行效率和准确度高: 缺点:离散型的自变量数据需 ...
R语言ROC曲线下的面积 - 评估逻辑回归中的歧视
我们围绕ROC曲线技术进行一些咨询,帮助客户解决独特的业务问题.在讨论ROC曲线之前,首先让我们在逻辑回归的背景下考虑校准和区分之间的区别. 相关视频:R语言逻辑回归(Logistic回归)模型分类预 ...

最新文章

热门文章