python加权最小二乘_如何计算加权最小二乘法的样本权重？

最小二乘是求残差$e=Xw-y$的最大似然，也就是求最小-log似然。为简化问题，假设$e$是样本独立的nx1高斯分布,n是数据个数，$e$的nxn协方差矩阵$\Sigma_{ee}$是对角线矩阵，每个数据点在loss function中的权重是其残差的方差的倒数$1/var(e_i)$。换句话说，$e_i$方差越大，越不可信，其权重越小。而$e_i$方差的估计由实际问题的统计模型决定，我觉得是最小二乘框架中最重要，最体现对实际问题理解程度的地方。

$$\Sigma_{ee}=\begin{bmatrix} var(e_1) & & \\ & \ddots & \\ & & var(e_n) \end{bmatrix}$$

$$\Sigma_{ee}^{-1}=\begin{bmatrix} 1/var(e_1) & & \\ & \ddots & \\ & & 1/var(e_n) \end{bmatrix}$$

数据点加权的-logloss function是

$$-\log L(w)=(Xw-y)^T\Sigma_{ee}^{-1}(Xw-y)$$

因为$\Sigma_{ee}^{-1}$是对角线矩阵，有

$$-\log L(w)=\Sigma_{ee}^{-1}(Xw-y)^T(Xw-y)$$

其中$w$是待求参数，$X$是输入数据，$y$是输出，$\Sigma_{ee}$是输出的covariance matrix。每个数据对应的-logloss的权重是$1/var(e_i)$。

SofaSofa数据科学社区DS面试题库 DS面经

Warning

您确定要删除本贴么？所有相关回复也会被一并删除并且无法恢复。

取消

确定删除

Zealing

2018-10-02 18:42

python加权最小二乘_如何计算加权最小二乘法的样本权重？相关推荐

python加权最小二乘_【Python】统计科学之加权最小二乘法
首页专栏 python 文章详情 0 统计科学之加权最小二乘法张俊红发布于今天 10:03 今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的 ...
python加权最小二乘_Eviews关于加权最小二乘法（WLS）中权重W的问题
Eviews关于加权最小二乘法(WLS)中权重W的问题使用Eviews7,多元线性模型中,怎么做进行加权最小二乘法啊?也就是WLS.权重W该怎么求呢?补充:我的变量数据有负数.请详细一点,好吗? 解 ...
python加权最小二乘_【量化工具系列】Barra加权最小二乘的python实现
BARRA USE4 page 13中写道,Factor returns in USE4 are estimated using weighted least-squares regression, ...
python加权最小二乘_用Python实现最小二乘算法
上一篇文章讲了最小二乘算法的原理.这篇文章通过一个简单的例子来看如何通过Python实现最小乘法的线性回归模型的参数估计. 王松桂老师<线性统计模型--线性回归与方差分析>一书中例3.1. ...
python线性加权模型_局部加权之线性回归(1) - Python实现
1 #局部加权线性回归 2 #交叉验证计算泛化误差最小点 3 4 5 importnumpy6 from matplotlib importpyplot as plt7 8 9 #待拟合不含噪声之目标 ...
R语言作加权最小二乘_超越谷歌BERT！依图预训练语言理解模型入选NeurIPS
机器之心发布机器之心编辑部在本文中,本土独角兽依图科技提出了一个小而美的方案--ConvBERT,通过全新的注意力模块,仅用 1/10 的训练时间和 1/6 的参数就获得了跟 BERT 模型一样的 ...
R语言作加权最小二乘_作比较的句子具有作比较说明方法的句子有哪些？
不少人看到过象,都说象是很大的动物.其实还有比象大得多的动物,那就是鲸.[鲸] [没有美丽的外表,根本没人会去在意你美好的内心,这就是现实.] 松鼠的叫声很响亮,比黄鼠狼的叫声还有尖些.[松鼠] 松鼠 ...
matlab 动态加权综合评价_动态加权综合评价方法.ppt
动态加权综合评价方法 * * (3). 逼近理想点(TOPSIS)方法 4. 综合评价数学模型的建立方法二.综合评价的一般方法 * * (3). 逼近理想点(TOPSIS)方法 4. 综合评价数学模 ...
matlab 动态加权综合评价_动态加权综合评价、灰色关联度分析、BP神经网络模型汇总...
大气污染预报问题摘要本文针对大气污染问题, 采用动态加权综合评价方法建立了合理的空气质量评价模型,同时,采用灰色关联度分析方法和 BP 神经网络模型较好地研究了空气质量和气象参数之间的关系. ...

python加权最小二乘_如何计算加权最小二乘法的样本权重？

python加权最小二乘_如何计算加权最小二乘法的样本权重？相关推荐

最新文章

热门文章