ker矩阵是什么意思_矩阵形式下的最小二乘法推导

最常用的是普通最小二乘法（Ordinary Least Square，OLS）：所选择的回归函数应该使所有观察值的残差平方和达到最小。

在拟合函数时，先假定函数的通用表达式。这里以最简单的一次函数为例。若横坐标（自变量）为

，观测值

，

假设为：

则估计值

使得残差和

最小，表达式如下:

现在需要求

的值。

取何值时，残差和

最小呢？

由于残差和的表达式是二次函数，因此分别对

求偏导，使其等于0时，得到残差和

的最小值。

整理后得

这里有详细推导

在一次函数的情况下，函数拟合需要计算两个未知量。但若将一次函数推广到高阶函数，上述手工计算函数的未知系数未免太繁杂，需要一个统一的公式使得计算机能够帮助我们完成这部分任务。

在高阶函数下

同理我们还是有

个自变量

和观测值

和，不妨将上式写成矩阵形式。

上述矩阵方程记为

观测值

写为向量的形式，记为

同样，使得残差的平方和最小

将上式右半部展开，得：

由于上式中间两项互为转置关系，而相乘的结果是一个标量，原矩阵与其转置相同。

可以对上式的

求偏导，使其偏导数为0即可得到最小残差和平方

其中第二项为一次项，矩阵导数和标量的导数相同，第三项为常数项不参与求导，直接去掉。故上式化简为：

根据矩阵的求导法则:

故

因此残差平方

和对各阶系数

的偏导写为：

化简后，我们得到高阶函数各项系数的最优取值

ker矩阵是什么意思_矩阵形式下的最小二乘法推导相关推荐

线性代数 - 矩阵形式下的最小二乘法
20201001 - 0. 引言最近在看<异常点检测>的时候,其中在PCA部分(准确来说是前面一小节)在进行推导的时候,使用了最小二乘法.其实这个东西本质上并不难,但是让我比较尴尬的是, ...
ker矩阵是什么意思_矩阵分析(二)：从特征值到奇异值
在上一篇文章中,空间变换和基变换已经被详细讨论过了.特别是基变换,从两个角度看待它对理解特征值分解和奇异值分解会起到很大的帮助. 阿姆斯特朗:矩阵分析(一):空间变换与基变换zhuanlan.zhi ...
ker矩阵是什么意思_如何理解CAN通信矩阵
什么是CAN通信矩阵 CAN通信矩阵(CAN Communication Matrix)通常由整车厂完成定义,车辆网络中的各个节点需要遵循该通讯矩阵才能完成信息的交互和共享. 我们知道CAN总线是一种 ...
ker矩阵是什么意思_变换矩阵与投影
The engines don't move the ship at all. The ship stays where it is and the engines move the universe ...
ker矩阵是什么意思_矩阵光学
前言在看完<新概念物理教程光学>以及<现代光学基础>后,大家都应该对几何光学.物理光学以及偏振光学有了比较清晰的认识.然而,传统的几何光学基本上就是套成像公式暴算或者特殊光 ...
ker矩阵是什么意思_理解矩阵（二）
作者:myan 来源:CSDN 原文:https://blog.csdn.net/myan/article/details/649018 接着理解矩阵. 上一篇里说"矩阵是运动的描述&quo ...
ker矩阵是什么意思_矩阵分析(一)：空间变换与基变换
"在这个小测验里,我让你们求一个2*3矩阵的行列式.让我感到非常可笑的是,你们当中竟然有人尝试去做."(摘自http://mathprofessorquotes.com,作者佚名) ...
ker矩阵是什么意思_重做第一次作业（矩阵）
doc 函数名输进命令行窗口可以查看官方帮助,但是是英文的--得搭配翻译软件 Clc clear每次写程序前一个是擦黑板(清空命令行窗口)一个是清除所有变量 clf 画图前,用于清除所有图片什 ...
ker矩阵是什么意思_矩阵求逆的几何意义是什么？
点击蓝色字关注我们! 向量:[a1, a2, a3, ..., an] 矩阵: a11, a12, a13, ..., a1n a21, a22, a23, ..., a2 ...

ker矩阵是什么意思_矩阵形式下的最小二乘法推导

ker矩阵是什么意思_矩阵形式下的最小二乘法推导相关推荐

最新文章

热门文章