最小二乘法矩阵微分偏导法证明

向量范数回顾

向量1范数

向量1范数即是向量元素的绝对值。定义见：

、

向量2范数

向量2范数即是向量里每个元素的平方和开根号。定义见：

直观的例子，比如有向量,则向量a的2范数：

而上式的平方显然也等于

矩阵微分偏导法

Step 1 由线性回归的定义，我们的目标是寻求残差平方和最小，这里残差平方和的定义即如下：

注： 1 这里即目标实际值。

2 这里的||符号代表第2范数，一般也写成如下形式(2在右下角)：

Step 2 结合向量范数的定义与性质

二范数转换为向量转置和向量的乘积形式，即得:

Step 3 引入矩阵微分，则上式转换为：

Step 4 再根据矩阵微分与迹的可交换(“穿透”)性质，进而得到：

Step 5 再结合矩阵微分的性质

又得到下式：

Step 6 结合微分和矩阵转置微分的性质：

1 结合微分性质（常数乘函数的微分等于常数乘函数的微分）

2 矩阵转置微分性质(矩阵转置的微分等于矩阵微分的转置)

得到下式：

Step 7 结合矩阵迹和矩阵乘转置的性质

1 矩阵迹的性质(矩阵迹等于矩阵转置的迹)

2 两矩阵乘的转置的性质(等于后一矩阵的转置乘前一矩阵的转置)

得到下式：

Step 8 合并上式得到如下结果：

Step 9 ：结合微分和导入的关系：

微分和导数的关系（导数的转置乘微分的迹）：

最终得到导数的表达式：

Step 10 令导数为0，则求的最优解，即：

最小二乘法矩阵微分偏导法证明相关推荐

1.4 torch_向量/矩阵求偏导
文章目录函数微分标量/向量函数求偏导矩阵函数求偏导函数微分标量/向量函数求偏导矩阵函数求偏导
矩阵向量求导(Matrix calculus)
#原文地址 **注:**不要把它和几何运算或者是向量运算混淆 #前言: 在数学中,矩阵微积分是进行多变量微积分的一种特殊符号,特别是在矩阵的空间上. 它将关于许多变量的单个函数的各种偏导数和/或关于单 ...
矩阵分析与应用（二）——矩阵微分
文章目录部分符号约定一阶偏导: Jacobian 矩阵与梯度矩阵偏导算子标量函数的Jacobian 矩阵矩阵函数的Jacobian 梯度矩阵二阶偏导: Hessian 矩阵实Hessia ...
Jacobian矩阵梯度矩阵矩阵偏导与微分例子与常见公式
Jacobian矩阵梯度矩阵矩阵偏导与微分常见公式矩阵求导是机器学习中常见的运算方法,研究对象包括标量矩阵,求导分为标量矩阵求导,矩阵求导. 根据个人理解和经验,机器学习中的优化目标一般是一个 ...
最小二乘法普通定义法证明
最小二乘法普通定义法证明普通公示法由线性回归的定义,我们的目标是寻求残差平方和最小. Step 1 残差平方和的定义即如下: 注:这里即目 ...
极限和连续+偏导+方向导数+可微+梯度+链式法则+hessian矩阵
文章目录前言一.极限和连续二.偏导数三.方向导数四.可微五.梯度六.链式法则七.Hessian矩阵前言多元函数 y对某一个变量的导数是偏导数: 偏导数的结果可以推广到任意方向,也就 ...
矩阵论（八）：矩阵微分与矩阵求导
矩阵论专栏:专栏(文章按照顺序排序) 做机器学习的几乎避免不了矩阵求导,尤其是神经网络方面的,反向传播算法说白了就是在做矩阵求导,拿到代价函数对模型中每个参数矩阵的导数,才能找到一个下降方向,进而更新 ...
导数，微分，偏导，全微分，方向导数，梯度
多元函数与一元函数有一个很大的区别在于定义域的不同:一元函数自变量就在x轴上,因此趋近的方向只有某点的左右两侧,因此,考察一元函数极限的时候,仅考虑左邻域和右邻域即可.但是多变量微分变得复杂,趋向方式 ...
矩阵论思维导图_矩阵求导与矩阵微分
矩阵求导与矩阵微分符号定义使用大写的粗体字母表示矩阵使用小写的粗体字母表示向量 ,这里默认为列向量使用小写的正体字母表示标量需要明白的是,矩阵求导的意义在哪来,我们回想一下函数求 ...

最小二乘法矩阵微分偏导法证明

最小二乘法矩阵微分偏导法证明

向量范数回顾

向量1范数

向量2范数

矩阵微分偏导法

最小二乘法矩阵微分偏导法证明相关推荐

最新文章

热门文章