Matrix Differentiation（矩阵求导）以及矩阵求导常用公式

2024-05-17 22:55:34

Matrix Differentiation（矩阵求导）

References: Matrix Differentiation,Rabdak J.Barnes

注：本文直接从Matrix Differentiation开始记录，之前的乘法等基础部分不表。

Convention 3

m维向量对n维向量求导所得的结果是一个mxn矩阵,即Jacobian Matrix。
具体形式见上公式。

命题5 `Proposition 5`

即：Ax对x求导，结果为A

Proof

命题6 `Proposition 6`

即：y=Ax，而x是z的函数，那么便有∂y∂z=A∂x∂z\frac{{\partial {\rm{y}}}}{{\partial z}} = A\frac{{\partial x}}{{\partial z}}∂z∂y=A∂z∂x

Proof

命题7 `Proposition 7`

对于α=yTAx\alpha = y^TAxα=yTAx分别对x和y求导的结论。

Proof

命题8 `Proposition 8`

对于α=xTAx\alpha = x^TAxα=xTAx对x求导的结论。

Proof

命题9 `Proposition 9`

即命题8的特例，A是对称矩阵。

命题10 `Proposition 10`

即α=yTx\alpha = y^Txα=yTx，而y和x均为向量z的函数，对z求导的结果。

Proof

命题11 `Proposition 11`

命题10的特例，y=xy=xy=x

命题12 `Proposition 12`

对于α=yTAx\alpha = y^TAxα=yTAx,x和y都是向量z的函数，对z求导的结果。

Proof

命题13 `Proposition 13`

命题12的特例：y=xy=xy=x

命题14 `Proposition 14`

命题13的特例：A是对称矩阵

命题15 `Propostion 15`

Proof

如果觉得文章对您有帮助的话，可以点个赞，是对博主最大的肯定！

Matrix Differentiation（矩阵求导）以及矩阵求导常用公式相关推荐

机器学习中的矩阵向量求导(一) 求导定义与求导布局
在之前写的上百篇机器学习博客中,不时会使用矩阵向量求导的方法来简化公式推演,但是并没有系统性的进行过讲解,因此让很多朋友迷惑矩阵向量求导的具体过程为什么会是这样的.这里准备用几篇博文来讨论下机器学习中 ...
【机器学习】汇总详解：矩阵基本知识以及矩阵求导
1.矩阵的基本概念 1.1矩阵的迹(matrix trace) 存在方阵A=(aij)n×n,其主对角线上的所有元素的和,称为此方阵的迹,记作tr(A) tr(A)=a11+a22+--+ann tr ...
矩阵的 Frobenius 范数及其求偏导法则
矩阵的迹求导法则 1. 复杂矩阵问题求导方法:可以从小到大,从scalar到vector再到matrix 2. x is a column vector, A is a matrix d(A∗x)/d ...
机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦.因此我们需要其他的 ...
机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念.今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解 ...
矩阵论思维导图_矩阵求导与矩阵微分
矩阵求导与矩阵微分符号定义使用大写的粗体字母表示矩阵使用小写的粗体字母表示向量 ,这里默认为列向量使用小写的正体字母表示标量需要明白的是,矩阵求导的意义在哪来,我们回想一下函数求 ...
机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导.本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这几种形式的求导方法. 本文所有求 ...
矩阵/向量/标量间相互求导
矩阵.向量都可以表示成张量的形式,向量是矩阵的特殊形式,按实际应用可分为标量对向量求导,标量对矩阵求导.向量对向量求导.矩阵对标量求导.矩阵对向量求导.矩阵对矩阵求导等,在深度学习的反向传播(BP)中 ...

最新文章

热门文章