常用矩阵向量求导公式

2024-05-10 21:31:53

在推导机器学习的迭代更新公式过程中经常需要用到矩阵或者向量的求导操作，很多求导公式经常会忘，因此这里Mark一下，方便后面自己查阅方便。

直接包含求导向量的公式

dxTdx=IdxdxT=IdxTdx=IdxdxT=I

\frac{dx^T}{dx}=I\qquad \qquad\qquad\qquad\qquad\qquad\quad \frac{dx}{dx^T}=I

dxTAdx=AdAxdx=ATdxTAdx=AdAxdx=AT

\frac{dx^TA}{dx}=A\qquad\qquad\qquad\qquad\qquad\qquad\frac{dAx}{dx}=A^T

dAxdxT=AdxAdx=ATdAxdxT=AdxAdx=AT

\frac{dAx}{dx^T}=A\qquad\qquad\qquad\qquad\qquad\qquad\frac{dxA}{dx}=A^T

dxTxdx=2xdxTAxdx=(A+AT)xdxTxdx=2xdxTAxdx=(A+AT)x

\frac{dx^Tx}{dx}=2x\qquad \qquad \qquad \qquad \frac{dx^TAx}{dx}=(A+A^T)x

分配率公式

∂u∂xT=(∂uT∂x)T∂u∂xT=(∂uT∂x)T

\frac{\partial u}{\partial x^T}=(\frac{\partial u^T}{\partial x})^T

∂uTv∂x=∂uT∂xv+∂vT∂xuT∂uTv∂x=∂uT∂xv+∂vT∂xuT

\frac{\partial u^Tv}{\partial x}=\frac{\partial u^T}{\partial x}v + \frac{\partial v^T}{\partial x}u^T

∂uvT∂x=∂u∂xvT+u∂vT∂x∂uvT∂x=∂u∂xvT+u∂vT∂x

\frac{\partial uv^T}{\partial x}=\frac{\partial u}{\partial x}v^T + u\frac{\partial v^T}{\partial x}

矩阵求导公式

∂AB∂x=∂A∂xB+A∂B∂x∂AB∂x=∂A∂xB+A∂B∂x

\frac{\partial AB}{\partial x}=\frac{\partial A}{\partial x}B+A\frac{\partial B}{\partial x}

∂uTXv∂X=uvT∂uTXv∂X=uvT

\frac{\partial u^TXv}{\partial X}=uv^T

∂uTXTXu∂X=2XuuT∂uTXTXu∂X=2XuuT

\frac{\partial u^TX^TXu}{\partial X}=2Xuu^T

∂[(Xu−v)T(Xu−v)]∂X=2(Xu−v)uT∂[(Xu−v)T(Xu−v)]∂X=2(Xu−v)uT

\frac{\partial [(Xu-v)^T(Xu-v)]}{\partial X}=2(Xu-v)u^T

常用矩阵向量求导公式相关推荐

机器学习中最常用的矩阵/向量求导公式
文章目录 1 矩阵的迹 2 行列式的性质 3 向量相对于标量的导数与标量相对于向量的导数 4 矩阵相对于标量的导数与标量相对于矩阵的导数 5 函数f(x)对向量x的导数 6 向量和矩阵的导数满足乘法法 ...
矩阵向量求导-刘建平Pinard|笔记
矩阵向量求导-刘建平Pinard|笔记矩阵向量求导(刘建平Pinard) 笔记原文链接声明一.求导定义与求导布局原文图片个人笔记二.矩阵向量求导之定义法原文图片个人笔记三.矩阵向量求 ...
机器学习中矩阵向量求导
以下内容是根据刘建平的求导博客做的相关笔记一.导数的定义与布局 1. 相关说明 2.导数布局导数部分有分子布局和分母布局两种情况. 分子布局和分母布局相差一个转置. 标量对向量求导布局向量对向量 ...
矩阵向量求导（转载与整理）
矩阵向量求导 (转载与整理) 矩阵向量求导 (转载与整理) 1.[刘建平Pinard老师](https://www.cnblogs.com/pinard/)的博客文章(机器学习中的矩阵向量求导) 2. ...
机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦.因此我们需要其他的 ...
机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念.今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解 ...
机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导.本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这几种形式的求导方法. 本文所有求 ...
机器学习中的矩阵向量求导(一) 求导定义与求导布局
在之前写的上百篇机器学习博客中,不时会使用矩阵向量求导的方法来简化公式推演,但是并没有系统性的进行过讲解,因此让很多朋友迷惑矩阵向量求导的具体过程为什么会是这样的.这里准备用几篇博文来讨论下机器学习中 ...
矩阵向量求导(Matrix calculus)
#原文地址 **注:**不要把它和几何运算或者是向量运算混淆 #前言: 在数学中,矩阵微积分是进行多变量微积分的一种特殊符号,特别是在矩阵的空间上. 它将关于许多变量的单个函数的各种偏导数和/或关于单 ...

最新文章

热门文章