文章目录

1 矩阵的迹
2 行列式的性质
3 向量相对于标量的导数与标量相对于向量的导数
4 矩阵相对于标量的导数与标量相对于矩阵的导数
5 函数f(x)对向量x的导数
6 向量和矩阵的导数满足乘法法则
7 逆矩阵的导数
8 关于矩阵的迹的求导公式
9 求导链式法则
10 矩阵最常用求导公式

1 矩阵的迹

矩阵的迹：对于n阶方阵A，A的迹(trace)是主对角线上的元素之和，即tr(A)=Σ_i∈[1,n]a_ii。迹的性质：

（1）tr(A^T)=tr(A)；

（2）tr(A+B)=tr(A)+tr(B)；

（3）tr(AB)=tr(BA)；

（4）tr(ABC)=tr(BCA)=tr(CAB)。

2 行列式的性质

行列式的性质：设A、B是n阶方阵，c为常数，行列式的性质如下：

（1）|c·A|=cⁿ|A|；

（2）|A^T|=|A|；

（3）|A·B|=|A|·|B|；

（4）若A是可逆矩阵，则|A^-1|=1/|A|；

（5）|Aⁿ|=|A|ⁿ。

3 向量相对于标量的导数与标量相对于向量的导数

向量相对于标量的导数与标量相对于向量的导数：向量α相对于标量x的导数、标量x相对于向量α的导数都是向量，其第i个分量分别为：

（1）(∂α/∂x)_i=∂α_i/∂x；

（2）(∂x/∂α)_i=∂x/∂α_i。

4 矩阵相对于标量的导数与标量相对于矩阵的导数

矩阵相对于标量的导数与标量相对于矩阵的导数：矩阵A对于标量x的导数、标量x对于矩阵A的导数都是矩阵，其第i行第j列上的元素分别为：

（1）(∂A/∂x)_ij=∂A_ij/∂x；

（2）(∂x/∂A)_ij=∂x/∂A_ij。

5 函数f(x)对向量x的导数

函数f(x)对向量x的导数：假定函数f(x)对向量x的元素可导，则：

（1）f(x)关于向量x的一阶导数是一个向量，其第i个分量为：(▽f(x))_i=∂f(x)/∂x_i；

（2）f(x)关于向量x的二阶导数是称为海森矩阵的一个方阵，其第i行第j列上的元素为：(▽²f(x))_ij=∂²f(x)/∂x_i∂x_j。

6 向量和矩阵的导数满足乘法法则

向量和矩阵的导数满足乘法法则：

（1）∂x^Tα/∂x=∂α^Tx/∂x=α；

（2）∂AB/∂x=(∂A/∂x)·B+A·(∂B/∂x)。

7 逆矩阵的导数

逆矩阵的导数：∂A^-1/∂x=-A^-1·∂A/∂x·A^-1。

8 关于矩阵的迹的求导公式

关于矩阵的迹的求导公式：

（1）∂tr(AB)/∂A_ij=B_ji；

（2）∂tr(AB)/∂A=B^T；

（3）∂tr(A^TB)/∂A=B；

（4）∂tr(A)/∂A=Ⅰ，其中Ⅰ是单位阵；

（5）∂tr(ABA^T)/∂A=A·(B+B^T)；

9 求导链式法则

求导链式法则：链式法则是计算复杂导数时的重要工具，若f(x)=g(h(x))，则有：

10 矩阵最常用求导公式

矩阵最常用求导公式：

（1）∂x^TAx/∂x=(A+A^T)x；

（2）上面的公式应该是下面的特例，这样看的话下面的公式好像不对…只有当W是对称矩阵，即W^T=W时，下式才是正确的：

END

机器学习中最常用的矩阵/向量求导公式相关推荐

机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦.因此我们需要其他的 ...
机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念.今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解 ...
机器学习中的矩阵向量求导(一) 求导定义与求导布局
在之前写的上百篇机器学习博客中,不时会使用矩阵向量求导的方法来简化公式推演,但是并没有系统性的进行过讲解,因此让很多朋友迷惑矩阵向量求导的具体过程为什么会是这样的.这里准备用几篇博文来讨论下机器学习中 ...
机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导.本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这几种形式的求导方法. 本文所有求 ...
机器学习中矩阵向量求导
以下内容是根据刘建平的求导博客做的相关笔记一.导数的定义与布局 1. 相关说明 2.导数布局导数部分有分子布局和分母布局两种情况. 分子布局和分母布局相差一个转置. 标量对向量求导布局向量对向量 ...
矩阵向量求导-刘建平Pinard|笔记
矩阵向量求导-刘建平Pinard|笔记矩阵向量求导(刘建平Pinard) 笔记原文链接声明一.求导定义与求导布局原文图片个人笔记二.矩阵向量求导之定义法原文图片个人笔记三.矩阵向量求 ...
矩阵向量求导（转载与整理）
矩阵向量求导 (转载与整理) 矩阵向量求导 (转载与整理) 1.[刘建平Pinard老师](https://www.cnblogs.com/pinard/)的博客文章(机器学习中的矩阵向量求导) 2. ...
矩阵向量求导(Matrix calculus)
#原文地址 **注:**不要把它和几何运算或者是向量运算混淆 #前言: 在数学中,矩阵微积分是进行多变量微积分的一种特殊符号,特别是在矩阵的空间上. 它将关于许多变量的单个函数的各种偏导数和/或关于单 ...

机器学习中最常用的矩阵/向量求导公式