矩阵求导术（二）—— 矩阵对矩阵的求导

接上篇，继续讨论涉及矩阵的求导技术。其实总结下来，涉及矩阵的求导本质就是多个标量对标量的求导按照某种规则排列起来，而这样的排列符合许多微分、线性代数的运算法则，由此衍生出的运算规则可以简化矩阵微分运算过程的表达形式，进而提升求导效率。

参考资料

上篇：矩阵求导术（一）——标量对矩阵的求导

知乎高赞

另外，张贤达《矩阵分析与应用》也有对矩阵微分的详细论述，可做参考。

向量对向量的求导

首先定义向量对向量的导数。注意，这里没有特别限定是列向量还是行向量，因为最终的理论都是要将导函数和自变量都列向量化。对于p×1列向量 $\boldsymbol{f}$ ，m×1列向量 $\boldsymbol{x}$ ，其导数定义为：

$\frac{\partial{\boldsymbol{f}}}{\partial{\boldsymbol{x}}}=\begin{bmatrix} \frac{\partial{f_1}}{\partial{x_1}}&\frac{\partial{f_2}}{\partial{x_1}}&...&\frac{\partial{f_p}}{\partial{x_1}}\\ \frac{\partial{f_1}}{\partial{x_2}}&\frac{\partial{f_2}}{\partial{x_2}}&...&\frac{\partial{f_p}}{\partial{x_2}}\\ ...&...&...&...\\ \frac{\partial{f_1}}{\partial{x_m}}&\frac{\partial{f_2}}{\partial{x_m}}&...&\frac{\partial{f_p}}{\partial{x_m}} \end{bmatrix}={\boldsymbol{J}_f}^T$ ，导数矩阵的大小为m×p，在这种书写规则下，可以得到微分表达式：

$d\boldsymbol{f}=(\frac{\partial{\boldsymbol{f}}}{\partial{\boldsymbol{x}}})^Td\boldsymbol{x}$ ，需要注意的是这跟高等数学中的微分表达式相比要多一个转置操作。

矩阵对矩阵的求导

将向量对向量的求导延伸为矩阵对矩阵的求导。将矩阵按列优先向量化：

对矩阵 $\{\boldsymbol{F}\}_{p\times q}$ 向量化： $vec(\boldsymbol{F})=[F_{11},F_{21},...,F_{p1},F_{12},F_{22},...F_{p2},...,F_{1q},F_{2q},...,F_{pq}]^T$ ；

于是矩阵对矩阵的求导可以先将矩阵向量化后借助上述向量对向量求导的定义式进行：

$\frac{\partial{\boldsymbol{F}}}{\partial{\boldsymbol{X}}}=\frac{\partial{\boldsymbol{vec(F)}}}{\partial{\boldsymbol{vec(X)}}}=\begin{bmatrix} \frac{\partial{f_{11}}}{\partial{x_{11}}}&\frac{\partial{f_{21}}}{\partial{x_{11}}}&...&\frac{\partial{f_{pq}}}{\partial{x_{11}}}\\ ...&...&...&...\\ \frac{\partial{f_{11}}}{\partial{x_{m1}}}&\frac{\partial{f_{21}}}{\partial{x_{m1}}}&...&\frac{\partial{f_{pq}}}{\partial{x_{m1}}}\\ \frac{\partial{f_{11}}}{\partial{x_{12}}}&\frac{\partial{f_{21}}}{\partial{x_{12}}}&...&\frac{\partial{f_{pq}}}{\partial{x_{12}}}\\ ...&...&...&...\\ \frac{\partial{f_{11}}}{\partial{x_{m2}}}&\frac{\partial{f_{21}}}{\partial{x_{m1}}}&...&\frac{\partial{f_{pq}}}{\partial{x_{m1}}}\\ ...&...&...&...\\ ...&...&...&...\\ \frac{\partial{f_{11}}}{\partial{x_{mn}}}&\frac{\partial{f_{21}}}{\partial{x_{mn}}}&...&\frac{\partial{f_{pq}}}{\partial{x_{mn}}}\\ \end{bmatrix}$

于是我们有： $vec(d\boldsymbol{F})=(\frac{\partial{\boldsymbol{F}}}{\partial\boldsymbol{X}})^Tvec(d\boldsymbol{X})$ ，于是，对于一个矩阵函数表达式，在求解其导数时，总体分为两步：

等式两边同时求微分
向量化

在此过程中，需要用到涉及向量化的一些化简技巧：

线性： $vec(A+B)=vec(A)+vec(B)$
矩阵乘法： $vec(AXB)=(B^T\bigotimes A)vec(X)$ ， $\bigotimes$ 为Kronecker积（克罗内克积），这里采用右Kronecker积；
转置： $vec(A^T)=K_{mn}vec(A)$ ， $K_{mn}$ 为转置矩阵，A为m×n矩阵 $K_{mn}=K_{mn}^{-1}$

注意：一般地，我们会将上篇中所述标量对矩阵的导数看做本文所述矩阵对矩阵导数的一种特殊情况。若是如此，我们会得到mn×1的结果，这与我们之前得到的m×n的结果不相兼容，但两者可以相互转换。
为避免混淆，采用梯度算子记号表示上篇中所述标量对矩阵的求导情况： $\nabla_{\boldsymbol{X}}f=\frac{\partial{f}}{\partial{\boldsymbol{X}}}$ ，两者的通过向量化算符转化：
$\frac{\partial{f}}{\partial{\boldsymbol{X}}}=vec(\nabla_{\boldsymbol{X}}f)$ ，因此采用上下两篇来对标量和矩阵求导分别论述。

矩阵求导术（二）——矩阵对矩阵的求导相关推荐

蛇形矩阵 java_Java实现打印二维蛇形矩阵（螺旋矩阵）。
直接上代码吧. 昨晚腾讯在线测试遇到的题. 螺旋矩阵是指一个呈螺旋状的矩阵,它的数字由第一行开始到右边不断变大,向下变大, 向左变大,向上变大,如此循环. import java.util.Scann ...
矩阵求导术（上、下）
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容矩阵求导的技术,在统计学.控制论.机器学习等领域有广泛的应用.鉴于我看过的一些资料或言 ...
学习笔记三：MLP基本原理、矩阵求导术推反向传播、激活函数、Xavier
文章目录一.BP神经网络(MLP) 1.1 感知机模型及其局限性 1.2 BP神经网络基本原理 1.3 softmax多分类.求导 1.4 二分类使用softmax还是sigmoid好? 1.5 为 ...
标量向量标量求导链式法则_矩阵求导术（上）
矩阵求导的技术,在统计学.控制论.机器学习等领域有广泛的应用.鉴于我看过的一些资料或言之不详.或繁乱无绪,本文来做个科普,分作两篇,上篇讲标量对矩阵的求导术,下篇讲矩阵对矩阵的求导术.本文使用小写字母 ...
[矩阵的三角分解系列二] LDU基本定理
LDU基本定理简介三角分解的存在和唯一性? LDU基本定理充分性证明存在性证明唯一性证明必要性证明推论稳定性例子引用矩阵的三角分解是求解线性方程组常用的方法,包括LU分解,LDU ...
神经网络中矩阵求导术的应用
神经网络中矩阵求导术的应用序记法约定常用公式和定理举例多层神经网络(MLP)的梯度推导 Batch Normalization Layer的推导序本文假设读者熟悉一元微积分,线性代数,并 ...
二阶矩阵转置怎么求_矩阵求导术（下）
本文承接上篇 https://zhuanlan.zhihu.com/p/24709748,来讲矩阵对矩阵的求导术.使用小写字母x表示标量,粗体小写字母表示列向量,大写字母X表示矩阵.矩阵对矩阵的求导 ...
二元函数对xy同时求导_让向量、矩阵和张量的求导更简洁些吧
本文是我在阅读Erik Learned-Miller的<Vector, Matrix, and Tensor Derivatives>时的记录,点此下载. 本文的主要内容是帮助你学习如何进 ...
【机器学习中的矩阵求导】（七）矩阵向量化复习
学习总结 (1)矩阵乘法. Vec⁡(ABC⁡)=(C⊤⊗A)Vec⁡(B)\operatorname{Vec}(\operatorname{ABC})=\left(\mathbf{C}^{\top} ...
【100题】三十五求一个矩阵中最大的二维矩阵(元素和最大)
一,题目: 求一个矩阵中最大的二维矩阵(元素和最大).如: 1 2 0 3 4 2 3 4 5 1 1 1 5 3 0 中最大的是: 4 5 5 3 要求:(1)写出算法;(2)分析时间复杂度;(3) ...

矩阵求导术（二）——矩阵对矩阵的求导

矩阵求导术（二）—— 矩阵对矩阵的求导

参考资料

向量对向量的求导

矩阵对矩阵的求导

矩阵求导术（二）——矩阵对矩阵的求导相关推荐

最新文章

热门文章