一、矩阵的迹

1. 迹的定义

2. 迹的性质

二、微分与全微分

1. （全）微分的表达式

2. （全）微分的法则

三、矩阵的微分

1. 矩阵微分的实质

2. 矩阵微分的意义

3. 矩阵微分的法则

4. 矩阵微分的常用公式

四、矩阵求导实例

1. 迹在微分中的应用

2. 利用微分求导

本篇博客总结自知乎文章：矩阵求导公式的数学推导（矩阵求导——进阶篇），需要详细推导过程可以查看原文学习。

文章主要介绍了矩阵迹的性质，并将矩阵微分引入到矩阵求导中。虽然在法则和公式中涉及到了矩阵变元的实矩阵函数，但是并不介绍如何求导实矩阵函数，只介绍矩阵变元的实值标量函数利用微分求导的过程（实矩阵函数的求导过程远比实值标量函数的求导过程复杂）。

一、矩阵的迹

1. 迹的定义

对于一个 $n \times n$ 的方阵 $\pmb A_{n\times n}$ ：

它的主对角线元素之和就叫做矩阵 $\pmb A$ 的迹(trace)，记作：

2. 迹的性质

2.1 标量的迹

因为标量可以视为 $1\times 1$ 的矩阵，所以对于一个标量 $a$ ，它的迹等于它本身：

$a\textrm{=tr(}a)$

2.2 转置的迹

因为转置并不改变主对角线元素位置，所以对于一个矩阵 $A$ 的转置 $A^{T}$ ，它的迹与原矩阵相等：

$\mathrm{tr}(\pmb A)=\mathrm{tr}(\pmb A^{T})$

2.3 乘积的迹

矩阵 $\pmb A\in R^{m\times n}$ 与矩阵 $\pmb B^{T}\in R^{n\times m}$ 的乘积的迹，等于两个矩阵对应位置的元素相乘再相加，类似于向量内积的延伸：

2.4 迹的交换律

由上一性质可知，在两矩阵交换位置后，乘积的迹不会受到影响，仍然是对应位置元素相乘再相加，即满足交换律：

$\mathrm{tr(\pmb A\pmb B}^{T})=\mathrm{tr(\pmb B}^{T}\pmb A)$

对于多个矩阵相乘，可以将其中一部分矩阵视为整体，然后使用交换律：

$\mathrm{\pmb A_{m\times n} ,\pmb B_{n\times p},\pmb C_{p\times m}}$

$\mathrm{tr(\pmb {ABC})=tr(\pmb C(\pmb {AB}))=tr((\pmb {BC})\pmb A)}$

不仅如此，迹的矩阵交换不变性还可以和迹的矩阵转置不变性结合，得到如下转换过程：

$\mathrm{\pmb A\in R^{m\times n},\pmb B^{\mathit{T}}\in R^{n\times m}}$

$\mathrm{tr(\pmb A\pmb B^{\mathit{T}})=tr(\pmb B^{\mathit{T}}\pmb A)=tr(\pmb A^{\mathit{T}}\pmb B)=tr(\pmb B\pmb A^{\mathit{T}})}$

2.5 迹的线性法则

矩阵先相加再求迹，等于先求迹再相加：

$\mathrm{tr(\pmb A+\pmb B)=\sum_{i=1}^{n} (a_{ii}+b_{ii})=\sum_{i=1}^{n} a_{ii}+\sum_{i=1}^{n}b_{ii}=tr(\pmb A)+tr(\pmb B)}$

二、微分与全微分

1. （全）微分的表达式

高等数学中的一元函数的微分表达式与多元函数全微分表达式如下：

函数类型	参数说明	表达式
普通一元函数	$y=f(x)$	$\mathrm{d}y=\mathrm{d}f(x)=f'(x)\mathrm{d}x$
复合一元函数	$y=f(u)$	$\mathrm{d}y=\mathrm{d}f(u)=f'(u)\mathrm{d}u=f'(u)\mathrm{d}g(x)=f'(u)g'(x)\mathrm{d}x$
复合一元函数	$u=f(x)$
普通多元函数	$z=f(x,y)$	$\mathrm{d}z=\mathrm{d}f(x,y)=\frac{\partial z}{\partial x}\mathrm{d}x+\frac{\partial z}{\partial y}\mathrm{d}y$
复合多元函数	$z=f(u)$	$\mathrm{d}z=\mathrm{d}f(u)=f'(u)\mathrm{d}u=f'(u)(\frac{\partial u}{\partial x}\mathrm{d}x+\frac{\partial u}{\partial y}\mathrm{d}y)$ $=f'(u)\frac{\partial u}{\partial x}\mathrm{d}x+f'(u)\frac{\partial u}{\partial y}\mathrm{d}y$
复合多元函数	$u=f(x,y)$

2. （全）微分的法则

无论是一元函数的微分还是多元函数的全微分，都遵循以下四个法则：

法则	参数说明	表达式
常数的微分	$c$ 为常数	$\mathrm{d}c=0$
常数的微分	$c$ 为常数	$\mathrm{d}(cx)=c\ \mathrm{d}x$
线性（加减）法则	$u=u(x),v=v(x)$	$\mathrm{d}(u\pm v)=\mathrm{d}u\pm \mathrm{d}v$
线性（加减）法则	$u=u(x,y),v=v(x,y)$	$\mathrm{d}(u\pm v)=\mathrm{d}u\pm \mathrm{d}v$
乘积法则	$u=u(x),v=v(x)$	$\mathrm{d}(uv)=v\mathrm{d}(u)+u\mathrm{d}(v)$
乘积法则	$u=u(x,y),v=v(x,y)$	$\mathrm{d}(uv)=v\mathrm{d}(u)+u\mathrm{d}(v)$
商法则	$u=u(x),v=v(x)\neq 0$	$\mathrm{d}(\frac{u}{v})=\frac{1}{v^2}(v\mathrm{d}(u)-u\mathrm{d}(v))$
商法则	$u=u(x,y),v=v(x,y)\neq 0$

三、矩阵的微分

1. 矩阵微分的实质

对于一个矩阵变元的实矩阵函数，其内部的每一个元素就是一个矩阵变元的实值标量函数：

$\pmb F(\pmb X)\in R^{p\times q}$	$\pmb F_{p\times q}(\pmb X)=[f_{ij}(\pmb X)]^{p,q}_{i=1,j=1}$	$\pmb X_{m\times n}=(x_{ij})^{m,n}_{i=1,j=1}$

对其求微分就是对每个位置上的元素求全微分，排列布局不变；

2. 矩阵微分的意义

对矩阵变元的实值标量函数，其全微分可以转化为如下迹的形式：

其中左边的矩阵就是对 $f(\pmb X)$ 的分子布局形式求导：

而右边的矩阵就是 $\pmb X_{m\times n}$ 的全微分：

所以矩阵变元的实值标量函数的全微分可以表示为：

3. 矩阵微分的法则

因此，我们想要求解一个矩阵变元的实值标量函数的导数，我们只需要把该函数转化成上面的形式。而转化的过程可以通过下面矩阵微分的四个法则实现：

法则	参数说明	表达式
常数矩阵的微分	常数矩阵 $\pmb A$	$\mathrm{d}\pmb A_{m\times n}=\mathbf{\pmb 0}_{m\times n}$
线性法则	常数 $c_{1},c_{2}$	$\mathrm{d}(c_{1}\pmb F(\pmb X)+c_{2}\pmb G(\pmb X))=c_{1}\mathrm{d}\pmb F(\pmb X)+c_{2}\mathrm{d}\pmb G(\pmb X)$
乘积法则	$\pmb F_{p\times q}(\pmb X)$	$\mathrm{d}(\pmb F(\pmb X)\pmb G(\pmb X))=\mathrm{d}(\pmb F(\pmb X))\pmb G(\pmb X)+\pmb F(\pmb X)\mathrm{d}(\pmb G(\pmb X))$
乘积法则	$\pmb G_{q\times s}(\pmb X)$
转置法则	$\pmb F_{p\times q}(\pmb X)$	$\mathrm{d}\pmb F^{T}_{p\times q}(\pmb X)=(\mathrm{d}\pmb F_{p\times q}(\pmb X))^{T}$

4. 矩阵微分的常用公式

对于转化过程中经常出现的矩阵形式，我们可以记住下面三类常用公式来简化推导步骤，这些公式也是由矩阵的微分四法则结合矩阵的迹的性质得来：

公式名称	参数说明	表达式
夹饼层	常数矩阵 $\pmb A_{p\times m},\pmb B_{n\times q}$	$\mathrm{d}(\pmb{AXB})=\pmb A\mathrm{d}(\pmb X)\pmb B$
夹饼层	将 $\pmb X_{m\times n}$ 替换为矩阵函数	$\mathrm{d}(\pmb A\pmb F(\pmb X)\pmb B)=\pmb A\mathrm{d}(\pmb F(\pmb X))\pmb B$
行列式	$\pmb X_{n\times n}$	${\color{Red} \mathrm{d}\left \| \pmb X \right \|}=\mathrm{tr}(\left \| \pmb X \right \|\pmb X^{-1})\mathrm{d}\pmb X={\color{Red} \left \| \pmb X \right \|\mathrm{tr}(\pmb X^{-1})\mathrm{d}\pmb X}$
行列式	将 $\pmb X_{n\times n}$ 替换为矩阵函数	${\color{Red} \mathrm{d}\left \| \pmb F(\pmb X) \right \|}=\mathrm{tr}(\left \| \pmb F(\pmb X) \right \| \pmb F(\pmb X)^{-1})\mathrm{d}\pmb F(\pmb X)$ $={\color{Red} \left \|\pmb F(\pmb X) \right \|\mathrm{tr}(\pmb F(\pmb X)^{-1})\mathrm{d}\pmb F(\pmb X)}$
逆矩阵	$\pmb X_{n\times n}$	$\mathrm{d}(\pmb X^{-1})=-\pmb X^{-1}\mathrm{d}(\pmb X)\pmb X^{-1}$
逆矩阵	将 $\pmb X_{n\times n}$ 替换为矩阵函数	$\mathrm{d}( \pmb F(\pmb X)^{-1})=- \pmb F(\pmb X)^{-1}\mathrm{d}( \pmb F(\pmb X) ) \pmb F(\pmb X)^{-1}$

四、矩阵求导实例

1. 迹在微分中的应用

对实值标量函数 $f(\pmb X)$ ，由于它的结果是标量，所以有：

$\mathrm{tr}(f(\pmb X))=f(\pmb X)$

上式结合微分的线性法则（相加再微分=微分再相加）：

${\color{Red} \mathrm{d}f(\pmb X)}=\mathrm{d}(\mathrm{tr}f(\pmb X))={\color{Red} \mathrm{tr}(\mathrm{d}f(\pmb X))}$

若把实值标量函数 $f(\pmb X)$ 视为实矩阵函数 $\pmb F(\pmb X)$ 的迹：

$f(\pmb X)=\mathrm{tr}(\pmb F_{p\times p}(\pmb X))$

则有：

${\color{Red} \mathrm{d}(\mathrm{tr}\pmb F_{p\times p}(\pmb X))}=\mathrm{d}(\sum_{i=1}^{p}f_{ii}(\pmb X))=\sum_{i=1}^{p}\mathrm{d}(f_{ii}(\pmb X))={\color{Red} \mathrm{tr}(\mathrm{d}\pmb F_{p\times p}(\pmb X))}$

2. 利用微分求导

举例说明如何利用矩阵微分，推导出矩阵求导的表达式：

$\frac{\partial (\pmb a^{T}\pmb X\pmb X^{T}\pmb b)}{\partial \pmb X}=\pmb a\pmb b^{T}\pmb X+\pmb b\pmb a^{T}\pmb X$

结合矩阵的迹的性质、矩阵微分的四个法则和六个常用公式，推导过程如下：

迹在微分的应用	$\mathrm{d}f(\pmb X)=\mathrm{d}(\mathrm{tr}f(\pmb X))=\mathrm{tr}(\mathrm{d}f(\pmb X))$
$\mathrm{d}(\pmb a^{T}\pmb X\pmb X^{T}\pmb b)=\mathrm{tr}(\mathrm{d}(\pmb a^{T}\pmb X\pmb X^{T}\pmb b))$
夹饼层公式	$\mathrm{d}(\pmb{AXB})=\pmb A\mathrm{d}(\pmb X)\pmb B$
$\mathrm{tr}(\mathrm{d}(\pmb a^{T}\pmb X\pmb X^{T}\pmb b))=\mathrm{tr}(\pmb a^{T}\mathrm{d}(\pmb X\pmb X^{T})\pmb b)$
微分乘积法则	$\mathrm{d}(\pmb F(\pmb X)\pmb G(\pmb X))=\mathrm{d}(\pmb F(\pmb X))\pmb G(\pmb X)+\pmb F(\pmb X)\mathrm{d}(\pmb G(\pmb X))$
$\mathrm{tr}(\pmb a^{T}\mathrm{d}(\pmb X\pmb X^{T})\pmb b)=\mathrm{tr}(\pmb a^{T}(\ \mathrm{d}(\pmb X)\pmb X^{T} +\pmb X\mathrm{d}(\pmb X^{T})\ )\pmb b)$
迹的线性法则	$\mathrm{tr(\pmb A+\pmb B)=tr(\pmb A)+tr(\pmb B)}$
$\mathrm{tr}(\pmb a^{T}(\ \mathrm{d}(\pmb X)\pmb X^{T} +\pmb X\mathrm{d}(\pmb X^{T})\ )\pmb b)=\mathrm{tr}(\pmb a^{T}\mathrm{d}(\pmb X)\pmb X^{T}\pmb b)+\mathrm{tr}(\pmb a^{T}\pmb X\mathrm{d}(\pmb X^{T})\pmb b)$
微分转置法则	$\mathrm{d}\pmb F^{T}_{p\times q}(\pmb X)=(\mathrm{d}\pmb F_{p\times q}(\pmb X))^{T}$
$\mathrm{tr}(\pmb a^{T}\mathrm{d}(\pmb X)\pmb X^{T}\pmb b)+\mathrm{tr}(\pmb a^{T}\pmb X{\color{Red} \mathrm{d}(\pmb X^{T})}\pmb b)=\mathrm{tr}(\pmb a^{T}\mathrm{d}(\pmb X)\pmb X^{T}\pmb b)+\mathrm{tr}(\pmb a^{T}\pmb X{\color{Red} \mathrm{d}(\pmb X)^{T}}\pmb b)$
迹的交换与转置	$\mathrm{tr(\pmb {ABC})=tr(\pmb C(\pmb {AB}))=tr((\pmb {BC})\pmb A)}$ $\mathrm{tr(\pmb A\pmb B^{\mathit{T}})=tr(\pmb B^{\mathit{T}}\pmb A)=tr(\pmb A^{\mathit{T}}\pmb B)=tr(\pmb B\pmb A^{\mathit{T}})}$
$\mathrm{tr}(\pmb a^{T}\mathrm{d}(\pmb X){\color{Red} \pmb X^{T}\pmb b})+\mathrm{tr}(\pmb a^{T}\pmb X\mathrm{d}(\pmb X)^{T}{\color{Red} \pmb b})=\mathrm{tr}({\color{Red} \pmb X^{T}\pmb b}\ \pmb a^{T}\mathrm{d}(\pmb X))+\mathrm{tr}({\color{Red} \pmb b}\ \pmb a^{T}\pmb X\mathrm{d}(\pmb X)^{T})$ $=\mathrm{tr}(\pmb X^{T}\pmb b\ \pmb a^{T}\mathrm{d}(\pmb X))+\mathrm{tr}({\color{Blue} \pmb b\ \pmb a^{T}\pmb X}{\color{Red} \mathrm{d}(\pmb X)^{T}})$ $=\mathrm{tr}(\pmb X^{T}\pmb b\ \pmb a^{T}\mathrm{d}(\pmb X))+\mathrm{tr}({\color{Blue} (\pmb b\ \pmb a^{T}\pmb X)^{T}}{\color{Red} \mathrm{d}\pmb X})$ $=\mathrm{tr}(\pmb X^{T}\pmb b\ \pmb a^{T}\mathrm{d}(\pmb X))+\mathrm{tr}({\color{Blue} \pmb X^{T}\pmb a\pmb b^{T}}{\color{Red} \mathrm{d}\pmb X})$
迹的线性法则	$\mathrm{tr(\pmb A+\pmb B)=tr(\pmb A)+tr(\pmb B)}$
$\mathrm{tr}(\pmb X^{T}\pmb b\pmb a^{T}\mathrm{d}\pmb X)+\mathrm{tr}(\pmb X^{T}\pmb a\pmb b^{T}\mathrm{d}\pmb X)=\mathrm{tr}((\pmb X^{T}\pmb b\pmb a^{T}+\pmb X^{T}\pmb a\pmb b^{T})\mathrm{d}\pmb X)$

最终得到该式的微分：

结合公式：

可得导数：

动手学深度学习——矩阵求导之矩阵的迹和微分相关推荐

动手学深度学习需要这些数学基础知识
https://www.toutiao.com/a6716993354439066124/ 本附录总结了本书中涉及的有关线性代数.微分和概率的基础知识.为避免赘述本书未涉及的数学背景知识,本节中的少数 ...
【动手学深度学习】(task123)注意力机制剖析
note 将注意力汇聚的输出计算可以作为值的加权平均,选择不同的注意力评分函数会带来不同的注意力汇聚操作. 当查询和键是不同长度的矢量时,可以使用可加性注意力评分函数.当它们的长度相同时,使用缩放的& ...
李沐d2l《动手学深度学习》第二版——风格迁移源码详解
本文是对李沐Dive to DL<动手学深度学习>第二版13.12节风格迁移的源码详解,整体由Jupyter+VSCode完成,几乎所有重要代码均给出了注释,一看就懂.需要的同学可以在文末 ...
动手学深度学习笔记3.4+3.5+3.6+3.7
系列文章目录动手学深度学习笔记系列: 动手学深度学习笔记3.1+3.2+3.3 文章目录系列文章目录前言一.softmax回归 1.1 分类问题 1.2 网络架构 1.3 全连接层的参数开销 ...
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（4）线性神经网络（暂停）
开源项目地址:d2l-ai/d2l-zh 教材官网:https://zh.d2l.ai/ 书介绍:https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本,书及代码下载地址在 ...
李沐动手学深度学习v2/总结1
总结编码过程数据数据预处理模型参数,初始化参数超参数损失函数,先计算损失,清空梯度(防止有累积的梯度),再对损失后向传播计算损失关于参数的梯度优化算法,使用优化算法更新参数训练求参数 ...
动手学深度学习v2 p1引言监督学习与无监督学习
1.引言 1.2. 机器学习中的关键组件首先介绍一些核心组件.无论什么类型的机器学习问题,都会遇到这些组件: 可以用来学习的数据(data): 如何转换数据的模型(model): 一个目标函数(ob ...
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（2）前言（介绍各种机器学习问题）以及数据操作预备知识Ⅰ
开源项目地址:d2l-ai/d2l-zh 教材官网:https://zh.d2l.ai/ 书介绍:https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本,书及代码下载地址在 ...
动手学深度学习Pytorch Task03
第三节课的内容包括过拟合.欠拟合及其解决方案和梯度消失.梯度爆炸和循环神经网络进阶一.过拟合.欠拟合及其解决方案 1.过拟合.欠拟合及相关概念训练误差:模型在训练数据集上表现出的误差泛化误差:模 ...

动手学深度学习——矩阵求导之矩阵的迹和微分

一、矩阵的迹

1. 迹的定义