矩阵求导的技术，在统计学、控制论、机器学习等领域有广泛的应用。鉴于我看过的一些资料或言之不详、或繁乱无绪，本文来做个科普，分作两篇，上篇讲标量对矩阵的求导术，下篇讲矩阵对矩阵的求导术。本文使用小写字母x表示标量，粗体小写字母

首先来琢磨一下定义，标量f对矩阵X的导数，定义为

整体性。试想，为何要将f看做矩阵X而不是各元素

为此，我们来回顾，一元微积分中的导数（标量对标量的导数）与微分有联系：

内积。与梯度相似，这里第一个等号是全微分公式，第二个等号表达了矩阵导数与微分的联系：全微分

然后来建立运算法则。回想遇到较复杂的一元函数如

1. 加减法：
   ；矩阵乘法：
   ；转置：
   ；迹：
   。
2. 逆：
   。此式可在
   两侧求微分来证明。
3. 行列式：
   ，其中
   表示X的伴随矩阵，在X可逆时又可以写作
   。此式可用Laplace展开来证明，详见张贤达《矩阵分析与应用》第279页。
4. 逐元素乘法：
   ，
   表示尺寸相同的矩阵X,Y逐元素相乘。
5. 逐元素函数：
   ，
   是逐元素标量函数运算，
   是逐元素求导数。例如
   。

我们试图利用矩阵导数与微分的联系

1. 标量套上迹：
2. 转置：
   。
3. 线性：
   。
4. 矩阵乘法交换：
   ，其中
   与
   尺寸相同。两侧都等于
   。
5. 矩阵乘法/逐元素乘法交换：
   ，其中
   尺寸相同。两侧都等于
   。

观察一下可以断言，若标量函数f是矩阵X经加减乘法、逆、行列式、逐元素函数等运算构成，则使用相应的运算法则对f求微分，再使用迹技巧给df套上迹并将其它项交换至dX左侧，对照导数与微分的联系

，即能得到导数。

特别地，若矩阵退化为向量，对照导数与微分的联系

，即能得到导数。

在建立法则的最后，来谈一谈复合：假设已求得

不能随意沿用标量的链式法则，因为矩阵对矩阵的导数

最常见的情形是

接下来演示一些算例。特别提醒要依据已经建立的运算法则来计算，不能随意套用微积分中标量导数的结论，比如认为AX对X的导数为A，这是没有根据、意义不明的。

例1：

解：先使用矩阵乘法法则求微分，

注意：这里不能用

例2：

解：先使用矩阵乘法、逐元素函数法则求微分：

例3：

解：先求

例4【线性回归】：

解：这是标量对向量的导数，不过可以把向量看做矩阵的特例。先将向量模平方改写成向量与自身的内积：

例5【方差的最大似然估计】：样本

解：首先求微分，使用矩阵乘法、行列式、逆等运算法则，第一项是

例6【多元logistic回归】：

解1：首先将softmax函数代入并写成

解2：定义

最后一例留给经典的神经网络。神经网络的求导术是学术史上的重要成果，还有个专门的名字叫做BP算法，我相信如今很多人在初次推导BP算法时也会颇费一番脑筋，事实上使用矩阵求导术来推导并不复杂。为简化起见，我们推导二层神经网络的BP算法。

例7【二层神经网络】：

解：定义

推广：样本

解1：定义

解2：可以用矩阵来表示N个样本，以简化形式。定义

下篇见https://zhuanlan.zhihu.com/p/24863977。