在机器学习的各种关于向量或者矩阵的求导中，经常会出现各种需要转置或者不需要转置的地方，经常会看得人晕头转向。今天我对机器学习中关于这部分的常识性处理方法进行整理并记录下来方便大家参考。

一些约定

首先，在机器学习中，对于研究经常需要用到的标量、向量、矩阵的求导，我们约定分子使用

表示， 分母使用

表示。其中，分子的标量形式为

，分子的向量形式表示为

，分子的矩阵形式表示为

；类似的，分母的标量形式为

，分母的向量形式表示为

，分母的矩阵形式表示为

。

根据上面的约定，我们研究一下五个分类(标号1-标号5对应后续标题)。如下：

上面的表格表示我们主要讨论的6个种类，对于矩阵对向量的求导

、向量对矩阵的求导

、矩阵对矩阵的求导

不予考虑。

分子布局、分母布局

在机器学习中，我们默认向量用列向量表示，对于行向量的各种运算相同，只要转置一下就可以了。

对于向量和矩阵的求导，实际上依旧类似于正常的实数求导，只不过对于向量或者矩阵的每一个分量的求导结果，按照向量或者矩阵的形式进行排列罢了。

由此引出两种布局方式，一种叫做分子布局(numerator layout)，另一种叫做分母布局(denominator layout)。所谓XX布局，即是指在做求导运算的时候，最终的求导结果的分布和XX部分保持一致，如果需要转置，则对YY部分进行转置。如果分子布局，且分子有m行，则求导结果也是m行；如果分母布局，且分母有n行，则求导结果也是n行。反之，对于分母布局，如果分子有m行，则求导结果将有m列；对于分子布局，如果分母有n行，则结果将包含n列。

是不是有点绕？没事，接着看看实例就明白了……

1.向量对标量求导向量对标量求导 - 分子布局

向量对标量求导，使用分子布局：则在求导过程中，求导结果按列展开，逐个进行求导运算，结果仍然是列向量。

向量对标量求导 - 分母布局

向量对标量求导，使用分母布局：则在求导过程中，求导结果按行展开，逐个进行求导运算，结果呈行向量。

2.标量对向量求导标量对向量求导 - 分子布局

标量对向量求导，使用分子布局：则在求导过程中，求导结果按行展开，逐个进行求导运算，结果呈行向量。

标量对向量求导 - 分母布局

标量对向量求导，使用分母布局：则在求导过程中，求导结果按列展开，逐个进行求导运算，结果保持列向量形式。

3. 矩阵对标量求导矩阵对标量求导 - 分子布局

矩阵对标量求导，使用分子布局：则在求导过程中，对矩阵的每个元素分别进行求导，按照矩阵的排列方式进行组合，组成导数结果矩阵。

例如对于矩阵

, 求导结果仍然是

，具体如下所示：

矩阵对标量求导 - 分母布局

矩阵对标量求导，使用分母布局：则在求导过程中，对矩阵的每个元素分别进行求导，按照矩阵的转置进行组合，组成导数结果矩阵，与原矩阵行列大小翻转。

例如对于矩阵

, 求导结果是

，具体如下所示：

4. 标量对矩阵求导标量对矩阵求导 - 分子布局

标量对矩阵求导，使用分子布局：则在求导的结果中，因为矩阵处于分母位置，结果呈现对原矩阵的翻转形式。

例如对于矩阵

, 求导结果为

，具体如下所示：

标量对矩阵求导 - 分母布局

标量对矩阵求导，使用分母布局：则在求导的结果中，因为矩阵处于分母位置，结果与分母的矩阵大小保持一致。

例如对于矩阵

, 求导结果为

，具体如下所示：

5. 向量对向量求导

前面介绍的四类相对来说比较容易理解，因为分子分母没有同时呈现向量或矩阵形式，其中之一以标量的形式出现，这样就方便理解。接下来的向量与向量之间的运算相对来说困难一丢丢。向量对向量求导 - 分子布局

向量对向量求导，使用分子布局：则分子的向量按列展开，分母的向量按行展开。最终求导运算的结果以矩阵形式出现，如何理解呢？对于分子的向量，如果我们计算其中每个元素(标量)对向量的求导结果，结果将会是一个向量。多个向量进行堆叠，结果呈现形式就会是一个矩阵。但是矩阵首先是按照分子的顺序进行运算呢还是按照分母的顺序进行运算呢？答案是都可以，两种不同的运算形式就是分子布局和分母布局的差别。如下所示：

若

则分子布局表示结果仍然按照分子的行进行表示，每一行的运算则是对

转置分别求导计算出来的 。具体如下：

其中，每一个元素(标量)对分母上列向量的求导仍然是分子布局(参见[标量对向量求导-分子布局]) 即对其进行翻转，这样，每一行将包含长度为

的行向量。最终结果将是一个

大小的矩阵如下所示：

数学上将这种矩阵称之为雅克比 (Jacobian)矩阵，常用符号

进行表示。向量对向量求导 - 分母布局

相反，向量对向量求导，使用分母布局：则分母列不变，分子按行展开，逐个参与运算，结果呈现

的矩阵。如下所示：

若

分母布局表示将分子进行逐个按列的求导(分母布局，结果呈现为列向量，参见[标量对向量求导-分母布局])，结果呈现为列向量。然后对分子上向量中的每个元素，横向进行堆叠，共堆叠m列。因此最终结果为一个

的矩阵。

具体如下：

其中，每一个元素(标量)对分母上列向量的求导仍然是分母布局，即仍然是列向量，对分子的列向量进行翻转并横向堆叠，这样，每一行将包含长度为

的行向量。最终结果将是一个

大小的矩阵如下所示：

数学上将这种矩阵称之为梯度矩阵，有些资料会用符号

进行表示。

机器学习中的约定俗成

但是我们在机器学习中，很少见到所谓的“分子布局”和“分母布局”，这是因为在运算中，大多秉承着一些约定俗成的运算规则。如下所示：

- 向量对标量求导，默认使用分子布局

- 矩阵对标量求导，默认使用分子布局

- 标量对向量求导，默认使用分母布局

- 向量对向量求导，常使用分母布局

几个公式

下面几个公式也是经常使用的，其证明下一篇会给出：