第一部分：矩阵微分

计算∂F∂X\frac{\partial F}{\partial X}时，根据F和X的类型有不同的微分公式。F和X可以分别是标量、向量和矩阵。

1. 当X是标量时

当F是X的标量函数时，则∂F∂X\frac{\partial F}{\partial X}就是一元函数的导数。
当F是函数向量时，设
F={F1(x),F1(x),...,Fn(x)}T，

F=\left \{ F_{1}(x),F_{1}(x),...,F_{n}(x) \right \}^{T}，
则

∂F∂X={∂F1(x)∂x,∂F2(x)∂x,...,∂Fn(x)∂x}T

\frac{\partial F}{\partial X}=\left \{ \frac{\partial F_{1}(x)}{\partial x},\frac{\partial F_{2}(x)}{\partial x},...,\frac{\partial F_{n}(x)}{\partial x} \right \}^{T}
当F是函数矩阵时，设
F=⎧⎩⎨⎪⎪f11...fn1.........f1m...fnm⎫⎭⎬⎪⎪，

F=\begin{Bmatrix}f_{11} & ... & f_{1m}\\ ... & ... & ...\\ f_{n1} & ... & f_{nm}\end{Bmatrix}，
则

∂F∂X=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂f11∂X...∂fn1∂X.........∂f1m∂X...∂fnm∂X⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪

\frac{\partial F}{\partial X}=\begin{Bmatrix}\frac{\partial f_{11}}{\partial X} & ... & \frac{\partial f_{1m}}{\partial X}\\ ... & ... &... \\ \frac{\partial f_{n1}}{\partial X} & ... & \frac{\partial f_{nm}}{\partial X}\end{Bmatrix}
求导法则

2. 当X是向量时

设X={x1,x2,...,xm}TX=\left \{ x_{1},x_{2},...,x_{m} \right \}^{T}
- 当F是X的标量函数时，则

∂F∂X={∂F∂x1,∂F∂x2,...,∂F∂xm}T

\frac{\partial F}{\partial X}=\left \{ \frac{\partial F}{\partial x_{1}}, \frac{\partial F} {\partial x_{2}},...,\frac{\partial F}{\partial x_{m}}\right \}^{T}这叫做F(X)的梯度，记为 grad F(X)。

- 当F是函数向量时，设

F={f1(X),f2(X),...,fn(X)}T，

F=\left \{ f_{1}(X),f_{2}(X),...,f_{n}(X) \right \}^{T}，
则

∂F∂X=∂F∂XT={∂F∂x1∂F∂x2...∂F∂xm}=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂f1∂x1...∂fn∂x1∂f1∂x2...∂fn∂x2.........∂f1∂xm...∂fn∂xm⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪

\frac{\partial F}{\partial X}=\frac{\partial F}{\partial X^{T}}=\begin{Bmatrix}\frac{\partial F}{\partial x_{1}} & \frac{\partial F}{\partial x_{2}} & ... & \frac{\partial F}{\partial x_{m}}\end{Bmatrix}=\begin{Bmatrix}\frac{\partial f_{1}}{\partial x_{1}} & \frac{\partial f_{1}}{\partial x_{2}} & ... & \frac{\partial f_{1}}{\partial x_{m}}\\ ... & ... & ... & ...\\ \frac{\partial f_{n}}{\partial x_{1}} & \frac{\partial f_{n}}{\partial x_{2}} & ... & \frac{\partial f_{n}}{\partial x_{m}}\end{Bmatrix}
这是先展开X后展开F。还可以先展开F后展开X，结果是一样的。
上述求导结果又称为Jaccobi矩阵。

- 当F是函数矩阵时，设

F={fij}nl

F=\left\{f_{ij}\right\}_{nl}
则

∂F∂X={∂F∂x1∂F∂x2...∂F∂xm}Tmn×l

\frac{\partial F}{\partial X}=\begin{Bmatrix}\frac{\partial F}{\partial x_{1}} & \frac{\partial F}{\partial x_{2}} & ... & \frac{\partial F}{\partial x_{m}}\end{Bmatrix}^{T}_{mn\times l}
结果是m个n*l的矩阵在垂直方向上的叠加。

3. 当X是矩阵时

设

X=⎧⎩⎨⎪⎪x11...xn1.........x1m...xnm⎫⎭⎬⎪⎪

X=\begin{Bmatrix} x_{11} & ... & x_{1m}\\ ... & ... & ...\\ x_{n1} & ... & x_{nm} \end{Bmatrix}
- 当F是X的标量函数，则

∂F∂X=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂F∂x11...∂F∂xn1.........∂F∂x1m...∂F∂xnm⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪

\frac{\partial F}{\partial X}=\begin{Bmatrix} \frac{\partial F}{\partial x_{11}} & ... & \frac{\partial F}{\partial x_{1m}}\\ ... & ... & ...\\ \frac{\partial F}{\partial x_{n1}} & ... & \frac{\partial F}{\partial x_{nm}} \end{Bmatrix}
- 当F是函数向量时，设

F={f1,f2,...,fl}T

F=\left\{f_{1},f_{2},...,f_{l}\right\}^{T}则

F={∂f1∂X,∂f2∂X,...,∂fl∂X}Tln×m

F=\left\{\frac {\partial f_{1}}{\partial X},\frac {\partial f_{2}}{\partial X},...,\frac {\partial f_{l}}{\partial X}\right\}^{T}_{ln\times m}
- 当F是函数矩阵时，设

F=⎧⎩⎨⎪⎪f11...fl1.........f1k...flk⎫⎭⎬⎪⎪

F=\begin{Bmatrix}f_{11} & ... & f_{1k}\\ ... & ... & ...\\ f_{l1} & ... & f_{lk}\end{Bmatrix}
则

∂F∂X=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂f11∂X...∂fl1∂X.........∂f1k∂X...∂flk∂X⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪

\frac{\partial F}{\partial X}=\begin{Bmatrix} \frac{\partial f_{11}}{\partial X} & ... & \frac{\partial f_{1k}}{\partial X}\\ ... & ... & ...\\ \frac{\partial f_{l1}}{\partial X} & ... & \frac{\partial f_{lk}}{\partial X} \end{Bmatrix}，其中矩阵的每个元素都是一个标量函数对矩阵的导数，每个元素都是一个nm的矩阵。

4. 复合函数的导数

第二部分：向量函数的Taylor展开

参考：[https://wenku.baidu.com/view/bfb50cf09e314332396893cf.html]

矩阵微分与向量函数Taylor展开相关推荐

[计算数学基础]矩阵微分
矩阵微分函数对于变量的微分在高等数学里面讲的比较多,而矩阵微分在我印象中没有在高等代数中讲解.矩阵微分也是很常用的一个数学工具,我最早是在一门研究生课程"优化设计"中接触到,优化 ...
线性代数之矩阵求导（4）矩阵微分，迹与求导
线性代数之矩阵求导(4)迹与矩阵求导前言矩阵微分定义矩阵微分计算法则常矩阵线性乘积转置迹通过矩阵微分进行求导常用的矩阵微分后记前言本次将记录如何进行矩阵求导(标量对矩阵). ...
矩阵论（八）：矩阵微分与矩阵求导
矩阵论专栏:专栏(文章按照顺序排序) 做机器学习的几乎避免不了矩阵求导,尤其是神经网络方面的,反向传播算法说白了就是在做矩阵求导,拿到代价函数对模型中每个参数矩阵的导数,才能找到一个下降方向,进而更新 ...
矩阵论思维导图_矩阵求导与矩阵微分
矩阵求导与矩阵微分符号定义使用大写的粗体字母表示矩阵使用小写的粗体字母表示向量 ,这里默认为列向量使用小写的正体字母表示标量需要明白的是,矩阵求导的意义在哪来,我们回想一下函数求 ...
最小二乘法矩阵微分偏导法证明
最小二乘法矩阵微分偏导法证明向量范数回顾向量1范数向量1范数即是向量元素的绝对值.定义见: . 向量2范数向量2范数即是向量里每个元素的平 ...
矩阵分析与应用（二）——矩阵微分
文章目录部分符号约定一阶偏导: Jacobian 矩阵与梯度矩阵偏导算子标量函数的Jacobian 矩阵矩阵函数的Jacobian 梯度矩阵二阶偏导: Hessian 矩阵实Hessia ...
深度学习数学基础——矩阵微分篇
https://www.toutiao.com/a6641771475994952206/ 2019-01-02 13:45:27 深度学习是一个令人兴奋的领域,具有巨大的现实世界影响力. 本文是Te ...
11 - 向量微分、矩阵微分以及基于雅克比矩阵求导数
文章目录 1. 手推机器学习-矩阵求导 1.1 绪论 1.2 ML中为什么需要矩阵求导 1.3 向量函数与矩阵求导初印象 1.4 矩阵求导-YX拉伸术 1.5 常见矩阵求导公式举例 1.6 求导细节补 ...
二元函数对xy同时求导_矩阵求导与矩阵微分
矩阵求导与矩阵微分符号定义使用大写的粗体字母表示矩阵使用小写的粗体字母表示向量 ,这里默认为列向量使用小写的正体字母表示标量需要明白的是,矩阵求导的意义在哪来,我们回想一下函数求 ...
matlab常系数线性矩阵微分方程组,基于Matlab常系数线性微分方程组的求解
·基础数学· 基于 Matlab 常系数线性微分方程组的求解* 严水仙 (赣南师范大学数学与计算机科学学院,江西赣州 341000) 摘要: 在常微分方程课程教学中,常系数线性微分方程组可以通过 ...

矩阵微分与向量函数Taylor展开