算是上一篇【数学】均匀分布生成其他分布的方法的一个数学基础补遗吧。

函数对向量求导

Jacobian矩阵相当于通用型的函数的一阶导数，Hessian矩阵是一个Rn→RR^n \to R的函数的二阶导数。
这就牵扯到了函数对向量求导的运算，详细的话详见：对向量求导这篇百度文库。
本质上来说，一个函数对(行)向量求导，本质上还是单独为向量的每个元素进行求导的。
比如Rn→RR^n \to R的函数f(a⃗ )f(\vec a)，则其导数【即梯度】为∇f=[∂f∂a1,∂f∂a1,⋯,∂f∂an]\nabla f = [ \frac{\partial f}{\partial a_1}, \frac{\partial f}{\partial a_1},\cdots,\frac{\partial f}{\partial a_n}] ，此时其一阶导数就变成一个Rn→RnR^n \to R^n的函数
对于Rn→RmR^n \to R^m的函数，其可以看成一个长度为m列向量对一个长度为n行向量求偏导。

∂y⃗ ∂a⃗ =⎡⎣⎢⎢⎢⎢⎢⎢⎢∂y1∂a1⋮∂ym∂a1⋯ ⋱⋯ ∂y1∂an⋮∂ym∂an⎤⎦⎥⎥⎥⎥⎥⎥⎥

\frac{\partial \vec y}{\partial \vec a} = \begin{bmatrix} \frac{\partial y_1}{\partial a_1} & \cdots\ &\frac{\partial y_1}{\partial a_n}\\\vdots & \ddots & \vdots \\\frac{\partial y_m}{\partial a_1} & \cdots\ & \frac{\partial y_m}{\partial a_n}\\ \end{bmatrix}
其可以看成一个换元变换，即 y1=f(a1,⋯,an)y_1 = f(a_1,\cdots, a_n)这样的方式进行换元。或者可以看成一个坐标变换。
所以上式【多元函数值的导数】即为雅各比Jacobian矩阵。
当m = n时，其为方阵，则可以求其雅各Jacobian比行列式。

雅各比Jacobian矩阵与行列式

雅各比矩阵的几何意义

先补充另外一些数学知识，求微分其实就是线性化，即用直线近似代替取现，dx,dydx,dy近似代替原来那段曲线。 导数其实就是线性空间之间的线性变换。
为了理解上面这句话，看下面两张图
θ1和θ2分别是x,y的函数，则x,y的微分：\theta _1和\theta _2分别是x,y的函数，则x,y的微分：

将其写成矩阵形式即为：

可以看到其导数就是从θ1和θ2微分映射到x,y微分\theta _1和\theta _2微分映射到x,y微分的

更专业的说法是，导数就是在切空间到切空间之间的线性映射。【切空间就可以其理解为微分空间】
切空间都是矢量空间，都有基底，所以这个线性变换就是矩阵。在欧氏空间子空间的开集上，切空间就是某个。
所以把Jacobian矩阵看成切空间之间的基底之间的线性变换，
而矩阵的行列式的值的几何意义：是矩阵对应的线性变换前后的面积比。
这也是为什么积分中变换坐标时前面会乘以一个Jacobian矩阵的行列式。

雅各比行列式在积分坐标变换中的应用

上一篇【数学】均匀分布生成其他分布的方法文章中提到了讲直角坐标系中的无法直接计算正态分布的积分，则将其转换到极坐标之中。在转换之后计算积分的时候【这里相当于用概率累计密度CDF用积分求，然后求导即为概率密度函数PDF】需要乘以一个雅各比行列式。另外注意，因为雅各比行列式是行列式所以其对应的矩阵必为一个方阵，且线性无关。
具体定理：

海森Hessian矩阵

正如前面所说，一个Rn→RR^n \to R映射的函数，即多元实值函数，其一阶梯度为

∇f=[∂f∂a1,∂f∂a1,⋯,∂f∂an]

\nabla f = [ \frac{\partial f}{\partial a_1}, \frac{\partial f}{\partial a_1},\cdots,\frac{\partial f}{\partial a_n}] 其是一个 Rn→RnR^n \to R^n的函数，再对一阶梯度再求梯度，得到其二阶梯度：

∇2f=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂a21⋮∂2f∂an∂a1⋯ ⋱⋯ ∂2f∂a1∂an⋮∂2f∂a2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥

\nabla^2 f = \begin{bmatrix} \frac{\partial^2 f}{\partial a_1^2} & \cdots\ &\frac{\partial^2 f}{\partial a_1\partial a_n}\\\vdots & \ddots & \vdots \\\frac{\partial^2 f}{\partial a_n\partial a_1} & \cdots\ & \frac{\partial^2 f}{\partial a_n^2}\\ \end{bmatrix}

海森矩阵在牛顿法中应用非常广泛。关于最优化算法这个下篇博客再更吧。

参考文献

如何理解雅克比矩阵？
雅可比(Jacobi)矩阵的若干应用
Jacobian矩阵和Hessian矩阵

【数学】对向量的求导和Jacobian矩阵的几何意义与Hessian矩阵相关推荐

各种矩阵（向量）求导
一个准则:按照单变量求导来做,然后调整下维数就可以了. 比如对矩阵的求导,结果一定是和矩阵维数一致才对今天早上遇到@tornadomeet在deep learning高质量群里问:一个列向量对一个 ...
标量向量标量求导链式法则_矩阵求导术（上）
矩阵求导的技术,在统计学.控制论.机器学习等领域有广泛的应用.鉴于我看过的一些资料或言之不详.或繁乱无绪,本文来做个科普,分作两篇,上篇讲标量对矩阵的求导术,下篇讲矩阵对矩阵的求导术.本文使用小写字母 ...
向量型求导工具-Pytorch
1.标量对向量求导标量可以直接对向量求导 import torch p = torch.tensor([2.0, 3.0, 5.0], requires_grad=True) q = p*2+1 z ...
数学---之隐函数以及求导
感觉考研的好多东西都有点模糊不清了,记录下来显函数:解析式中明显地用一个变量的代数式表示另一个变量时,称为显函数.显函数可以用y=f(x)来表示.隐函数:如果方程F(x,y)=0能确定y是x的函数, ...
机器之心最干的文章：机器学习中的矩阵、向量求导
作者:七月本文的目标读者是想快速掌握矩阵.向量求导法则的学习者,主要面向矩阵.向量求导在机器学习中的应用.因此,本教程而非一份严格的数学教材,而是希望帮助读者尽快熟悉相关的求导方法并在实践中应用.另 ...
【机器学习中的矩阵求导】（六）Jacobian矩阵和Hessian矩阵
学习总结 (0)回顾矩阵向量化,和克罗内克积的主要运算法则. (1)梯度向量是雅克比矩阵的特例. (2)Hessian矩阵是梯度向量g(x)对自变量x的Jacobian矩阵,描述了函数的局部曲率. ...
向量转置的怎么求导_机器学习中的向量求导和矩阵求导
在机器学习的各种关于向量或者矩阵的求导中,经常会出现各种需要转置或者不需要转置的地方,经常会看得人晕头转向.今天我对机器学习中关于这部分的常识性处理方法进行整理并记录下来方便大家参考. 一些约定首先 ...
pytorch教程之自动求导机制(AUTOGRAD)-从梯度和Jacobian矩阵讲起
文章目录 1. 梯度和Jacobian矩阵 2. pytorch求变量导数的过程 1. 梯度和Jacobian矩阵设f(x)∈R1f(x)\in R^1f(x)∈R1是关于向量x∈Rnx\in R^ ...
线性回归之数学:求导公式
线性回归之数学:求导公式 1 常见函数的导数 2 导数的四则运算 3 练习 4 矩阵(向量)求导参考链接:https://en.wikipedia.org/wiki/Matrix_calculus# ...

【数学】对向量的求导和Jacobian矩阵的几何意义与Hessian矩阵