导数、微分、偏导数、全微分、方向导数、梯度的定义与关系

学习到机器学习线性回归和逻辑回归时遇到了梯度下降算法，然后顺着扯出了一堆高数的相关概念理论：导数、偏导数、全微分、方向导数、梯度，重新回顾它们之间的一些关系，从网上和教材中摘录相关知识点。

通过函数的极限定义出导数(以一元函数为例)
函数f(x)在点x0可微的充分必要条件是函数f(x)在点x0处可导
扩展到多元函数时，衍生出偏导数

导数

定义：设函数y=f(x)y=f(x)y=f(x)在点x0x_0x0的某个领域内有定义，如果ΔyΔx\frac{Δy}{Δx}ΔxΔy在当ΔxΔxΔx->0时极限存在，则称函数y=f(x)y=f(x)y=f(x)在x0x_0x0处可导，这个极限是函数y=f(x)y=f(x)y=f(x)在x0x_0x0处的导数
f′(x0)=lim⁡Δx→0ΔyΔx=lim⁡Δx→0f(x0+Δx)−f(x0)Δxf'(x_0)=\lim \limits_{Δx \to 0} \frac{Δy}{Δx}=\lim \limits_{Δx \to 0} \frac{f(x_0+Δx)-f(x_0)}{Δx}f′(x0)=Δx→0limΔxΔy=Δx→0limΔxf(x0+Δx)−f(x0)

根据导数的定义，从某种意义上说导数的本质是一种极限

导数与导函数的关系是局部与整体的关系，导数通常是指一点，导函数则是指一个区间上的

在直线运动场景中，若x表示时刻，y表示距离，函数f表示时间与距离的关系y=f(x)y=f(x)y=f(x),那么导数的含义就是在x0x_0x0时刻的瞬时速度
在直角坐标系中，y=f(x)y=f(x)y=f(x)表示一个曲线，导数的含义表示的是曲线在点x0x_0x0处的切线的斜率

微分

定义：设函数y=f(x)y=f(x)y=f(x)在某个领域内有定义，x0x_0x0及x0+Δxx_0+Δxx0+Δx在这区间内，如果增量
Δy=f(x0+x)−f(x0)Δy=f(x_0+x)-f(x_0)Δy=f(x0+x)−f(x0)
可表示为
Δy=AΔx+o(Δx)Δy=AΔx+o(Δx)Δy=AΔx+o(Δx)
其中A是不依赖ΔxΔxΔx的常数，o(Δx)o(Δx)o(Δx)是指ΔxΔxΔx趋于0时的高阶无穷小，那么称函数y=f(x)y=f(x)y=f(x)在点x0x_0x0是可微的，而AΔxAΔxAΔx叫做函数在点x0x_0x0相应于自变量增量ΔxΔxΔx的微分，记作dy\mathrm{d} ydy，记作
dy=AΔx\mathrm{d}y=AΔxdy=AΔx

高阶无穷小的定义：如果lim⁡βα=0\lim \limits \frac{\beta}{\alpha}=0limαβ=0，就说β\betaβ是比α\alphaα高阶的无穷小，记作β=o(α)\beta=o(\alpha)β=o(α)

微分与导数的关系

上式Δy=AΔx+o(Δx)Δy=AΔx+o(Δx)Δy=AΔx+o(Δx)两边同时除以ΔxΔxΔx得到
ΔyΔx=A+o(Δx)Δx\frac{Δy}{Δx}=A+\frac{o(Δx)}{Δx}ΔxΔy=A+Δxo(Δx)
当Δx→0Δx \to 0Δx→0时,上式左边就是导数的定义，而右边的o(Δx)Δx\frac{o(Δx)}{Δx}Δxo(Δx)因为是高阶无穷小，所以会趋向于0，得到以下等式
A=lim⁡Δx→0ΔyΔx=f′(x0)A=\lim \limits_{Δx \to 0}\frac{Δy}{Δx}=f'(x_0)A=Δx→0limΔxΔy=f′(x0)
因此，如果函数f(x)f(x)f(x)在点x0x_0x0可微，则f(x)f(x)f(x)在点x0x_0x0也一定可导，且A=f′(x0)A=f'(x_0)A=f′(x0)，反之，如果f(x)f(x)f(x)在点x0x_0x0可导，存在下式
lim⁡Δx→0ΔyΔx=f′(x0)\lim \limits_{Δx \to 0}\frac{Δy}{Δx}=f'(x_0)Δx→0limΔxΔy=f′(x0)
根据极限与无穷小的关系转化上式，当Δx→0Δx \to 0Δx→0时
ΔyΔx=f′(x0)+α\frac{Δy}{Δx}=f'(x_0)+\alphaΔxΔy=f′(x0)+α
其中lim⁡Δx→0a=0\lim \limits_{Δx \to 0}a=0Δx→0lima=0，即lim⁡Δx→0aΔxΔx=0\lim \limits_{Δx \to 0}\frac{aΔx}{Δx}=0Δx→0limΔxaΔx=0,aΔx=o(Δx)aΔx=o(Δx)aΔx=o(Δx)，上式转化为下式(又回到了微分的定义)
Δy=f′(x0)Δx+o(Δx)Δy=f'(x_0)Δx+o(Δx)Δy=f′(x0)Δx+o(Δx)
因此，函数f(x)f(x)f(x)在点x0x_0x0可微的充分必要条件是函数f(x)f(x)f(x)在点x0x_0x0可导
dy=f′(x0)Δx\mathrm{d}y=f'(x_0)Δxdy=f′(x0)Δx

偏导数

一元函数的变化率是导数，多元函数的自变量有多个，当某个自变量x变化而其它自变量固定时，这时候对变化的自变量x进行求导，就称为多元函数对于x的偏导数。
定义：设函数z=f(x,y)z=f(x,y)z=f(x,y)在点(x0,y0)(x_0,y_0)(x0,y0)的某一领域内有定义，当yyy固定于y0y_0y0，而xxx在x0x_0x0处有增量ΔxΔxΔx，相应的函数有增量
f(x0+Δx,y0)−f(x0,y0)f(x_0+Δx,y_0)-f(x_0,y_0)f(x0+Δx,y0)−f(x0,y0)
如果
lim⁡Δx→0f(x0+Δx,y0)−f(x0,y0)Δx\lim \limits_{Δx \to 0}\frac{f(x_0+Δx,y_0)-f(x_0,y_0)}{Δx}Δx→0limΔxf(x0+Δx,y0)−f(x0,y0)
存在，则称该极限为z=f(x,y)z=f(x,y)z=f(x,y)在点(x0,y0)(x_0,y_0)(x0,y0)处对xxx的偏导数

偏导数的几何意义

偏导数fx(x0,y0)f_{x} (x_{0},y_{0} )fx(x0,y0)就是曲面被平面y=y0y=y_{0}y=y0所截得的曲线在点M0M_{0}M0处的切线M0TxM_{0}T_{x}M0Tx对xxx轴的斜率
偏导数fy(x0,y0)f_{y} (x_{0},y_{0} )fy(x0,y0)就是曲面被平面x=x0x=x_{0}x=x0所截得的曲线在点M0M_{0}M0处的切线M0TyM_{0}T_{y}M0Ty对yyy轴的斜率

很多时候要考虑多元函数沿任意方向的变化率，那么就引出了方向导数

全微分

参考上文微分的定义，与一元函数的情形一样，希望用自变量增量Δx,ΔyΔx,ΔyΔx,Δy来线性函数来代替函数的全增量ΔzΔzΔz，从而减化计算
定义：设函数z=f(x,y)z=f(x,y)z=f(x,y)在点(x,y)(x,y)(x,y)的某领域内有定义如果函数在点(x,y)(x,y)(x,y)的全增量
Δz=f(x+Δx,y+Δy)−f(x,y)Δz=f(x+Δx,y+Δy)-f(x,y)Δz=f(x+Δx,y+Δy)−f(x,y)
可心表示为
Δz=AΔx+BΔy+o(ρ)Δz=AΔx+BΔy+o(\rho)Δz=AΔx+BΔy+o(ρ)
其中A,BA,BA,B不依赖于Δx,ΔyΔx,ΔyΔx,Δy，ρ=(Δx)2+(Δy)2\rho=\sqrt{(Δx)^2+(Δy)^2}ρ=(Δx)2+(Δy)2，则称函数z=f(x,y)z=f(x,y)z=f(x,y)在点(x,y)(x,y)(x,y)处可微分，而AΔx+BΔyAΔx+BΔyAΔx+BΔy称为函数在点(x,y)(x,y)(x,y)的全微分
dz=AΔx+BΔy\mathrm{d}z=AΔx+BΔydz=AΔx+BΔy

可微分与偏导数关系

基于上述全微分定义成立，存在某一点p′(x+Δx,y+Δy)p'(x+Δx,y+Δy)p′(x+Δx,y+Δy)对于式子Δz=AΔx+BΔy+o(ρ)Δz=AΔx+BΔy+o(\rho)Δz=AΔx+BΔy+o(ρ)也成立，当Δy=0Δy=0Δy=0时
f(Δx+x,y)−f(x,y)=AΔX+o(∣Δx∣)f(Δx+x,y)-f(x,y)=AΔX+o(|Δx|)f(Δx+x,y)−f(x,y)=AΔX+o(∣Δx∣)
两边除以ΔxΔxΔx并且令Δx→0Δx \to 0Δx→0取极限
lim⁡Δx→0f(x+Δx,y)−f(x,y)Δx=A\lim \limits_{Δx \to 0}\frac{f(x+Δx,y)-f(x,y)}{Δx}=AΔx→0limΔxf(x+Δx,y)−f(x,y)=A
这式子就是偏导数的定义形式啊，所以这说明了偏导数fx(x,y)f_x(x,y)fx(x,y)存在且等于AAA，同理也可证fy(x,y)=Bf_y(x,y)=Bfy(x,y)=B，由此推导出以下公式
dz=fx(x,y)Δx+fy(x,y)Δy\mathrm{d}z=f_x(x,y)Δx+f_y(x,y)Δydz=fx(x,y)Δx+fy(x,y)Δy

各偏导数的存在只是全微分存在的必要条件而非充分条件，即由全微分可证各偏导数存在，反之则不行

如果函数的各个偏数在点(x,y)(x,y)(x,y)是连续的，则函数可微分

方向导数

定义导数、偏导数、方向导数都是说如果说某条件下极限存在，谨记导数的本质是极限及代表函数的变化率，偏导数反映的是函数沿坐标轴方向的变化率，有所限制，所以引入方向导数表示沿任意一方向的变化率
定义：设lll是xOyxOyxOy平面以P0(x0,y0)P_0(x_0,y_0)P0(x0,y0)为始点的一条射线，ei=(cosα,cosβ)e_i=(cos\alpha,cos\beta)ei=(cosα,cosβ)是以射线同方向的单位向量

射线lll的参数方程为
{x=x0+tcosα，t≥0y=y0+tcosβ，t≥0\begin{cases}x=x_0+tcos\alpha ，t\geq0\\ y=y_0+tcos\beta，t\geq0 \end{cases}{x=x0+tcosα，t≥0y=y0+tcosβ，t≥0
如果函数增量f(x0+tcosα,y0+tcosβ)−f(x0,y0)f(x_0+tcos\alpha,y_0+tcos\beta)-f(x_0,y_0)f(x0+tcosα,y0+tcosβ)−f(x0,y0)与PPP到P0P_0P0的距离∣PP0∣=t|PP_0|=t∣PP0∣=t的比值，当点PPP沿着lll趋于P0(即t→0+)P_0(即t \to 0^+)P0(即t→0+)时极限存在，则称此极限为函数在点P0P_0P0沿方向lll的方向导数
∂f∂l∣(x0,y0)=lim⁡t→0+f(x0+tcosα,y0+tcosβ)−f(x0,y0)t\frac{\partial f}{\partial l}|_{(x_0,y_0)}=\lim \limits_{t \to 0^+}\frac{f(x_0+tcos\alpha,y_0+tcos\beta)-f(x_0,y_0)}{t}∂l∂f∣(x0,y0)=t→0+limtf(x0+tcosα,y0+tcosβ)−f(x0,y0)

方向导数与全微分的关系

由全微分的定义得到
f(x0+Δx,y0+Δy)−f(x0,y0)=fx(x0,y0)Δx+fy(x0,y0)Δy+o((Δx)2+(Δy)2)f(x_0+Δx,y_0+Δy)-f(x_0,y_0)=f_x(x_0,y_0)Δx+f_y(x_0,y_0)Δy+o(\sqrt{(Δx)^2+(Δy)^2})f(x0+Δx,y0+Δy)−f(x0,y0)=fx(x0,y0)Δx+fy(x0,y0)Δy+o((Δx)2+(Δy)2)
设点(x0+Δx,y0+Δy)(x_0+Δx,y_0+Δy)(x0+Δx,y0+Δy)在以(x0,y0)(x_0,y_0)(x0,y0)为起点的射线l(cosα,cosβ是l的方向余弦)l(cos\alpha,cos\beta是l的方向余弦)l(cosα,cosβ是l的方向余弦)上，则有Δx=tcosαΔx=tcos\alphaΔx=tcosα,Δy=tcosβΔy=tcos\betaΔy=tcosβ,(Δx)2+(Δy)2=t\sqrt{(Δx)^2+(Δy)^2}=t(Δx)2+(Δy)2=t，所以
lim⁡t→0+f(x0+Δx,y0+Δy)−f(x0,y0)t=fx(x0,y0)cosα+fy(x0,y0)cosβ\lim \limits_{t \to 0^+}\frac{f(x_0+Δx,y_0+Δy)-f(x_0,y_0)}{t}=f_x(x_0,y_0)cos\alpha+f_y(x_0,y_0)cos\betat→0+limtf(x0+Δx,y0+Δy)−f(x0,y0)=fx(x0,y0)cosα+fy(x0,y0)cosβ
上式左侧就是方向导数定义形式，极限存在即方向导数存在，且其值等于右式

由此得到定理，如果函数f(x,y)f(x,y)f(x,y)在点P0(x0,y0)P_0(x_0,y_0)P0(x0,y0)可微分，那么函数在该点沿任一方向lll的方向导数存在
∂f∂l∣(x0,y0)=fx(x0,y0)cosα+fy(x0,y0)cosβ\frac{\partial f}{\partial l}|_{(x_0,y_0)}=f_x(x_0,y_0)cos\alpha+f_y(x_0,y_0)cos\beta∂l∂f∣(x0,y0)=fx(x0,y0)cosα+fy(x0,y0)cosβ

梯度

在平面上确定某一点可能存在无数个方向导数，我们怎样找到其中一个方向导数来描述函数最大变化率？
定义：在二元函数的情形，设函数f(x,y)f(x,y)f(x,y)在平面区域D内具有一阶连续偏导数，对于每一点P0(x0,y0)∈DP_0(x_0,y_0)\in DP0(x0,y0)∈D，都可以给出一个向量
fx(x0,y0)i+fy(x0,y0)j或用坐标表示(fx(x0,y0),fy(x0,y0))f_x(x_0,y_0)i+f_y(x_0,y_0)j \quad 或用坐标表示 \quad (f_x(x_0,y_0),f_y(x_0,y_0))fx(x0,y0)i+fy(x0,y0)j或用坐标表示(fx(x0,y0),fy(x0,y0))
其中i,ji,ji,j为x,yx,yx,y轴的方向向量，上述微量称为函数f(x,y)f(x,y)f(x,y)在点P0(x0,y0)P_0(x_0,y_0)P0(x0,y0)的梯度记作
gradf(x0,y0)=fx(x0,y0)i+fy(x0,y0)jgradf(x_0,y_0)=f_x(x_0,y_0)i+f_y(x_0,y_0)jgradf(x0,y0)=fx(x0,y0)i+fy(x0,y0)j
由定义看到，梯度的方向是确定的，如果点PPP的坐标确定，那么梯度也大小也确定

如果函数f(x,y)f(x,y)f(x,y)在点P0(x0,y0)P_0(x_0,y_0)P0(x0,y0)可微分，el=(cosα,cosβ)e_l=(cos\alpha,cos\beta)el=(cosα,cosβ)是方向lll的方向向量(方向未确定)
∂f∂l∣(x0,y0)=fx(x0,y0)cosα+fy(x0,y0)cosβ=gradf(x0,y0).el=∣gradf(x0,y0)∣cosθ\frac{\partial f}{\partial l}|_{(x_0,y_0)}=f_x(x_0,y_0)cos\alpha+f_y(x_0,y_0)cos\beta=grad\ f(x_0,y_0).e_l=|grad\ f(x_0,y_0)|cos\theta∂l∂f∣(x0,y0)=fx(x0,y0)cosα+fy(x0,y0)cosβ=grad f(x0,y0).el=∣grad f(x0,y0)∣cosθ
其中θ\thetaθ为向量gradf(x0,y0){grad\ f(x_0,y_0)}grad f(x0,y0)与向量ele_lel的夹角，当θ=0\theta=0θ=0时，即方向ele_lel与梯度gradf(x0,y0){grad\ f(x_0,y_0)}grad f(x0,y0)的方向时，函数f(x,y)f(x,y)f(x,y)增加最快，函数在这个方向的方向导数达到最大值，这个值就是梯度gradf(x0,y0){grad\ f(x_0,y_0)}grad f(x0,y0)的模，即
∂f∂l∣(x0,y0)=∣gradf(x0,y0)∣\frac{\partial f}{\partial l}|_{(x_0,y_0)}=|grad \ f(x_0,y_0)|∂l∂f∣(x0,y0)=∣grad f(x0,y0)∣

所以可以用沿梯度方向的方向导数来描述是函数最大变化率，即梯度方向是函数变化率最大的方向，在梯度定义的时候就已经赋予了它这个特性。