导数是人工智能、神经网络的基础，正向传播、反向传播无不依赖于导数，导数也是高数的基础，本文算是一个半学习半理解加非科班的学习过程吧

导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f'(x0)或df(x0)/dx。

导数是变化率、是切线的斜率、是速度、是加速度

导数的本质是通过极限的概念对函数进行局部的线性逼近，从这个意义上讲是瞬时速度。

假设一辆车匀速前进，每小时时速为60公里，关于距离(y)、时速(常量60)和时间(x)的关系即y=f(x)=60*x

瞬间增量为 Δy=f(x0+Δx)-f(x0)

计算在某时刻的瞬间速度为f'(x0)=lim[Δx->0]Δy/Δx=lim[Δx->0](f(x0+Δx)-f(x0))/Δx=(60*(x0+Δx)-60*x0)/Δx=60

自由落体的公式是h=1/2gt^2(g为重力加速度，g=9.8m/s2)，求某个时刻的速度，关于距离(y)、重力加速度(常量9.8)和时间(x)的关系即y=f(x)=1/2*9.8*x^2

瞬间增量为 Δy=f(x0+Δx)-f(x0)

计算在某时刻的瞬间速度为f'(x0)=lim[Δx->0]Δy/Δx=lim[Δx->0](f(x0+Δx)-f(x0))/Δx=(1/2*9.8*(x+Δx)^2-1/2*9.8*x^2)/Δx=4.9*(Δx^2+2Δx)/Δx=4.9Δx+9.8=9.8

f'(x)=lim[Δx->0](f(x0+Δx)-f(x0))/Δx=lim[Δx->0](f(x)-f(x-Δx))/Δx=lim[x->x0])(f(x)-f(x0))/(x-x0)

这个瞬间速度即导数也就是切线斜率，换成公式f'(x0)=(f(x)-f(x0))/(x-x0)

设曲线方程为y=f(x)，曲线上某点为(a，f(a))，其切线方程应为 y=f'(a)(x-a)+f(a)

f'(x)=lim[Δx->0](f(x0+Δx)-f(x0))/Δx 表示为Δx无限接近0时的接近的值

导数的性质：

加法性质：{f(x)+g(x)}'=f'(x)+g'(x)

常量性质：{Cf(x)}'=Cf'(x)

除法性质：{1/f(x)}'=f'(x)/{f(x)}^2

当函数f(x)在x=a处取得最小值时，f'(a)=0，f'(a)=0是函数f(x)在x=a处取得最小值的必要条件

f'(x)<0，f(x)单调递减；f'(x)>0，f(x)单调递增

多变量函数

z=f(x,y)，只看变量x，将y当作常数求导，即为关于x的偏导数

∂z/∂x=∂f(x,y)/∂x=lim[Δx=0](f(x+Δx,y)-f(x,y))/Δx

∂z/∂y=∂f(x,y)/∂y=lim[Δy=0](f(x,y+Δy)-f(x,y))/Δy

当z=wx+b

∂z/∂x=w,∂z/∂w=x,∂z/∂b=1

当z=w1x1+w2y2+b1，对x1,w2,b1求偏导

∂z/∂x1=w1

∂z/∂w2=x2

∂z/∂b1=1

当f(x,y)=3x^2+4y^2

∂z/∂x=∂f(x,y)/∂x=6x

∂z/∂y=∂f(x,y)/∂y=8y

多变量函数的最小值求法，拉格朗日乘数法

a+b=1，求1/a+4/b的最小值

z=f(a,b)=1/a+4/b

Φ(a,b)=a+b-1=0

F(a,b,λ)=f(x,y)+λΦ(x,y)=1/a+4/b+λ(a+b-1)

对a,b求导

F‘a(a,b,λ)=∂f(a,b,λ)/∂a=-1/a^2+λ=0

F‘b(a,b,λ)=∂f(a,b,λ)/∂b=-4/b^2+λ=0

Φ(a,b)=a+b-1=0

求解

λ=1/a^2=4/b^2

b=2a

a+b-1=0

a=1/3,b=2/3

zmin=f(1/3,2/3)=9

即约束条件构造为Φ函数，求解函数构造为f函数

构造F函数=f(x,y)+λΦ(x,y)

对F函数分别求偏导，配合约束条件，构成联立方程组，求x,y值

将x,y值带入求解方程即为最小值

复合函数求导

y=f(u),u=g(x)

dy/dx=(dy/du)*(du/dx)

y=f(u),u=g(v),v=z(x)

dy/dx=(dy/du)*(du/dv)*(dv/dx)

多变量复合函数求导

z=f(u,v),u=g(x,y),v=z(x,y)

∂z/∂x=(∂z/∂u)*(∂u/∂x)+(∂z/∂v)*(∂v/∂x)

∂z/∂y=(∂z/∂u)*(∂u/∂y)+(∂z/∂v)*(∂v/∂y)

例C=u^2+v^2,u=ax+by,v=px+qy(a,b,p,q为常数)

∂C/∂x=(∂C/∂u)*(∂u/∂x)+(∂C/∂v)*(∂v/∂x)=2ua+2vp=2a(ax+by)+2p(px+qy)

∂C/∂y=(∂C/∂u)*(∂u/∂y)+(∂C/∂v)*(∂v/∂y)=2ub+2vq=2b(ax+by)+2q(px+qy)

例C=u^2+v^2+w^2,u=a1x+b1y+c1z,v=a2x+b2y+c2z,w=a3x+b3y+c3z(ai,bi,ci为常数)

∂C/∂x=(∂C/∂u)*(∂u/∂x)+(∂C/∂v)*(∂v/∂x)+∂C/∂w)*(∂w/∂x)

=2u*a1+2v*a2+2w*a3

=2(a1x+b1y+c1z)*a1+2(a2x+b2y+c2z)*a2+2(a3x+b3y+c3z)*a3

导数是用来找到“线性近似”的数学工具

单变量函数的近似值

f'(x)=im[Δx=0](f(x+Δx,y)-f(x,y))/Δx≈(f(x+Δx)-f(x))/Δx

f(x+Δx)≈f(x)+f'(x)Δx

例：f(x)=e^x，求x=0的近似公式

e^(x+Δx)=e^x+e^x*Δx

x=0,将Δx=x

e^x=1+x

导数是线性变换

多变量函数的近似值

f(x+Δx,y+Δy)≈f(x,y)+∂f(x,y)/∂x*Δx+∂f(x,y)/∂y*Δy

令Δz=f(x+Δx,y+Δy)-f(x,y)

Δz≈∂f(x,y)/∂x*Δx+∂f(x,y)/∂y*Δy≈∂z/∂x*Δx+∂z/∂y*Δy

再多变量时Δz≈∂z/∂x*Δx+∂z/∂y*Δy+∂z/∂w*Δw

令∇z=(∂z/∂w,∂z/∂x,∂z/∂y),Δx=(Δw,Δx,Δy)

Δz=∇z*Δx=(∂z/∂w,∂z/∂x,∂z/∂y)*(Δw,Δx,Δy)