机器学习数学基础之微分

导数

定义

f(x)f(x)f(x)在x0x_0x0附近有定义，且存在极限lim⁡x→x0f(x)−f(x0)x−x0=L\lim_{x\rightarrow x_0}{{f(x)-f(x_0)}\over {x-x_0}}=Lx→x0limx−x0f(x)−f(x0)=L
那么f(x)f(x)f(x)在x0x_0x0处可导，导数f′(x)=Lf^\prime(x)=Lf′(x)=L。

用无穷小量表述：线性逼近

如果存在实数LLL,使得f(x)=f(x0)+L(x−x0)+o(x−x0),x→x0f(x)=f(x_0)+L(x-x_0)+o(x-x_0),x\rightarrow x_0f(x)=f(x0)+L(x−x0)+o(x−x0),x→x0
那么f(x)f(x)f(x)在x0x_0x0处可导，导数f′(x0)=Lf^\prime(x_0)=Lf′(x0)=L。
思想重点：在x0x_0x0附近，可以用f(x0)+L(x−x0)f(x_0)+L(x-x_0)f(x0)+L(x−x0)的线性函数表示，其误差为o(x−x0)o(x-x_0)o(x−x0),当xxx越接近于x0x_0x0时，误差就很小很小。

多元函数微分

假设多元函数f(x,y)f(x,y)f(x,y)是无穷可微，存在LxL_xLx和LyL_yLy,使得
f(x，y)=f(x0,y0)+Lx(x−x0)+Ly(y−y0)+o(∣x−x0∣+∣y−y0∣),x→x0,y→y0f(x，y)=f(x_0,y_0)+L_x(x-x_0)+L_y(y-y_0)+o(|x-x_0|+|y-y_0|),x\rightarrow x_0,y\rightarrow y_0f(x，y)=f(x0,y0)+Lx(x−x0)+Ly(y−y0)+o(∣x−x0∣+∣y−y0∣),x→x0,y→y0
即用线性函数对f(x,y)f(x,y)f(x,y)在(x0,y0)(x_0,y_0)(x0,y0)附近进行逼近，其中LxL_xLx和LyL_yLy分别为函数在(x0,y0)(x_0,y_0)(x0,y0)处对xxx和yyy的偏导数。
更为准确的逼近，可以用二阶偏导数和二次函数进行逼近，
f(x，y)=f(x0,y0)+Lx(x−x0)+Ly(y−y0)+LxLy(x−x0)(y−y0)+12Lx2(x−x0)2+12Ly2(y−y0)2+o(∣x−x0∣2+∣y−y0∣2),x→x0,y→y0f(x，y)=f(x_0,y_0)+L_x(x-x_0)+L_y(y-y_0)+L_xL_y(x-x_0)(y-y_0)+{1\over 2}L_{x^2}(x-x_0)^2+{1\over 2}L_{y^2}(y-y_0)^2+o(|x-x_0|^2+|y-y_0|^2),x\rightarrow x_0,y\rightarrow y_0f(x，y)=f(x0,y0)+Lx(x−x0)+Ly(y−y0)+LxLy(x−x0)(y−y0)+21Lx2(x−x0)2+21Ly2(y−y0)2+o(∣x−x0∣2+∣y−y0∣2),x→x0,y→y0
其中LxL_xLx,LyL_yLy,Lx2L_{x^2}Lx2,Ly2L_{y^2}Ly2,分别为函数的一阶和二阶偏导数。
微分的核心思想：就是用简单的线性函数去拟合复杂函数在某一点的函数，当复杂函数的一阶导函数也很复杂时，就继续研究其二阶导，如此往下，用到高阶导数。

泰勒级数

假设f(x)f(x)f(x)无穷可微（在实际工程应用中，都认为是这样的，基本都可以认为研究的函数都是满足条件），则在某一点处x0x_0x0附近，可以用一个多项式来近似表示。
f(x)=f(x0)+f′(x0)(x−x0)+12!f(2)(x−x0)2+⋯+1n!f(n)(x−x0)n+o((x−x0)n)f(x)=f(x_0)+f^\prime(x_0)(x-x_0)+{1\over 2!}f^{(2)}(x-x_0)^2+\cdots+{1\over n!}f^{(n)}(x-x_0)^n+o((x-x_0)^n)f(x)=f(x0)+f′(x0)(x−x0)+2!1f(2)(x−x0)2+⋯+n!1f(n)(x−x0)n+o((x−x0)n)
注意：只在x0x_0x0附近可以用此公式近似，不是对整个函数做近似。目的就是为了将复杂的函数用简单的多相似表示，方便研究。
当在0附近展开，即x0=0x_0=0x0=0时，就变成麦克劳林级数，
f(x)=f(0)+f′(0)x+12!f(2)x2+⋯+1n!f(n)xn+o(xn)f(x)=f(0)+f^\prime(0)x+{1\over 2!}f^{(2)}x^2+\cdots+{1\over n!}f^{(n)}x^n+o(x^n)f(x)=f(0)+f′(0)x+2!1f(2)x2+⋯+n!1f(n)xn+o(xn)
麦克劳林级数简单点，一般情况下将函数展开成麦克劳林级数。