1.梯度方向是函数增加最快的方向

2.负梯度方向是函数减小最快的方向

3.与梯度正交的方向函数的变化率为零

4.梯度为0只是函数取极值的必要条件而不是充分条件，即梯度为0的点可能不是极值点

5.泰勒展开用多项式去逼近其他函数，本质是用线性的多项式去逼近一些非线性函数

6.泰勒展开用于近似值的计算，包含皮亚诺余项泰勒展开和拉格朗日余项泰勒展开两种

10月中旬的周日，微风习习，昨天写AdaBoost算法耗费了非一般的脑力，今天就复习一下大学微积分基础的知识点，也为后面写GBDT算法铺个垫。今天就复习三个知识点：无穷小、梯度向量和泰勒展开

为此，从函数连续性与导数说起。

函数连续性、无穷小和导数

定义1：函数连续性

设函数y=f(x)在点x0的某一邻域内有定义，如果

那么就称y=f(x)在点x0连续

注：“不连续”是不能同时满足连续的三个条件：

1、函数在该点处没有定义；

2、若函数在该点有定义，但函数在该点附近的极限不存在；

3、虽然函数在该点处有定义，极限也存在，但是二者不相等

定义2：无穷小

定义3：导数与偏导数

对函数y=f(x),在点x=x0处给自变量x以增量∆x，函数y相应有增量∆y=f(x0+∆x)-f(x0).若极限

存在，则此极限称为f(x)在点x0处的导数，也称f(x)在点x0处的可导，记作：

注：如果f(x)在区间（a,b)内的每点处都有导数，对于每个点都有一个确定的导数，从而构成一个新的函数，这个函数称为f(x)在区间(a,b)的导函数，记作

设函数z=f(x,y)在点P0(x0,y0)的某一邻域内有定义，当y固定为y0，而x从x0改变到x0+Δx(Δx≠0)时，如果极限

存在， 则称此极限值为函数z=f(x,y)在点(x0,y0)处对x的偏导数，记作

梯度向量

定义4：方向导数

设二元函数z=f(x,y)在点(x0,y0)的某邻域内有定义，其中向量u对应的单位向量为uo=(cosα,cosβ)，其中α,β为向量u的方向角，则当极限

存在时， 则称该极限为函数z=f(x,y)在点(x0,y0)处沿方向u的方向导数，记作

定义5：可微与全微分

设函数z=f(x,y)在点P0(x0,y0)的某邻域U(P0)上有定义，对于U(P0)中的点P(x,y)=(x0+∆x,y0+∆y),若函数f在点P0处的全增量∆z可表示为

则称函数f在点P0可微。并称关于∆x，∆y的线性函数A∆x+B∆y为函数f在点P0 的全微分，记作

定理：设函数f(x,y)在点P(x0,y0)可微，那么函数在该点沿任意方向向量u的方向导数都存在，且有

其中cosα,cosβ为向量u的方向余弦

一般地，当f(x,y)可微时，有：

定义6：梯度向量

如果函数f(x,y)在点 P(x,y)可微，定义梯度：

梯度向量具备以下性质（重要）：

• 方向导数是梯度向量在u方向上的投影

• 梯度方向是函数增加最快的方向

• 负梯度方向是函数减小最快的方向

• 与梯度正交的方向函数的变化率为零

• 梯度为0只是函数取极值的必要条件而不是充分条件，即梯度为0的点可能不是极值点

泰勒展开

• 泰勒展开用多项式去逼近其他函数，其实就是用线性的多项式去逼近一些非线性函数

• 泰勒展开用于近似值的计算

假设某个函数f(x)是无穷阶可微的，利用多项式去逼近f(x)，不妨考虑x=0处，有：

于是得到

接着考虑二次项

利用洛必达法则可得

重复上述过程，归纳得到：

换元后得到皮亚诺余项泰勒展开：

如果x与x0相差较大时，则得到拉格朗日余项泰勒展开：

参考资料：

《数学分析（复旦大学数学系）》