多元函数的二阶泰勒展开推导

两个函数源自同一点，只要在这一点处，外延的所有变化都一致，那么这两个函数就是重合的。如何刻画这种外延的变化?

多元函数受多个变量的影响，变量的变化造成函数值的变化，因此，只要变量的变化对函数值的影响一致，那么两个源自同一点的函数就完全一样。变量的变化对函数值的影响，是多重多阶的，因此，要使得两个函数一致，就要保证这种影响在任何阶任意维度都是一致的。基于此，两个源自某处的任意阶可导函数，只要在此处的任意变量任意阶任意重导数相等，那么两个函数就完全重合。这种思想对于一元函数，自然可以得到泰勒在此处展开的多项式形式。本文将讲解一下如何推导得到多元函数的二阶展开。

不失一般性，这里假设多元函数为二元函数 $f=F(x,y)$ ，计算在点 $(a,b)$ 处的展开。基于上述思想，展开的近似函数，都重合于展开点 $(a,b)$ ，一阶偏导必须相等，故一阶展开可以得到如下形式：

$F(x,y)=F(a,b)+F_{x}(x-a)+F_{y}(y-b)+o(\Delta )$

上述形式的一阶偏导等号两边显然是相等的，下面继续推导二阶展开。

对于二阶展开的推导，最关键的是要明确以下四个项相等：

$F_{xx},F_{yy},F_{xy},F_{yx}$

很多人可能会忽略掉 $F_{xy},F_{yx}$ 。这里为什么同时要考虑这两项，是因为变量x,y的变化，在二阶的角度，同时也会影响到一阶的 $F_{x},F_{y}$ ，因此如果忽略上述两项，没有保证这两项相等，那么随着领域变大，累计的变化会使得 $F_{x},F_{y}$ 发生偏离，不再相等，从而函数值也会随之发生偏离，不再相等。所以，这里在对下一阶进行展开的时候，要考虑的是变量变化对当前阶所有因子的影响要相等。

从一元函数的角度，如果将函数图像理解成时间位移区间，那么两个函数曲线一致，意味着某一点开始，其速度要相等、速度的变化程度（加速度）要相等、加速度的变化程度（加速度的加速度）要相等...，这样就意味着两种位移是完全一致的，而这实际上就对应着各阶导数。同样的，对于多元函数，各个变量的一阶偏导相等、各个变量的一阶偏导随着变量变化的程度（一阶偏导的梯度）相等、一阶偏导梯度中各个分量的梯度相等...，以此递归。

因此，对于上述二元函数，在二阶展开时，要让各个变量的一阶偏导的梯度相等，因为 $F_{x}$ 的梯度是 $(F_{xx},F_{xy})$ ， $F_{y}$ 的梯度是 $(F_{yx},F_{yy})$ ，所以得到上述的四项，等号两边需要相等，基于此推导各项系数，得到如下二阶展开：

$F(x,y)=F(a,b)+F_{x}(x-a)+F_{y}(y-b)+\frac{1}{2}F_{xx}(x-a)^{2}+\frac{1}{2}F_{yy}(y-b)^{2}+\frac{1}{2}F_{xy}(x-a)(y-b)+\frac{1}{2}F_{yx}(x-a)(y-b)+o(\Delta ^{2})=F(a,b)+F_{x}(x-a)+F_{y}(y-b)+\frac{1}{2}\begin{pmatrix} x-a\\ y-b \end{pmatrix}\begin{pmatrix} F_{xx} & F_{xy}\\ F_{yx}& F_{yy} \end{pmatrix}\begin{pmatrix} x-a & y-b \end{pmatrix}+o(\Delta ^{2})=F(a,b)+F_{x}(x-a)+F_{y}(y-b)+\frac{1}{2}\begin{pmatrix} x-a\\ y-b \end{pmatrix}H\begin{pmatrix} x-a & y-b \end{pmatrix}+o(\Delta ^{2})$

要强调一下的是，这里各项偏导都是在点（a,b）处的偏导，因此是常数。上述H矩阵实际上就是海森矩阵（Hessian Matrix）。

如果我们想进一步三阶展开，那么就需要考虑 $F_{xx},F_{yy},F_{xy},F_{yx}$ 这四项的梯度，便会在三阶展开中增加8项，以此类推，n阶展开就相比n-1阶多出2^n项。因此，对于多元函数的泰勒展开，是相当复杂的，很多问题一般我们展开到二阶就足够了。

基于此展开，我们看到展开项中有H矩阵。我们一般利用H矩阵的正（负）定性判断极小（大）值点的原有，从这里的展开就很自然了。因为当H为正定时，那么展开处的邻域都是更大的值，反之就是极小值点。如果H为0，那么无法判断，需要更高阶展开进行判断，或者既不是正定也不是负定（鞍点），那么就不是极小值点也不是极大值点。

多元函数的二阶泰勒展开推导相关推荐

基尼系数计算和xgboost二阶泰勒展开推导
查了点资料,做个笔记: 在CART中用: 2.我们常见的表达式都是 1 + 2 * 3 - 5/6 这种,称为中缀(运算符在操作数之间) 前缀表达式又叫波兰表达式,后缀表达式又叫逆波兰表达式后缀表 ...
机器学习基石作业03：二阶泰勒展开，特征转换，逻辑回归
本文总结机器学习基石的第三次作业,主要包括误差函数.特征转换.二阶泰勒展开,以及线性回归,逻辑回归的实现. 问题1和问题2:关于线性回归问题中 E i n E_{in} Ein和 E o u t E ...
对一阶二阶低通滤波器推导，并用IMU数据验证算法效果
文章背景一直想学习一下数字信号处理算法,而不是每次遇到数据处理就求平均,求最值,看容差,做滑动窗... 数字信号处理算法已经很成熟了,但网上大部分还是用matlab跑仿真,设计几个不同频率的sin信 ...
GBDT与xgb区别，以及梯度下降法和牛顿法的数学推导
为什么要介绍梯度下降法和牛顿法那? 这里提及两个算法模型GBDT和XGBoost,两个都是boosting模型. GBDT和xgb的目标函数是不同的,同时针对其目标函数中的误差函数 L(θ) 的拟合方 ...
深入理解XGBoost，优缺点分析，原理推导及工程实现
本文的主要内容概览: 1. XGBoost简介 XGBoost的全称是eXtreme Gradient Boosting,它是经过优化的分布式梯度提升库,旨在高效.灵活且可移植.XGBoost是大规模 ...
xgboost实例_XGBoost超详细推导，终于有人讲明白了！
- XGB中树结点分裂的依据是什么? - 如何计算树节点的权值? - 为防止过拟合,XGB做了哪些改进? 相信看到这篇文章的各位对XGBoost都不陌生,的确,XGBoost不仅是各大数据科学比赛的必 ...
矩阵求多元函数的通解_Hessian矩阵
黑塞矩阵(Hessian Matrix),是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率.黑塞矩阵常用于牛顿法解决优化问题,利用黑塞矩阵可判定多元函数的极值问题.在工程实际问题的优化设计中 ...
图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导
文章目录 1. 为什么会出现图卷积神经网络? 2. 图卷积网络的两种理解方式 2.1 vertex domain(spatial domain):顶点域(空间域) 2.2 spectral domai ...
VINS-Mono之后端非线性优化 (目标函数中视觉残差和IMU残差，及其对状态量的雅克比矩阵、协方差递推方程的推导)
文章目录 1. 前言 2. 非线性最小二乘 2.1 Guass-Newton 和 Levenberg-Marquardt 2.2 鲁棒核函数下状态量增量方程的构建 3. 局部Bundle Adjust ...

多元函数的二阶泰勒展开推导

多元函数的二阶泰勒展开推导相关推荐

最新文章

热门文章