最优化学习笔记(五)——牛顿法（多维数据）

在最优化学习系列中，第一次就说的是牛顿法，但是那是在一维搜索上的，它其实就是将函数ff在xx处利用泰勒公式展开，得到它的近似函数，进而求解最小值。本节内容主要说明牛顿法在多维数据上的迭代公式。最优化学习笔记中讲到的最速下降法是一种速度比较快的优化方法，但是最速下降法只用到了函数的一阶导数，这种方法并不总是最高效的。而这里说的牛顿法用到了二阶导数，它的效率可能比最速下降法更优。
当目标函数f:Rn→Rf: \mathbb{R^n} \to \mathbb{R}上二阶连续可微时，将函数ff在x(k)x^{(k)}处进行泰勒展开，并且不考虑三阶及以上的项，那么可得到函数ff的二阶近似项：

f(x)≈f(x(k))+(x−x(k))Tg(k)+12(x−x(k))TF(x(k))(x−x(k))=q(x)

f(\boldsymbol{x}) \approx f(\boldsymbol{x}^{(k)}) + (\boldsymbol{x-{x}^{(k)}})^T\boldsymbol{g}^{(k)}+\frac{1}{2}(\boldsymbol{x-{x}^{(k)}})^T\boldsymbol{F(x^{(k)})}(\boldsymbol{x-{x}^{(k)}}) = q(\boldsymbol{x})
其中，g(k)=∇f(x(k)),F(x(k))\boldsymbol{g}^{(k)} = \nabla f(\boldsymbol{x}^{(k)}), \boldsymbol{F(x^{(k)})}是f(x(k))f(\boldsymbol{x}^{(k)})黑塞矩阵，将q应用局部极小点的一届必要条件：

0=∇q(x)=g(k)+F(x(k))(x−x(k))

\boldsymbol{0} = \nabla q(\boldsymbol{x}) =\boldsymbol{g}^{(k)} + \boldsymbol{F(x^{(k)})}(\boldsymbol{x-{x}^{(k)}})
如果 F(x(k))>0\boldsymbol{F(x^{(k)})} > 0, 则函数 qq的极小值点为：

x(k+1)=x(k)−F(x(k))−1g(k)

\boldsymbol{x}^{(k+1)} = \boldsymbol{x}^{(k)} -\boldsymbol{F(x^{(k)})} ^{-1}\boldsymbol{g}^{(k)}

需要说明的是，在上述过程中，需要求解一个n<script type="math/tex" id="MathJax-Element-3483">n</script>维的线性齐次方程组，这对效率很有影响，应该设计一个更为高效的方法。如果黑塞矩阵是非正定的，那么牛顿法也将存在问题，后边也将会针对问题提出相应的修正方法。

最优化学习笔记(五)——牛顿法（多维数据）相关推荐

2021-09-01 学习笔记：Python爬虫、数据可视化
2021-09-01 学习笔记:Python爬虫.数据可视化结于2021-09-07: 内容来自成都工业大学数字媒体专业实训: 主要内容: PyCharm开发Python脚本的基础配置: Pyt ...
python函数是一段具有特定功能的语句组_Python学习笔记(五)函数和代码复用
本文将为您描述Python学习笔记(五)函数和代码复用,具体完成步骤: 函数能提高应用的模块性,和代码的重复利用率.在很多高级语言中,都可以使用函数实现多种功能.在之前的学习中,相信你已经知道Pyth ...
tensorflow学习笔记——使用TensorFlow操作MNIST数据（1）
续集请点击我:tensorflow学习笔记--使用TensorFlow操作MNIST数据(2) 本节开始学习使用tensorflow教程,当然从最简单的MNIST开始.这怎么说呢,就好比编程入门有He ...
吴恩达《机器学习》学习笔记五——逻辑回归
吴恩达<机器学习>学习笔记五--逻辑回归一. 分类(classification) 1.定义 2.阈值二. 逻辑(logistic)回归假设函数 1.假设的表达式 2.假设表达式的意义 ...
ROS学习笔记五：理解ROS topics
ROS学习笔记五:理解ROS topics 本节主要介绍ROS topics并且使用rostopic和rqt_plot命令行工具. 例子展示 roscore 首先运行roscore系列服务,这是使用R ...
Vue.js 学习笔记六 v-model 双向绑定数据
之前说的v-bind指令,可以绑定数据,但是是单向的,从model向view绑定,下面介绍v-model,可以双向绑定数据 <div id="divApp"><p ...
Python学习笔记五：控制语句
Python学习笔记五:控制语句 Pycharm 开发环境的下载安装配置_项目管理控制语句 Pycharm 开发环境的使用 Pycharm 下载和安装激活和选择不同UI 风格创建项目和初始化配置 ...
motan学习笔记五 opentracing学习入门
motan学习笔记一微博轻量级RPC框架Motan motan学习笔记二 motan架构分析 motan学习笔记三 motan Demo 分析 motan学习笔记四 motan Demo 之 ...
哈工大操作系统学习笔记五——内核级线程实现
哈工大os学习笔记五(内核级线程实现) 文章目录哈工大os学习笔记五(内核级线程实现) 一. 中断入口.中断出口(前后两段) 1. 从int中断进入内核(中断入口第一段) 2.中断出口(最后一段) ...

最优化学习笔记(五)——牛顿法（多维数据）

最优化学习笔记(五)——牛顿法（多维数据）相关推荐

最新文章

热门文章