漫步最优化四十三—

从相距千里，\textbf{从相距千里，}
到心与心的碰撞，\textbf{到心与心的碰撞，}
情感是一种随机，\textbf{情感是一种随机，}
也是一种必然。\textbf{也是一种必然。}
从一个人到两个人，\textbf{从一个人到两个人，}
我们感受到了很多，\textbf{我们感受到了很多，}
学到了很多，\textbf{学到了很多，}
就像一个刚出生的婴儿，\textbf{就像一个刚出生的婴儿，}
未来等着我们去共同探索。\textbf{未来等着我们去共同探索。}
——畅宝宝的傻逼哥哥\quad\textbf{——畅宝宝的傻逼哥哥}
对于前面文章介绍的多维优化法，我们都是用共轭方向集合来解决最小值的搜索，这些方法 (像Fletch-Reeves与Powell法)最重要的特征就是不需要f(x)f(\mathbf{x})二阶导的显式表达，还有一类不需要二阶导显式表达的方法：拟牛顿法，有时候称为变尺度法。

人如其名，这类方法的基础就是之前介绍的牛顿法，拟牛顿法的基本原则是搜索的方向基于n×nn\times n的方向矩阵S\mathbf{S}，功能就像牛顿法中的逆矩阵。这个矩阵从可得到的数据中产生，作为H−1\mathbf{H}^{-1}的近似，更进一步，随着迭代数的增长，S\mathbf{S}会满满变成H−1\mathbf{H}^{-1}的精确表示，对于凸二次目标函数，在n+1n+1次迭代时等于H−1\mathbf{H}^{-1}。

拟牛顿法与其他方法一样，也是来于凸二次问题，然后扩展到一般的情况，因为拟牛顿法是目前方法中最有效的，所以在数值应用上使用最广泛。

最近几年已经发展出了许多不同的拟牛顿法，接下里介绍四种最重要的拟牛顿法：

Rank-one法
Davidon-Fletcher-Powell法
Broyden-Fletcher-Goldfarb-Shanno法
Fletcher法

然后还会讨论几个可替换的方法以及两个有趣的推广，其中一个由Broyden发明，另一个由Huang发明。

漫步最优化四十三——拟牛顿法相关推荐

漫步最优化四十四——基本拟牛顿法
你走进了我的视觉,\textbf{你走进了我的视觉,} 我开始发现,\textbf{我开始发现,} 心里有个角落,\textbf{心里有个角落,} 一直在等你出现.\textbf{一直在等你出现.} ...
漫步最优化四十二——Partan法
漆黑的冷空中有你,\textbf{漆黑的冷空中有你,} 惺忪的眼睛中有你,\textbf{惺忪的眼睛中有你,} 心底的记忆中有你,\textbf{心底的记忆中有你,} 你留在我的脑海中,\textbf ...
漫步最优化二十三——一维优化
你的每一句话,回荡在耳边:\textbf{你的每一句话,回荡在耳边:} 你闪动的双眼,徘徊在脑海.\textbf{你闪动的双眼,徘徊在脑海.} 好像告诉你,\textbf{好像告诉你,} 天天在想你. ...
漫步最优化四十五——矩阵S的生成
想赖着你每一天,\textbf{想赖着你每一天,} 耽误多一秒都不愿意.\textbf{耽误多一秒都不愿意.} 想把你捧在手心,\textbf{想把你捧在手心,} 给你我最奢侈的温柔.\textbf{ ...
漫步最优化四十一——Powell法(下)
四季交替,\textbf{四季交替,} 光阴推动了变更,\textbf{光阴推动了变更,} 但你一直印在我心.\textbf{但你一直印在我心.} 遇见你的那天,\textbf{遇见你的那天,} 心似 ...
漫步最优化四十——Powell法(上)
平凡无所谓,\textbf{平凡无所谓,} 平淡无所谓,\textbf{平淡无所谓,} 但求每天早晨能望见你,\textbf{但求每天早晨能望见你,} 这已经足够满足.\textbf{这已经足够满足. ...
漫步最优化三十三——牛顿法
自从有了你,\textbf{自从有了你,} 绝望与无奈远走高飞.\textbf{绝望与无奈远走高飞.} 自从有了你,\textbf{自从有了你,} 我的世界不再天灰灰.\textbf{我的世界不再天灰 ...
漫步最优化四——约束
你从天而降的那刻起,我的世界变得难以言喻.\textbf{你从天而降的那刻起,我的世界变得难以言喻.} 从陌生到熟悉,我从来没有奢望过爱情的到来.\textbf{从陌生到熟悉,我从来没有奢望过爱情的到 ...
OpenCV学习笔记（四十一）——再看基础数据结构core OpenCV学习笔记（四十二）——Mat数据操作之普通青年、文艺青年、暴力青年 OpenCV学习笔记（四十三）——存取像素值操作汇总co
OpenCV学习笔记(四十一)--再看基础数据结构core 记得我在OpenCV学习笔记(四)--新版本的数据结构core里面讲过新版本的数据结构了,可是我再看这部分的时候,我发现我当时实在是看得太马 ...

漫步最优化四十三——拟牛顿法

漫步最优化四十三——拟牛顿法相关推荐

最新文章

热门文章