漫步最优化三十八——非二次函数最小化

你独一无二的声音，\textbf{你独一无二的声音，}
穿越了繁杂喧嚣，\textbf{穿越了繁杂喧嚣，}
回荡在我的脑中。\textbf{回荡在我的脑中。}
你独一无二的声音，\textbf{你独一无二的声音，}
如一根漂亮的丝线，\textbf{如一根漂亮的丝线，}
牵引着我的内心。\textbf{牵引着我的内心。}
你独一无二的声音，\textbf{你独一无二的声音，}
唱出了真实的你，\textbf{唱出了真实的你，}
成为我心中的一首歌，\textbf{成为我心中的一首歌，}
You are the music in me.\textbf{You are the music in me.}
——畅宝宝的傻逼哥哥\qquad\textbf{——畅宝宝的傻逼哥哥}

与牛顿法一样，共轭方向法也是来自于凸二次问题，但是既能用于二次问题也能用于非二次问题。基本的假设是在不断的迭代过程中，目标函数一直在减小，那么我们能够达到解的邻域。如果解的附近 H\mathbf{H}是正定的，那么原则上来讲最多 nn次迭代就能收敛，为此共轭方向与牛顿法一样是二次终止的，收敛的速度是二次的，即收敛阶数为二。

对于非二次问题，共轭方向有时候会比较低效，尤其是初始点远离解的时候。这时候前面不可靠的数据会累积到当前的方向向量，这是因为它们是基于过去的方向进行计算的。对于这种情况，解的轨迹可能在参数空间的次优区域徘徊，进展会变慢。这个问题是可以克服的，那就是周期性的重新初始化，也就是每nn次迭代后重新初始化，这样就消除了前面不可靠的信息。大多数情况下当前方向累积的信息是比较可靠的，抛弃他们可能增加运算量，但是不管怎样，这样做增加了算法的鲁棒性，所以这点代价是值得的。

漫步最优化三十八——非二次函数最小化相关推荐

漫步最优化三十——非精确线搜索
说明:今天10.24,祝程序员们节日快乐,呜啦啦啦\textbf{说明:今天10.24,祝程序员们节日快乐,呜啦啦啦} 爱上一个人后,\textbf{爱上一个人后,} 发现自己变得主动了,\textb ...
漫步最优化三十二——最速下降法
爱需要勇气,\textbf{爱需要勇气,} 但是也许是天意,\textbf{但是也许是天意,} 让我爱上你,\textbf{让我爱上你,} 也许轮回里早已注定,\textbf{也许轮回里早已注定,} ...
漫步最优化三十九——Fletcher-Reeves法
你的目光像桥梁,\textbf{你的目光像桥梁,} 指引我通往你心路的捷径.\textbf{指引我通往你心路的捷径.} 你的魅力像磁铁,\textbf{你的魅力像磁铁,} 加快我靠向你身边的步伐.\t ...
漫步最优化三十六——基本共轭方向法
用我的眼神,\textbf{用我的眼神,} 拍下你的睫毛,\textbf{拍下你的睫毛,} 你微笑的嘴角.\textbf{你微笑的嘴角.} 你的微笑像毒药,\textbf{你的微笑像毒药,} 却洋溢着 ...
漫步最优化三十四——高斯-牛顿法
你的温柔像羽毛,\textbf{你的温柔像羽毛,} 秘密躺在我怀抱.\textbf{秘密躺在我怀抱.} 你的微笑像拥抱,\textbf{你的微笑像拥抱,} 只有我能看到.\textbf{只有我能看到. ...
漫步最优化二十八——三次插值法
没有你的世界,\textbf{没有你的世界,} 我会灵魂失控.\textbf{我会灵魂失控.} 没有你的世界,\textbf{没有你的世界,} 我被乌云拖着走.\textbf{我被乌云拖着走.} 没有 ...
漫步最优化三十五——共轭
我对你的喜欢像玻璃,\textbf{我对你的喜欢像玻璃,} 透明的能被你看穿.\textbf{透明的能被你看穿.} 我对你的思念像影子,\textbf{我对你的思念像影子,} 傍晚时分就被拉长.\te ...
漫步数学分析三十八——反函数定理
注意Jf(x)≠0Jf(x)\neq0意味着Df(x):Rn→RnDf(x):R^n\to R^n是线性同构(即它的矩阵是可逆的),从而根据事实:最佳线性近似是可逆的,我们想得出函数本身是可逆的. 然 ...
漫步微积分三十八——流体静力学
声明:单变量微积分的内容到这里就结束了,衷心希望可以帮到大家,再次谢谢大家的支持. 前面的文章中我们已经看到如何使用积分来解决几何和基本物理中产生的问题. 本节,我们简短介绍一下流体静力学,它主要关注 ...

漫步最优化三十八——非二次函数最小化

漫步最优化三十八——非二次函数最小化相关推荐

最新文章

热门文章