漫步最优化三——优化算法的一般结构

你的出现，让我的眼中，心中有了蔚蓝的天空；\textbf{你的出现，让我的眼中，心中有了蔚蓝的天空；}
你的出现，让梦的城堡，殿堂留住美好的时光。\textbf{你的出现，让梦的城堡，殿堂留住美好的时光。}
世界变化不停，\textbf{世界变化不停，}
人潮川流不息，\textbf{人潮川流不息，}
我只想每个日出日落，\textbf{我只想每个日出日落，}
身边都有你。\textbf{身边都有你。}
——畅宝宝的傻逼哥哥\qquad\qquad\qquad\qquad\quad\textbf{——畅宝宝的傻逼哥哥}

大多数优化算法涉及一系列步骤，典型的模式如下：

第一步：\textbf{第一步：}

令k=0k=0且初始化x0\textbf{x}_0
计算F0=f(x0)F_0=f(\textbf{x}_0)

第二步：\textbf{第二步：}

令k=k+1k=k+1
利用近似过程计算xk\textbf{x}_k的变化量Δxk\Delta\textbf{x}_k，其中
ΔxTk=[Δx1 Δx2 ⋯Δxn]

\Delta\textbf{x}_k^T=[\Delta x_1\ \Delta x_2\ \cdots \Delta x_n]
令xk=xk−1+Δxk\textbf{x}_k=\textbf{x}_{k-1}+\Delta\textbf{x}_k
计算Fk=f(xk)F_k=f(\textbf{x}_k)与ΔFk=Fk−1−Fk\Delta F_k=F_{k-1}-F_{k}

第三步：\textbf{第三步：}
判断是否收敛条件已经到达，例如判断ΔFk\Delta F_k与(或)Δxk\Delta\textbf{x}_k，如果达到执行第四步；否则转到第二步。

第四步：\textbf{第四步：}

输出x∗=xk\textbf{x}^*=\textbf{x}_k与F∗=f(x∗)F^*=f(\textbf{x}^*)
结束

在第一步，用手头知识估计的值初始化向量x0\textbf{x}_0，好多情况下我们无法进行估计，这时候x0=0\textbf{x}_0=\textbf{0}。然后重复执行步骤2与3直到达到收敛条件，每执行一次步骤2，3就表示一次迭代，也就是说kk是迭代次数。

当达到收敛调价时，执行第四步，这时候列向量

x∗=[x∗1 x∗2 ⋯x∗n]=xk

\textbf{x}^*=[x_1^*\ x_2^*\ \cdots x_n^*]=\textbf{x}_k

对应的FF值为

F∗=f(x∗)

F^*=f(\textbf{x}^*)

列向量x∗\textbf{x}^*为最优，最小值点，F∗F^*为目标函数的最优或最小值，x∗,F∗\textbf{x}^*,F^*对构成了优化问题的解。

根据所用的优化问题与优化方法，有几种方法检查收敛。例如在任意两次迭代的FkF_k之差很小时，也就是

|ΔFk|=|Fk−1−Fk|<εF

|\Delta F_k|=|F_{k-1}-F_k|

结束算法，其中εF\varepsilon_F是目标函数的最优容忍度，同样的当所有变量的差很小时，也就是

|Δxi|<εxfor i=1,2,…,n

|\Delta x_i|

结束算法，其中εx\varepsilon_x时变量x1,x2,…,xnx_1,x_2,\ldots,x_n的最优容容忍度，第三种就是同时满足上面的两个条件。

我们主要考虑很好应用，可靠且计算量小的最小化算法，在数学规划中可靠算法用术语来说就是鲁棒算法。

漫步最优化三——优化算法的一般结构相关推荐

漫步最优化三十——非精确线搜索
说明:今天10.24,祝程序员们节日快乐,呜啦啦啦\textbf{说明:今天10.24,祝程序员们节日快乐,呜啦啦啦} 爱上一个人后,\textbf{爱上一个人后,} 发现自己变得主动了,\textb ...
漫步最优化三十五——共轭
我对你的喜欢像玻璃,\textbf{我对你的喜欢像玻璃,} 透明的能被你看穿.\textbf{透明的能被你看穿.} 我对你的思念像影子,\textbf{我对你的思念像影子,} 傍晚时分就被拉长.\te ...
漫步最优化三十四——高斯-牛顿法
你的温柔像羽毛,\textbf{你的温柔像羽毛,} 秘密躺在我怀抱.\textbf{秘密躺在我怀抱.} 你的微笑像拥抱,\textbf{你的微笑像拥抱,} 只有我能看到.\textbf{只有我能看到. ...
漫步最优化三十九——Fletcher-Reeves法
你的目光像桥梁,\textbf{你的目光像桥梁,} 指引我通往你心路的捷径.\textbf{指引我通往你心路的捷径.} 你的魅力像磁铁,\textbf{你的魅力像磁铁,} 加快我靠向你身边的步伐.\t ...
漫步最优化三十八——非二次函数最小化
你独一无二的声音,\textbf{你独一无二的声音,} 穿越了繁杂喧嚣,\textbf{穿越了繁杂喧嚣,} 回荡在我的脑中.\textbf{回荡在我的脑中.} 你独一无二的声音,\textbf{你独一 ...
漫步最优化三十七——共轭梯度法
我卸不下对你的喜欢,\textbf{我卸不下对你的喜欢,} 因为爱会慢慢增加重量.\textbf{因为爱会慢慢增加重量.} 我醉心于你的发香,\textbf{我醉心于你的发香,} 因为它让回想有了画面 ...
漫步最优化三十二——最速下降法
爱需要勇气,\textbf{爱需要勇气,} 但是也许是天意,\textbf{但是也许是天意,} 让我爱上你,\textbf{让我爱上你,} 也许轮回里早已注定,\textbf{也许轮回里早已注定,} ...
漫步最优化三十一——梯度法
我拿起笔芯,\textbf{我拿起笔芯,} 开始在心里慢慢书写回忆.\textbf{开始在心里慢慢书写回忆.} 记录第一次遇见的你,\textbf{记录第一次遇见的你,} 记录第一次牵手的你,\tex ...
漫步最优化三十六——基本共轭方向法
用我的眼神,\textbf{用我的眼神,} 拍下你的睫毛,\textbf{拍下你的睫毛,} 你微笑的嘴角.\textbf{你微笑的嘴角.} 你的微笑像毒药,\textbf{你的微笑像毒药,} 却洋溢着 ...

漫步最优化三——优化算法的一般结构

漫步最优化三——优化算法的一般结构相关推荐

最新文章

热门文章