漫步最优化三十九——Fletcher-Reeves法

你的目光像桥梁，\textbf{你的目光像桥梁，}
指引我通往你心路的捷径。\textbf{指引我通往你心路的捷径。}
你的魅力像磁铁，\textbf{你的魅力像磁铁，}
加快我靠向你身边的步伐。\textbf{加快我靠向你身边的步伐。}
想在你颈边轻轻呼吸，\textbf{想在你颈边轻轻呼吸，}
想在你耳边吐露真言，\textbf{想在你耳边吐露真言，}
想成为你生命的韵律。\textbf{想成为你生命的韵律。}
Pasito a pasito, suave suavecito\textbf{Pasito a pasito, suave suavecito}
Nos vamos pegando, poquito a poquito\textbf{Nos vamos pegando, poquito a poquito}
Y es que esa belleza es un rompecabezas\textbf{Y es que esa belleza es un rompecabezas}
Pero pa montarlo aun tengo la pieza\textbf{Pero pa montarlo aun tengo la pieza}
——畅宝宝的傻逼哥哥\qquad\qquad\qquad\quad\textbf{——畅宝宝的傻逼哥哥}
Fletcher-Reeves法是共轭梯度法的变种，它的主要特征是参数αk,k=0,1,2,…\alpha_k,k=0,1,2,\ldots是用线搜索最小化f(x+αdk)f(\mathbf{x}+\alpha\mathbf{d}_k)确定的，这与最速下降或者牛顿法一样。而不同点在于dk\mathbf{d}_k是对dk−1,dk−2,…,d0\mathbf{d}_{k-1},\mathbf{d}_{k-2},\ldots,\mathbf{d}_0共轭，而不是最速梯度方向或者牛顿方向。
如果所求的问题是凸的，二次的且方向按共轭梯度发选择，那么

df(xk+αdk)dα=gTk+1dk=0

\frac{df(\mathbf{x}_k+\alpha\mathbf{d}_k)}{d\alpha}=\mathbf{g}_{k+1}^T\mathbf{d}_k=0

其中k=0,1,2,…k=0,1,2,\ldots，更进一步，共轭的方向集合确保

df(xk+αdi)dα=gTk+1di=0for 0≤i≤k

\frac{df(\mathbf{x}_k+\alpha\mathbf{d}_i)}{d\alpha}=\mathbf{g}_{k+1}^T\mathbf{d}_i=0\quad\text{for}\ 0\leq i\leq k

或者

gTkdi=0for 0≤i<k

\mathbf{g}_{k}^T\mathbf{d}_i=0\quad\text{for}\ 0\leq i

所以通过线搜索确定的αk\alpha_k等价于共轭梯度法。因为线搜索需要更多的计算量，所以Fletcher-Reeves的修正是退化的一步，但不管怎样，这样做得到两个非常明显的好处：

这个修正使得该方法更加适应非二次问题的最小化，这是因为对不在解邻域内的点，f(x)f(\mathbf{x})沿着dk\mathbf{d}_k方向能够更大程度的减少，这是因为对于非二次问题，共轭梯度法得到的α\alpha沿着dk\mathbf{d}_k方向不会得到最小值。
这个修正避免了推导计算海森矩阵。

如果每nn次迭代后重新初始化，那么Fletcher-Reeves算法能够收敛，该算法的具体实现如下：

算法1：共轭梯度算法步骤1输入x0并初始化容忍误差ε步骤2令k=0计算g0并令d0=−g0步骤3求αk,也就是最小化f(xk+αdk)的α令xk+1=xk+αkdk步骤4如果∥αkdk∥<ε,输出x∗=xk+1,f(x∗)=fk+1算法结束步骤5如果k=n−1,令x0=xk+1,然后回到步骤2步骤6计算gk+1计算βk=gTk+1gk+1gTkgk令dk+1=−gk+1+βkdk令k=k+1然后回到步骤3

\begin{align*} &\textbf{算法1：共轭梯度算法}\\ &\textbf{步骤1}\\ &\text{输入}\mathbf{x}_0\text{并初始化容忍误差}\varepsilon\\ &\textbf{步骤2}\\ &\text{令}k=0\\ &\text{计算}\mathbf{g}_0\text{并令}\mathbf{d}_0=-\mathbf{g}_0\\ &\textbf{步骤3}\\ &\text{求}\alpha_k,\text{也就是最小化}f(\mathbf{x}_k+\alpha\mathbf{d}_k)\text{的}\alpha\\ &\text{令}\mathbf{x}_{k+1}=\mathbf{x}_k+\alpha_k\mathbf{d}_k\\ &\textbf{步骤4}\\ &\text{如果}\lVert\alpha_k\mathbf{d}_k\rVert

漫步最优化三十九——Fletcher-Reeves法相关推荐

漫步最优化三十六——基本共轭方向法
用我的眼神,\textbf{用我的眼神,} 拍下你的睫毛,\textbf{拍下你的睫毛,} 你微笑的嘴角.\textbf{你微笑的嘴角.} 你的微笑像毒药,\textbf{你的微笑像毒药,} 却洋溢着 ...
漫步最优化三十五——共轭
我对你的喜欢像玻璃,\textbf{我对你的喜欢像玻璃,} 透明的能被你看穿.\textbf{透明的能被你看穿.} 我对你的思念像影子,\textbf{我对你的思念像影子,} 傍晚时分就被拉长.\te ...
漫步最优化三十四——高斯-牛顿法
你的温柔像羽毛,\textbf{你的温柔像羽毛,} 秘密躺在我怀抱.\textbf{秘密躺在我怀抱.} 你的微笑像拥抱,\textbf{你的微笑像拥抱,} 只有我能看到.\textbf{只有我能看到. ...
漫步最优化二十九——D.S.C.算法
你是我的小公主,\textbf{你是我的小公主,} 像宠你宠你宠你.\textbf{像宠你宠你宠你.} 你是我的小公主,\textbf{你是我的小公主,} 我的天空是晴是雨是彩虹,\textbf{我的 ...
漫步最优化三十八——非二次函数最小化
你独一无二的声音,\textbf{你独一无二的声音,} 穿越了繁杂喧嚣,\textbf{穿越了繁杂喧嚣,} 回荡在我的脑中.\textbf{回荡在我的脑中.} 你独一无二的声音,\textbf{你独一 ...
漫步最优化三十二——最速下降法
爱需要勇气,\textbf{爱需要勇气,} 但是也许是天意,\textbf{但是也许是天意,} 让我爱上你,\textbf{让我爱上你,} 也许轮回里早已注定,\textbf{也许轮回里早已注定,} ...
漫步最优化三十——非精确线搜索
说明:今天10.24,祝程序员们节日快乐,呜啦啦啦\textbf{说明:今天10.24,祝程序员们节日快乐,呜啦啦啦} 爱上一个人后,\textbf{爱上一个人后,} 发现自己变得主动了,\textb ...
漫步数学分析三十九——隐函数定理
假设x,yx,y被方程F(x,y)=0F(x,y)=0关联起来,我们会说这定义了一个函数y=f(x)y=f(x)(或者说隐式定义了y=f(x)y=f(x)),然后打算计算dy/dxdy/dx.前面已经 ...
C语言笔记第三十九课程序中的三国天下
第三十九课程序中的三国天下程序中的栈栈是现代计算机程序里最为重要的概念之一栈在程序中用于维护函数调用上下文函数中的参数和局部变量存储在栈上栈是一种行为,一种先进后出的行为栈保存了一个函数 ...

漫步最优化三十九——Fletcher-Reeves法

漫步最优化三十九——Fletcher-Reeves法相关推荐

最新文章

热门文章