漫步最优化二十四—

你喜欢有小情绪，\textbf{你喜欢有小情绪，}
像夜晚的月亮，\textbf{像夜晚的月亮，}
但各有各的精彩。\textbf{但各有各的精彩。}
你情感丰富，\textbf{你情感丰富，}
时常给我惊喜，\textbf{时常给我惊喜，}
我像探秘一样，\textbf{我像探秘一样，}
对你的一切都充满好奇。\textbf{对你的一切都充满好奇。}
想系好安全带，\textbf{想系好安全带，}
带你去世界各个地方，\textbf{带你去世界各个地方，}
都留下我们的小脚印与美好的回忆。\textbf{都留下我们的小脚印与美好的回忆。}
——畅宝宝的傻逼哥哥\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}

考虑一个单峰函数，在区间[xL,xU][x_L,x_U]内有最小值，这个区间称为不确定范围，通过不断缩小这个不确定范围可以得出f(x)f(x)的最小值x∗x^*。在搜索方法中，使用f(x)f(x)在合适点处的值就能确定出来。

如果f(x)f(x)在点xax_a处的值是已知的，其中xL<xa<xUx_L，那么点x∗x^*可能在xLx_L与xax_a之间，或者xax_a与xUx_U之间，如图1所示，因此获得信息不足以进一步缩小不确定范围。然而，如果我们知道f(x)f(x)在两个点xa,xbx_a,x_b处的值，那就可以缩小了，这时候会有三种情况：

f(xa)<f(xb)f(x_a)
f(xa)>f(xb)f(x_a)>f(x_b)
f(xa)=f(xb)f(x_a)=f(x_b)

对于第一种情况，x∗x^*的范围可能是xL<x∗<xax_L或者xa<x∗<xbx_a，即xL<x∗<xbx_L，如图1所示。xb<x∗<xUx_b的情况被排除了，否则的话f(x)f(x)会有两个极小值：一个在xbx_b的左边，一个在xbx_b的右边。同样的，对于第二种情况，我们肯定有xa<x∗<xUx_a，如图2所示。对于第三种情况，我们有xa<x∗<xbx_a，即不等式xL<x∗<xbx_L与xa<x∗<xUx_a都满足，如图3所示。

图1

图2

一种缩小不确定范围的基本策略是二分搜索。对于这个方法，首先计算 f(x)f(x)在两点 xa=x1−ε/2x_a=x_1-\varepsilon/2与 xb=x1+ε/2x_b=x_1+\varepsilon/2的值，其中 ε\varepsilon是很小的正数，然后根据 f(xa)<f(xb)f(x_a)还是 f(xa)>f(xb)f(x_a)>f(x_b)，判断范围是 xLx_L到 x1+ε/2x_1+\varepsilon/2还是 x1−ε/2x_1-\varepsilon/2到 xUx_U，如果 f(xa)=f(xb)f(x_a)=f(x_b)，那么两者都可以。假设 x1−xL=xU−x1x_1-x_L=x_U-x_1，即 x1=(xL+xU)/2x_1=(x_L+x_U)/2，那么不确定范围立刻减半，不断重复这个过程直到满足要求为止。例如，如果二分查找应用到图4所示的函数上，那么不确定范围在四次迭代后从 0<x∗<10减小到 9/16+ε/2<x∗<5/8−ε/29/16+\varepsilon/2。

图3

图4

漫步最优化二十四——二分搜索相关推荐

漫步最优化三十四——高斯-牛顿法
你的温柔像羽毛,\textbf{你的温柔像羽毛,} 秘密躺在我怀抱.\textbf{秘密躺在我怀抱.} 你的微笑像拥抱,\textbf{你的微笑像拥抱,} 只有我能看到.\textbf{只有我能看到. ...
漫步最优化二十九——D.S.C.算法
你是我的小公主,\textbf{你是我的小公主,} 像宠你宠你宠你.\textbf{像宠你宠你宠你.} 你是我的小公主,\textbf{你是我的小公主,} 我的天空是晴是雨是彩虹,\textbf{我的 ...
漫步最优化二十八——三次插值法
没有你的世界,\textbf{没有你的世界,} 我会灵魂失控.\textbf{我会灵魂失控.} 没有你的世界,\textbf{没有你的世界,} 我被乌云拖着走.\textbf{我被乌云拖着走.} 没有 ...
漫步最优化二十五——斐波那契搜索
白天与黑夜,\textbf{白天与黑夜,} 希望陪你共同走过.\textbf{希望陪你共同走过.} 整夜的美梦,\textbf{整夜的美梦,} 希望抱你一起回味.\textbf{希望抱你一起回味.} ...
漫步线性代数二十四——行列式应用
本篇文章介绍四个应用:AA的逆,求解Ax=bAx=b,盒子的体积以及主元.他们都是线性代数里面非常关键的计算,而行列式给出了这些答案的公式. 1.计算A−1A^{-1}.2×22\times 2矩阵展 ...
漫步最优化二十二——收敛速率
未来的你已在我的身边,\textbf{未来的你已在我的身边,} 虽然经过了很多个弯:\textbf{虽然经过了很多个弯:} 现在的我已经没了号码牌,\textbf{现在的我已经没了号码牌,} 虽然已经 ...
漫步最优化二十——下降函数
就算言语无法表达,\textbf{就算言语无法表达,} 我仍能听见你的声音:\textbf{我仍能听见你的声音:} 就算阳光不再耀眼,\textbf{就算阳光不再耀眼,} 我也永远倾心与宝宝.\tex ...
漫步数学分析二十四——连续函数空间
固定集合A⊂RnA\subset R^n并且考虑所有函数f:A→Rmf:A\to R^m的集合VV,那么VV可以看成一个向量空间.在VV中,零向量就是对于所有的x∈Ax\in A函数等于0的函数.另外 ...
漫步微积分二十四——定积分引言
在之前的文章中我们提到过,微积分就是与曲线有关的两种计算方法即曲线上切线的斜率曲线围成的面积当然,这将主题描述的过于简单,因为它强调微积分作为几何的工具,没有说它在科学研究中起着不可或缺的作用. ...

漫步最优化二十四——二分搜索

漫步最优化二十四——二分搜索相关推荐

最新文章

热门文章