漫步最优化二十三—

你的每一句话，回荡在耳边；\textbf{你的每一句话，回荡在耳边；}
你闪动的双眼，徘徊在脑海。\textbf{你闪动的双眼，徘徊在脑海。}
好像告诉你，\textbf{好像告诉你，}
天天在想你。\textbf{天天在想你。}
好想告诉你，\textbf{好想告诉你，}
天天守住一颗心，\textbf{天天守住一颗心，}
把最好的爱留给你。\textbf{把最好的爱留给你。}
——畅宝宝的傻逼哥哥\qquad\quad\textbf{——畅宝宝的傻逼哥哥}

三种常见的非线性优化问题为：

一维无约束问题
多维无约束问题
多维约束问题

第一种问题是最容易求解的，而第三种是最困难的。在实际应用中，我们通常将多维约束问题简化为多维无约束问题，进而简化为一维无约束问题。事实上，大部分非线性规划问题是基于单变量函数的最小化，并且是无约束的，因此如果我们想构造出有效的多维无约束或约束算法，就需要有效的一维优化算法。

一维优化问题为

minimize F=f(x)

\textbf{minimize}\ F=f(x)

其中f(x)f(x)是单变量函数。如果函数f(x)f(x)在xx的某个范围内是单峰的，那么该问题就有解，即f(x)f(x)在xL≤<x≤xUx_L\leq内只有一个最小值，其中xL,xUx_L,x_U是最小点x∗x^{*}的下极限与上极限。

第二种一维优化方法是搜索法与近似法。

在搜索法中，首先构建包含x∗x^*的区间[xL,xU][x_L,x_U]，然后根据函数不断的减小区间，直到[xL,k,xU,k][x_{L,k},x_{U,k}]充分小，区间[xL,k,xU,k][x_{L,k},x_{U,k}]的中点做为最小值。这种方法可以用于任何函数，函数不一定要可导。

在近似法中，函数用低阶的多项式来近似，通常选择二阶或三阶，然后用初等微积分分析，推断出x∗x^*的近似值，这样就减小了区间，然后重复这个过程直到x∗x^*值充分精确。这种方法要求函数f(x)f(x)是连续可导的。

接下来会介绍一些一维优化方法，如下所示：

二分搜索
斐波那契搜索
黄金分割搜索
二次插值法
三次插值法
D.S.C. 法

前三种是搜索法，第四与第五种是近似法，第六种是一种实用的方法，它结合了搜索法与近似法。

漫步最优化二十三——一维优化相关推荐

漫步最优化二十八——三次插值法
没有你的世界,\textbf{没有你的世界,} 我会灵魂失控.\textbf{我会灵魂失控.} 没有你的世界,\textbf{没有你的世界,} 我被乌云拖着走.\textbf{我被乌云拖着走.} 没有 ...
漫步最优化二十七——二次插值法
陪着你,仿佛面朝阳光,\textbf{陪着你,仿佛面朝阳光,} 不管走到哪里都是晴天.\textbf{不管走到哪里都是晴天.} 在蝴蝶飞舞的百花丛中,\textbf{在蝴蝶飞舞的百花丛中,} 一朵一朵 ...
漫步最优化二十五——斐波那契搜索
白天与黑夜,\textbf{白天与黑夜,} 希望陪你共同走过.\textbf{希望陪你共同走过.} 整夜的美梦,\textbf{整夜的美梦,} 希望抱你一起回味.\textbf{希望抱你一起回味.} ...
漫步最优化二——基本优化问题
我们还有很长的时间要走,千万不要把哥哥甩在身后:\textbf{我们还有很长的时间要走,千万不要把哥哥甩在身后:} 我和你要去闻闻新鲜的春天:\textbf{我和你要去闻闻新鲜的春天:} 感受阳光洒满 ...
漫步最优化四十三——拟牛顿法
从相距千里,\textbf{从相距千里,} 到心与心的碰撞,\textbf{到心与心的碰撞,} 情感是一种随机,\textbf{情感是一种随机,} 也是一种必然.\textbf{也是一种必然.} 从一 ...
漫步最优化三十三——牛顿法
自从有了你,\textbf{自从有了你,} 绝望与无奈远走高飞.\textbf{绝望与无奈远走高飞.} 自从有了你,\textbf{自从有了你,} 我的世界不再天灰灰.\textbf{我的世界不再天灰 ...
漫步最优化二十九——D.S.C.算法
你是我的小公主,\textbf{你是我的小公主,} 像宠你宠你宠你.\textbf{像宠你宠你宠你.} 你是我的小公主,\textbf{你是我的小公主,} 我的天空是晴是雨是彩虹,\textbf{我的 ...
漫步最优化二十二——收敛速率
未来的你已在我的身边,\textbf{未来的你已在我的身边,} 虽然经过了很多个弯:\textbf{虽然经过了很多个弯:} 现在的我已经没了号码牌,\textbf{现在的我已经没了号码牌,} 虽然已经 ...
漫步最优化二十——下降函数
就算言语无法表达,\textbf{就算言语无法表达,} 我仍能听见你的声音:\textbf{我仍能听见你的声音:} 就算阳光不再耀眼,\textbf{就算阳光不再耀眼,} 我也永远倾心与宝宝.\tex ...

漫步最优化二十三——一维优化

漫步最优化二十三——一维优化相关推荐

最新文章

热门文章