漫步最优化一—

亲爱的，从爱上你的那天起，甜蜜变得很容易；\textbf{亲爱的，从爱上你的那天起，甜蜜变得很容易；}
亲爱的，从你任性的眼神中，我看到了你愿意。\textbf{亲爱的，从你任性的眼神中，我看到了你愿意。}
——畅宝宝的傻逼哥哥\textbf{$\qquad\qquad\qquad\qquad$——畅宝宝的傻逼哥哥}

其实在过去，人们就一直在参与优化过程。最早的优化形式包括不科学的仪式和偏见，例如用动物祭祀神仙，观察星星的位置，鸟的飞行，有些时间段被当成种植作物或开始战争的吉日。

随着时代的进步与理性的流行，不合逻辑的仪式被经验法则所取代，然后随着数学的发展，数学计算开始得到应用。

随着五十年代初数学计算机的出现，优化过程的兴趣度有了巨大的飞跃。近年来，优化技术发展迅速并取得了长足的进步。同时，数字电脑变得更快，更高效。因此，在几年前被认为棘手的一些优化问题现在都可以解决。

如果可以衡量和改变什么是“好”或“坏”，那么优化过程就是获得“最好”的过程。在实践中，人们希望“最高”（例如薪水）或“最低”（例如费用）。因此，根据情况，“最佳”一词被视为“最大”或“最小”。“最佳”是一个术语，意味着这是定量测度，相比日常使用的“最好”程度更强。同样，“优化”这个词意味着达到最佳，是一个比“改进”更强的词。优化理论是数学的分支，包括最优的定量研究以及找到它们的方法。另一方面，优化实践是用于找到最优的技术，方法，过程和算法的集合。

优化问题发生在工程，物理，数学，经济，管理，商业，社会科学甚至政治等大多数学科。电气，机械，民用，化工，建筑工程等各个领域的优化问题比较多。典型的应用领域是设备，电路与系统的建模，表征与设计；工具，仪器和设备的设计；建筑物的设计；过程控制；近似理论，曲线拟合，方程组求解；预测，生产调度，质量控制；维修；库存控制，会计，预算等。最近的一些革新几乎完全依赖优化理论，例如神经网络和自适应系统。

现实生活中的大多数问题通常有几个解决方案，偶尔也可能有无数个解决方案。假设现在的问题允许多个解决方案，我们就可以根据某些性能指标找到问题的最佳解决方案，从而实现优化。如果问题只承认一个解决方案，也就是说，只有一组唯一的参数值是可以接受的，那么就不能应用优化了。

一些常见的优化方法如下：

分析法
作图法
实验法
数值法

分析法是基于经典的微积分方法，性能指标的最大或最小是通过找出参数值x1,x2,…,xnx_1,x_2,\ldots,x_n来确定，这些参数值满足函数f(x1,x2,…,xn)f(x_1,x_2,\ldots,x_n)对x1,x2,…,xnx_1,x_2,\ldots,x_n的倒数等于零。所求的问题在求解前显然得用数学形式来表达，这种方法不需要数字计算机。然而，该方法无法应用到高度非线性的问题或者独立参数个数超过两个或三个的问题。

如果变量的个数不超过二，那么我们可以用作图法，画出函数的图像得到最大或最小值。如果函数只有一个变量x1x_1，那么f(x1)f(x_1)的图像直接就看出函数的最大或最小值。同样的，如果函数只有两个变量x1,x2x_1,x_2，那么可以构造一个轮廓的集合，轮廓就事(x1,x2)(x_1,x_2)平面上使得f(x1,x2)f(x_1,x_2)为常数的点集，所以一个轮廓图就反映了函数的峰值或谷值，例如图1。不幸的是，图方法作用非常有限，因为大多数应用中优化的函数依赖于几个变量，通常超过四个。

有时候系统的最佳性能可以通过实验得到验证。在该方法中，系统设置后过程变量逐一调整，并在每种情况下测量性能标准。该方法可能导致最佳或接近最佳的操作条件。然而，它可能导致不可靠的结果，这是因为在某些系统中，两个或多个变量彼此间相互作用，且必须同时调整他们来产生最佳性能标准。

最重要的优化方法是基于数值方法。在这种方法中，从解的初始估计开始，通过迭代数值程序为优化问题生成一系列逐步改进的解，当满足一些收敛标准时，该过程终止。例如，独立变量或两次迭代之间的性能标准变化不怎么明显。

数值方法可以解决分析法无法解决的高度复杂优化问题，此外，它们在数字计算机上容易编程实现。因此，它们能够替代大多数其他优化方法。

包含数学优化方法的理论与实践的学科已经被称为数学规划，在过去40年中，数学规划的几个分支发展如下：

线性规划
整数规划
二次规划
非线性规划
动态规划

数学规划中的每个分支都与某个特定类别的优化问题相关。

图1

漫步最优化一——引言相关推荐

漫步最优化四十二——Partan法
漆黑的冷空中有你,\textbf{漆黑的冷空中有你,} 惺忪的眼睛中有你,\textbf{惺忪的眼睛中有你,} 心底的记忆中有你,\textbf{心底的记忆中有你,} 你留在我的脑海中,\textbf ...
漫步最优化四十五——矩阵S的生成
想赖着你每一天,\textbf{想赖着你每一天,} 耽误多一秒都不愿意.\textbf{耽误多一秒都不愿意.} 想把你捧在手心,\textbf{想把你捧在手心,} 给你我最奢侈的温柔.\textbf{ ...
漫步最优化四十四——基本拟牛顿法
你走进了我的视觉,\textbf{你走进了我的视觉,} 我开始发现,\textbf{我开始发现,} 心里有个角落,\textbf{心里有个角落,} 一直在等你出现.\textbf{一直在等你出现.} ...
漫步最优化四十三——拟牛顿法
从相距千里,\textbf{从相距千里,} 到心与心的碰撞,\textbf{到心与心的碰撞,} 情感是一种随机,\textbf{情感是一种随机,} 也是一种必然.\textbf{也是一种必然.} 从一 ...
漫步最优化四十一——Powell法(下)
四季交替,\textbf{四季交替,} 光阴推动了变更,\textbf{光阴推动了变更,} 但你一直印在我心.\textbf{但你一直印在我心.} 遇见你的那天,\textbf{遇见你的那天,} 心似 ...
漫步最优化四十——Powell法(上)
平凡无所谓,\textbf{平凡无所谓,} 平淡无所谓,\textbf{平淡无所谓,} 但求每天早晨能望见你,\textbf{但求每天早晨能望见你,} 这已经足够满足.\textbf{这已经足够满足. ...
漫步最优化三十九——Fletcher-Reeves法
你的目光像桥梁,\textbf{你的目光像桥梁,} 指引我通往你心路的捷径.\textbf{指引我通往你心路的捷径.} 你的魅力像磁铁,\textbf{你的魅力像磁铁,} 加快我靠向你身边的步伐.\t ...
漫步最优化三十八——非二次函数最小化
你独一无二的声音,\textbf{你独一无二的声音,} 穿越了繁杂喧嚣,\textbf{穿越了繁杂喧嚣,} 回荡在我的脑中.\textbf{回荡在我的脑中.} 你独一无二的声音,\textbf{你独一 ...
漫步最优化三十七——共轭梯度法
我卸不下对你的喜欢,\textbf{我卸不下对你的喜欢,} 因为爱会慢慢增加重量.\textbf{因为爱会慢慢增加重量.} 我醉心于你的发香,\textbf{我醉心于你的发香,} 因为它让回想有了画面 ...

漫步最优化一——引言

漫步最优化一——引言相关推荐

最新文章

热门文章