漫步最优化六——数学规划

面对你美丽的面容，\textbf{面对你美丽的面容，}
我努力压抑自己的内心，\textbf{我努力压抑自己的内心，}
可是爱情怎么喊停；\textbf{可是爱情怎么喊停；}
面对你认真的双眼，\textbf{面对你认真的双眼，}
我试着忘记曾经的一切，\textbf{我试着忘记曾经的一切，}
可是爱情怎么喊停。\textbf{可是爱情怎么喊停。}
和你在一起就像在阳光里，\textbf{和你在一起就像在阳光里，}
快乐到不想分离，\textbf{快乐到不想分离，}
我想要告诉你，我好喜欢你。\textbf{我想要告诉你，我好喜欢你。}
——畅宝宝的傻逼哥哥\qquad\quad\textbf{——畅宝宝的傻逼哥哥}

之前列出数学规划的分支有：线性规划，整数规划，二次规划，非线形规划和动态规划。每个分支都由各自特定优化问题的理论与技术构成，他们之间的区别与优化问题的结构以及目标函数与约束函数的形式密切相关，下面简要介绍下每个分支的内容。

1：线性规划\textbf{1：线性规划}

如果目标与约束函数是线性的且变量为正，一般优化问题的形式假设为：

subject to: minimize f(x)=∑i=1nαixiaj(x)=∑i=1nβijxi−μj=0for j=1,2,…,pcj(x)=∑i=1nγijxi−vj≥0for j=1,2,…,qxj≥0for i=1,2,…,n

\begin{align*} &minimize\ f(\textbf{x})=\sum_{i=1}^n\alpha_ix_i\\ subject\ to:\ &a_j(\textbf{x})=\sum_{i=1}^n\beta_{ij}x_i-\mu_j=0\quad for\ j=1,2,\ldots,p\\ &c_j(\textbf{x})=\sum_{i=1}^n\gamma_{ij}x_i-v_j\geq 0\quad for\ j=1,2,\ldots,q\\ &x_j\geq 0\quad for\ i=1,2,\ldots,n \end{align*}

其中αi,βij,γij,μj,vj\alpha_i,\beta_{ij},\gamma_{ij},\mu_{j},v_{j}是常数。例如

minimize subject to: f(x)=−2x1+4x2+7x3+x4+5x5a1(x)=−x1+x2+2x3+x4+2x5−7=0a2(x)=−x1+2x2+3x3+x4+x5−6=0a3(x)=−x1+x2+x3+2x4+x5−4=0xi≥0for i=1,2,…,5

\begin{align*} minimize\ &f(\textbf{x})=-2x_1+4x_2+7x_3+x_4+5x_5\\ subject\ to:\ &a_1(\textbf{x})=-x_1+x_2+2x_3+x_4+2x_5-7=0\\ &a_2(\textbf{x})=-x_1+2x_2+3x_3+x_4+x_5-6=0\\ &a_3(\textbf{x})=-x_1+x_2+x_3+2x_4+x_5-4=0\\ &x_i\geq 0\quad for\ i=1,2,\ldots,5 \end{align*}

或者

minimize subject to: f(x)=3x1+4x2+5x3c1(x)=x1+2x2+3x3−5≥0c2(x)=2x1+2x2+x3−6≥0x1≥0,x2≥0,x3≥0

\begin{align*} minimize\ &f(\textbf{x})=3x_1+4x_2+5x_3\\ subject\ to:\ &c_1(\textbf{x})=x_1+2x_2+3x_3-5\geq 0\\ &c_2(\textbf{x})=2x_1+2x_2+x_3-6\geq 0\\ &x_1\geq 0,x_2\geq 0,x_3\geq 0 \end{align*}

像上面的优化问题会出现在许多学科中，通过用LP算法就能求出来。

2：整数规划\textbf{2：整数规划}

对某些线性优化问题，有些变量要求是整数，这个限制使得规划变成非线性的，不管怎样，我们依然将其看成线性的，因为目标与约束函数都是线性的。

3：二次规划\textbf{3：二次规划}

如果优化问题形式如下：

minimize subject f(x)=α0+γTx+xTQxto:αTx≥β

\begin{align*} minimize\ &f(\textbf{x})=\alpha_0+\gamma^T\textbf{x}+\textbf{x}^T\textbf{Q}\textbf{x}\\ subject\ &to:\quad\boldsymbol{\alpha}^T\textbf{x} \geq\beta\\ \end{align*}

其中

αβTγT=⎡⎣⎢⎢⎢⎢α11α21⋮αn1α12α22⋮αn2⋯⋯⋯α1qα2q⋮αnq⎤⎦⎥⎥⎥⎥=[β1 β2 ⋯ βq]=[γ1 γ2 ⋯ γn]

\begin{align*} \boldsymbol{\alpha}&= \begin{bmatrix} \alpha_{11}&\alpha_{12}&\cdots&\alpha_{1q}\\ \alpha_{21}&\alpha_{22}&\cdots&\alpha_{2q}\\ \vdots&\vdots&&\vdots\\ \alpha_{n1}&\alpha_{n2}&\cdots&\alpha_{nq} \end{bmatrix}\\ \boldsymbol{\beta}^T&=[\beta_1\ \beta_2\ \cdots\ \beta_q]\\ \boldsymbol{\gamma}^T&=[\gamma_1\ \gamma_2\ \cdots\ \gamma_n] \end{align*}

其中Q\boldsymbol{Q}是正定或半正定对称方阵，那么约束是线性的，目标函数是二次的，这样的优化问题称为二次规划(QP)问题。典型的实例如下：

minimize subject to: f(x)=12x21+12x22−x1−2x2c1(x)=6−2x1−3x2≥0c2(x)=5−x1−4x2≥0c3(x)=x1≥0c4(x)=x2≥0

\begin{align*} minimize\ &f(\textbf{x})=\frac{1}{2}x_1^2+\frac{1}{2}x_2^2-x_1-2x_2\\ subject\ to:\ &c_1(\textbf{x})=6-2x_1-3x_2\geq 0\\ &c_2(\textbf{x})=5-x_1-4x_2\geq 0\\ &c_3(\textbf{x})=x_1\geq 0\\ &c_4(\textbf{x})=x_2\geq 0 \end{align*}

4：非线性规划\textbf{4：非线性规划}

在非线性规划问题中，目标函数与约束函数都是非线性的，这是数学规划中最常见的类型，实际上LP与QP可以看成非线性约束的特殊情况。虽然我们可以用非线性规划算法求解线性或二次规划问题，但是为线性或二次规划开发的特定算法确是常用的，因为他们效率更高。

优化算法的选择依赖于目标函数的结构与数学性质，大部分情况下，目标函数都是非线性的，我们需要的是通用，鲁棒且高效的算法。然而对于某些应用，效率比通用更重要，这时候就需要特定的算法。这些算法中经常用到范数，例如最小化L1,L2,L∞L_1,L_2,L_{\infty}范数的算法称为L1,L2L_1,L_2或极小极大算法。

5：动态规划\textbf{5：动态规划}

在许多应用中，我们需要进行一系列决策，其中每个子序列决策又受前面的影响。在这样的应用中，需要执行一系列优化过程，例如一个庞大的系统由于问题的规模与复杂度，不可能进行优化，但是可以将其分成能进行优化的许多子系统，这些子系统互相之间可能存在联系，因此要想得到整体最优，我们需要通用的求解策略。动态规划就是用于解决这种问题的方法，它通常基于线性，整数，二次或非线性优化算法。

漫步最优化六——数学规划相关推荐

漫步最优化三十六——基本共轭方向法
用我的眼神,\textbf{用我的眼神,} 拍下你的睫毛,\textbf{拍下你的睫毛,} 你微笑的嘴角.\textbf{你微笑的嘴角.} 你的微笑像毒药,\textbf{你的微笑像毒药,} 却洋溢着 ...
漫步最优化十六——优化的一般问题
一直没有说我爱你,\textbf{一直没有说我爱你,} 一直没有拥抱你,\textbf{一直没有拥抱你,} 道路上虽然会留下伤口,\textbf{道路上虽然会留下伤口,} 可是随着时间总会愈合.\te ...
漫步最优化四十二——Partan法
漆黑的冷空中有你,\textbf{漆黑的冷空中有你,} 惺忪的眼睛中有你,\textbf{惺忪的眼睛中有你,} 心底的记忆中有你,\textbf{心底的记忆中有你,} 你留在我的脑海中,\textbf ...
漫步最优化三——优化算法的一般结构
你的出现,让我的眼中,心中有了蔚蓝的天空:\textbf{你的出现,让我的眼中,心中有了蔚蓝的天空:} 你的出现,让梦的城堡,殿堂留住美好的时光.\textbf{你的出现,让梦的城堡,殿堂留住美好的时 ...
漫步最优化一——引言
亲爱的,从爱上你的那天起,甜蜜变得很容易:\textbf{亲爱的,从爱上你的那天起,甜蜜变得很容易:} 亲爱的,从你任性的眼神中,我看到了你愿意.\textbf{亲爱的,从你任性的眼神中,我看到了你愿 ...
漫步最优化五——可行域
我不介意你慢慢的到来,\textbf{我不介意你慢慢的到来,} 我也不介意我们多少次擦肩而过,\textbf{我也不介意我们多少次擦肩而过,} 因为我一直相信我们都在相遇的路上马不停蹄.\textbf ...
漫步最优化四十五——矩阵S的生成
想赖着你每一天,\textbf{想赖着你每一天,} 耽误多一秒都不愿意.\textbf{耽误多一秒都不愿意.} 想把你捧在手心,\textbf{想把你捧在手心,} 给你我最奢侈的温柔.\textbf{ ...
漫步最优化四十四——基本拟牛顿法
你走进了我的视觉,\textbf{你走进了我的视觉,} 我开始发现,\textbf{我开始发现,} 心里有个角落,\textbf{心里有个角落,} 一直在等你出现.\textbf{一直在等你出现.} ...
漫步最优化四十三——拟牛顿法
从相距千里,\textbf{从相距千里,} 到心与心的碰撞,\textbf{到心与心的碰撞,} 情感是一种随机,\textbf{情感是一种随机,} 也是一种必然.\textbf{也是一种必然.} 从一 ...

漫步最优化六——数学规划

漫步最优化六——数学规划相关推荐

最新文章

热门文章