线性规划问题

基本特征（什么是LP问题）

minimize⁡cTx+dsubject to Gx⪯hAx=b\begin{array}{ll} \operatorname{minimize} & c^{T} x+d \\ \text { subject to } & G x \preceq h \\ & A x=b \end{array}minimize subject to cTx+dGx⪯hAx=b
一言以蔽之，目标函数和约束条件都是仿射函数。

几何意义（物理意义理解）

在多面体上，沿−c-c−c为法线方向，找到多面体P\mathcal{P}P的支撑超平面。

两种特殊形式（LP问题中被研究较透彻的两个方向）

标准形式的LP问题

不等式约束只有非负约束
minimize⁡cTxsubject to Ax=bx⪰0\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & A x=b \\ & x \succeq 0 \end{array}minimize subject to cTxAx=bx⪰0

一般LP问题如何转化为标准LP问题

第一步：引入松弛变量sss，变不等式约束为等式约束
minimize⁡cTx+dsubject to Gx+s=hAx=bs⪰0\begin{array}{ll} \operatorname{minimize} & c^{T} x+d \\ \text { subject to } & G x+s=h \\ & A x=b \\ & s \succeq 0 \end{array}minimize subject to cTx+dGx+s=hAx=bs⪰0
然而标准形式中的不等式约束是对优化变量来说的，如果到此为止，则只是对松弛变量。所以
第二步：用两个有非负约束的优化变量x=x+−x−x=x^{+}-x^{-}x=x+−x−替代原优化变量xxx，则原优化问题变为：
minimize⁡cTx+−cTx−+dsubject to Gx+−Gx−+s=hAx+−Ax−=bx+⪰0,x−⪰0,s⪰0\begin{array}{ll} \operatorname{minimize} & c^{T} x^{+}-c^{T} x^{-}+d \\ \text { subject to } & G x^{+}-G x^{-}+s=h \\ & A x^{+}-A x^{-}=b \\ & x^{+} \succeq 0, \quad x^{-} \succeq 0, \quad s \succeq 0 \end{array}minimize subject to cTx+−cTx−+dGx+−Gx−+s=hAx+−Ax−=bx+⪰0,x−⪰0,s⪰0
最后写成标准形式：
min⁡[cT−cT0T][x+xs]s.t. [x+x−s]⪰0,[G−GI][x+x−s]=h\begin{aligned} &\min \quad\left[\begin{array}{lll} \mathbf{c}^{T} & -\mathbf{c}^{T} & 0^{T} \end{array}\right]\left[\begin{array}{c} \mathbf{x}_{+} \\ \mathbf{x}_{\mathbf{s}} \end{array}\right]\\ &\text { s.t. }\left[\begin{array}{c} \mathrm{x}_{+} \\ \mathrm{x}_{-} \\ \mathrm{s} \end{array}\right] \succeq 0, \quad\left[\begin{array}{lll} \mathrm{G} & -\mathrm{G} & \mathbf{I} \end{array}\right]\left[\begin{array}{c} \mathrm{x}_{+} \\ \mathrm{x}_{-} \\ \mathrm{s} \end{array}\right]=\mathrm{h} \end{aligned}min[cT−cT0T][x+xs] s.t. ⎣⎡x+x−s⎦⎤⪰0,[G−GI]⎣⎡x+x−s⎦⎤=h

不等式形式的LP问题

即没有等式约束
minimize⁡cTxsubject to Ax⪯b\begin{array}{ll} \operatorname{minimize} & c^{T} x \\ \text { subject to } & A x \preceq b \end{array}minimize subject to cTxAx⪯b

例子

多面体的Chebyshev中心

在多面体中寻找最大的欧式球，多面体表述：
P={x∈Rn∣aiTx≤bi,i=1,…,m}\mathcal{P}=\left\{x \in \mathbf{R}^{n} \mid a_{i}^{T} x \leq b_{i}, i=1, \ldots, m\right\}P={x∈Rn∣aiTx≤bi,i=1,…,m}
欧式球表述：
B={xc+u∣∥u∥2≤r}\mathcal{B}=\left\{x_{c}+u \mid\|u\|_{2} \leq r\right\}B={xc+u∣∥u∥2≤r}
其中xcx_{c}xc为球心，则欧式球在多面体中表述为：
aiT(xc+u)≤bia_{i}^{T}\left(x_{c}+u\right) \leq b_{i}aiT(xc+u)≤bi
其中左式可以继续展开得到欧式球中满足不等式约束的上限：
aiT(xc+u)=aiTxc+aiTu≤aiTxc+∣∣ai∣∣2∣∣u∣∣2≤aiTxc+∣∣ai∣∣2r\begin{aligned} a_{i}^{T}\left(x_{c}+u\right)&=a_{i}^{T}x_{c}+a_{i}^{T}u \\ &\leq a_{i}^{T}x_{c}+||a_{i}||_{2}||u||_{2} \\ &\leq a_{i}^{T}x_{c}+||a_{i}||_{2}r \end{aligned}aiT(xc+u)=aiTxc+aiTu≤aiTxc+∣∣ai∣∣2∣∣u∣∣2≤aiTxc+∣∣ai∣∣2r
所以优化问题为：
maximize rsubject to aiTxc+r∥ai∥2≤bi,i=1,…,m\begin{aligned} &\text { maximize } r\\ &\text { subject to } \quad a_{i}^{T} x_{c}+r\left\|a_{i}\right\|_{2} \leq b_{i}, \quad i=1, \ldots, m \end{aligned} maximize r subject to aiTxc+r∥ai∥2≤bi,i=1,…,m

分片线性最小化

对于无约束分片线性凸函数问题：
f(x)=max⁡i=1,…,m(aiTx+bi)f(x)=\max _{i=1, \ldots, m}\left(a_{i}^{T} x+b_{i}\right)f(x)=i=1,…,mmax(aiTx+bi)
可以转化为LP问题。
首先改写为上境图形式：
minimize tsubject to max⁡i=1,…,m(aiTx+bi)≤t\begin{aligned} &\text { minimize } t\\ &\text { subject to } \max _{i=1, \ldots, m}\left(a_{i}^{T} x+b_{i}\right) \leq t \end{aligned} minimize t subject to i=1,…,mmax(aiTx+bi)≤t
再将约束条件拆开为多个不等式约束
minimize tsubject to (aiTx+bi)≤t\begin{aligned} &\text { minimize } t\\ &\text { subject to } \left(a_{i}^{T} x+b_{i}\right) \leq t \end{aligned} minimize t subject to (aiTx+bi)≤t

线性分式规划

minimize⁡f0(x)=cTx+deTx+fsubject to Gx⪯hAx=b\begin{array}{ll} \operatorname{minimize} & f_{0}(x)=\frac{c^{T} x+d}{e^{T} x+f} \\ \text { subject to } & G x \preceq h \\ & A x=b \end{array}minimize subject to f0(x)=eTx+fcTx+dGx⪯hAx=b
定义域为：dom⁡f0={x∣eTx+f>0}\operatorname{dom} f_{0}=\left\{x \mid e^{T} x+f>0\right\}domf0={x∣eTx+f>0}
该问题为拟线性问题，可以转化为LP问题：
minimize⁡cTy+dzsubject to Gy−hz⪯0Ay−bz=0eTy+fz=1z≥0\begin{array}{ll} \operatorname{minimize} & c^{T} y+d z \\ \text { subject to } & G y-h z \preceq 0 \\ & A y-b z=0 \\ & e^{T} y+f z=1 \\ & z \geq 0 \end{array}minimize subject to cTy+dzGy−hz⪯0Ay−bz=0eTy+fz=1z≥0
优化变量为yyy和zzz。
当原问题有最优解xxx，LP问题最优解为：
y=xeTx+f,z=1eTx+fy=\frac{x}{e^{T} x+f}, \quad z=\frac{1}{e^{T} x+f}y=eTx+fx,z=eTx+f1
当LP最优解为(y,z)\left(y,z \right)(y,z)，则有两种情况：
1.如果z≠0z\neq0z=0，x=yzx=\frac{y}{z}x=zy
2.如果z=0z=0z=0，且有一个最优点x0x_{0}x0，则最优解可表示为for all t>0,x=x0+ty\text{for all }t>0,x=x_{0}+tyfor all t>0,x=x0+ty，此时LP问题的解是线性分式规划最优解的上确界。

广义线性分式规划

f0(x)=max⁡i=1,…,rciTx+dieiTx+fi,dom⁡f0={x∣eiTx+fi>0,i=1,…,r}f_{0}(x)=\max _{i=1, \ldots, r} \frac{c_{i}^{T} x+d_{i}}{e_{i}^{T} x+f_{i}}, \quad \operatorname{dom} f_{0}=\left\{x \mid e_{i}^{T} x+f_{i}>0, i=1, \ldots, r\right\}f0(x)=i=1,…,rmaxeiTx+ficiTx+di,domf0={x∣eiTx+fi>0,i=1,…,r}