【计算机数学】二次规划（QP）问题

非线性最优化

最优化的问题的一般形式是：
Min⁡f(x)s.t. x∈X\operatorname{Min} f(\mathbf{x}) \ \text { s.t. }\mathbf{x} \in X Minf(x) s.t. x∈X
f(x)f(\mathbf{x})f(x)为目标函数，x∈En\mathbf{x}\in E^nx∈En为可行域。如果x=En\mathbf{x}=E^nx=En，则以上最优化问题为无约束最优化问题。

约束最优化问题通常写为：
Min⁡f(x)s.t. ci(x)=0,i∈Eci(x)≥0,i∈I\begin{array}{l} \operatorname{Min} f(\mathbf{x}) \\\\ \text { s.t. } \mathrm{c}_{i}(\mathbf{x})=0, i \in E \\\\ \quad \mathrm{c}_{i}(\mathbf{x}) \geq 0, i \in I \end{array} Minf(x) s.t. ci(x)=0,i∈Eci(x)≥0,i∈I
其中E,IE,IE,I分别为等式约束的指标集和不等式约束的指标集，ci(x)c_i(\mathbf{x})ci(x)是约束函数。

无约束二次最优化

min⁡f(x)=1/2xTHx+cTx,x∈Rn\min f(\mathbf{x})=1 / 2 \mathbf{x}^{\mathrm{T}} H \mathbf{x}+\mathbf{c}^{\mathrm{T}} \mathbf{x}, \mathbf{x} \in R^{n} minf(x)=1/2xTHx+cTx,x∈Rn
HHH是对称矩阵。
基本解法：求导然后找局部极值。

二次规划的一般形式

min⁡f(x)=1/2xTHx+cTx,x∈Rns.t. Ax≤b\begin{aligned} &\min f(\mathbf{x})=1 / 2 \mathbf{x}^{\mathrm{T}} H \mathbf{x}+\mathbf{c}^{\mathrm{T}} \mathbf{x}, \mathbf{x} \in R^{n}\\\\ &\text { s.t. } A \mathbf{x} \leq \mathbf{b} \end{aligned} minf(x)=1/2xTHx+cTx,x∈Rn s.t. Ax≤b
当HHH为对称矩阵时，被称为二次规划（Quadratic Programming，QP）。
特别地，当H正定时，目标函数为凸函数，线性约束下可行域又是凸集。上式被称为凸二次规划。
问题（1）：
min⁡f(x)=1/2xTHx+cTx,x∈Rns.t. aiTx≥bi,i∈IaiTx=bi,i∈E\begin{array}{l} \min f(\mathbf{x})=1 / 2 \mathbf{x}^{\mathrm{T}} H \mathbf{x}+\mathbf{c}^{\mathrm{T}} \mathbf{x}, \mathbf{x} \in R^{n} \\\\ \text { s.t. } \boldsymbol{a}_{i}^{T} \boldsymbol{x} \geq b_{i}, i \in I \\\\ \quad\quad \boldsymbol{a}_{i}^{T} \boldsymbol{x}=b_{i}, i \in E \end{array} minf(x)=1/2xTHx+cTx,x∈Rn s.t. aiTx≥bi,i∈IaiTx=bi,i∈E

二次规划的性质

QP是一种最简单的非线性规划。QP有如下良好的性质，当H是半正定时：

K-T条件是最优解的充要条件。
局部最优解就是全局最优解。

等式约束下的二次规划

问题（2）：min⁡f(x)=1/2xTHx+cTx,x∈Rns.t. Ax=b\begin{aligned} &\min f(\mathbf{x})=1 / 2 \mathbf{x}^{\mathrm{T}} H \mathbf{x}+\mathbf{c}^{\mathrm{T}} \mathbf{x}, \mathbf{x} \in R^{n}\\ &\text { s.t. } A \mathbf{x}=\mathbf{b} \end{aligned} minf(x)=1/2xTHx+cTx,x∈Rn s.t. Ax=b
求解方法：Lagrange乘子法，求解以下无约束二次最优化问题。
L(x,λ)=12xTHx+cTx+λT(Ax−b)L(\mathbf{x}, \lambda)=\frac{1}{2} \mathbf{x}^{\mathrm{T}} H \mathbf{x}+\mathbf{c}^{\mathrm{T}} \mathbf{x}+\lambda^{\mathrm{T}}(A \mathbf{x}-\mathbf{b}) L(x,λ)=21xTHx+cTx+λT(Ax−b)
令L(x,λ)L(\mathbf{x}, \lambda)L(x,λ)对x,λ\mathbf{x},\lambdax,λ的导数为零，得到线性方程组：
Hx+cT+ATλ=0Ax−b=0\begin{aligned} &H \mathbf{x}+\mathbf{c}^{\mathrm{T}}+A^{\mathrm{T}} \lambda=0\\ &A \mathbf{x}-\mathbf{b}=\mathbf{0} \end{aligned} Hx+cT+ATλ=0Ax−b=0
可解得x\mathbf{x}x，即为上式的解。

凸二次规划的有效集方法

直观解释：
将不起作用的约束去掉，将起作用约束作为等式约束，通过解一系列等式约束的二次规划来实现不等式约束的优化。
基本原理：
若x\mathbf{x}x是问题（1）的最优解，则它也是问题（3）：
min⁡12xTHx+cTxs.t. aiTx=bi,i∈I\begin{array}{l} \min \frac{1}{2} \mathbf{x}^{\mathrm{T}} H \mathbf{x}+\mathbf{c}^{\mathrm{T}} \mathbf{x} \\\\ \text { s.t. } \mathbf{a}_{i}^{\mathrm{T}} \mathbf{x}=b_{i}, i \in I \end{array} min21xTHx+cTx s.t. aiTx=bi,i∈I的最优解，其中III是起作用约束指标集（有效集）。反之，若x\mathbf{x}x是问题（1）的可行解，又是（3）的K-T点，且相应的乘子λi≥0\lambda_{i} \geq 0λi≥0，则x\mathbf{x}x是问题（1）的最优解。

算法步骤（迭代法）：

设当前迭代点为xk\mathbf{x}_kxk，它也是（1）的可行解。该点的有效集记作IkI_kIk，为寻求xk\mathbf{x}_kxk点的迭代方向d\mathbf{d}d，用乘子法求解
min⁡12(xk+d)TH(xk+d)+cT(xk+d)s.t. aiTd=0,i∈Ik\begin{array}{l} \min \frac{1}{2}\left(\mathbf{x}_{k}+\mathbf{d}\right)^{\mathrm{T}} H\left(\mathbf{x}_{k}+\mathbf{d}\right)+\mathbf{c}^{\mathrm{T}}\left(\mathbf{x}_{k}+\mathbf{d}\right) \\ \\\text { s.t. } \mathbf{a}_{i}^{\mathrm{T}} \mathbf{d}=0, i \in I_{k} \end{array} min21(xk+d)TH(xk+d)+cT(xk+d) s.t. aiTd=0,i∈Ik
- 若所得最优值dk=0\mathbf{d}_k=0dk=0，则xk\mathbf{x}_kxk是（3）的最优解。
  - 为判断它是否（1）的最优解，考察对应于有效约束的乘子λi≥0\lambda_{i} \geq 0λi≥0是否成立。若成立，则xk\mathbf{x}_kxk是K-T点，由二次规划性质xk\mathbf{x}_kxk是（1）的最优解。
- 若所得最优值dk≠0\mathbf{d}_k≠0dk=0，则取xk+1=xk+αdk\mathbf{x}_{k+1}=\mathbf{x}_{k}+\alpha \mathbf{d}_{k}xk+1=xk+αdk，在xk+1\mathbf{x}_{k+1}xk+1为可行点的条件下确定dk\mathbf{d}_kdk方向的步长αk\alpha_kαk
  - 如果存在ppp不在IkI_{k}Ik中，使得apxk+1=bp\mathbf{a}_{p} \mathbf{x}_{k+1}=\mathrm{b}_{p}apxk+1=bp，则将ppp加入有效集
  - 如果存在IkI_{k}Ik中的指标qqq，使得λi<0\lambda_i<0λi<0，则xk\mathbf{x}_{k}xk不是最优解，从有效集中去掉q。

可行步长的选取：阻塞约束

αk=min⁡{1,min⁡i∉Ik,aiTdk<0bi−aiTxkaiTdk}\alpha_{k}=\min \left\{1, \min _{i \notin I_{k}, \mathbf{a}_{i}^{T} \mathbf{d}_{k}<0} \frac{b_{i}-\mathbf{a}_{i}^{T} \mathbf{x}_{k}}{\mathbf{a}_{i}^{T} \mathbf{d}_{k}}\right\} αk=min{1,i∈/Ik,aiTdk<0minaiTdkbi−aiTxk}
αk=1\alpha_{k}=1αk=1时，对应约束集不影响，保持不变
αk<1\alpha_{k}<1αk<1时，对应约束称为阻塞约束，此时沿着dk\mathbf{d}_{k}dk运动，会被不在指标集中的约束给阻塞了，约束集因此改变。