凸优化学习笔记（三）：凸优化问题

前言

如果你对这篇文章可感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

文章目录

前言
四、凸优化问题
- 一般优化问题
- 凸优化问题
- - 广义
  - 狭义
  - 重要性质
  - 典型凸问题
  - 问题等价证明
  - 问题转换技巧
- 多目标优化问题

四、凸优化问题

一般优化问题

minimize(min⁡)f0(X)Subjectto(s.t.)fi(X)≤0,i=1,...,Mhi(x)=0,i=1,...,P\begin{aligned} minimize\ (\min) \ & f_0(X) \\ Subject\ to(s.t.) \ & f_i(X)\leq 0, i=1,...,M \\ & h_i(x)=0,i=1,...,P \end{aligned} minimize (min) Subject to(s.t.) f0(X)fi(X)≤0,i=1,...,Mhi(x)=0,i=1,...,P

优化变量 (Optimization Variable)：X∈RnX\in R^nX∈Rn
目标函数 (Objective function)：f0:Rn→Rf_0:R^n\rightarrow Rf0:Rn→R
- 极小化损失函数 (Cost function)
- 极大化效用函数 (Utility function)
不等式约束 (Inequality Constraint)：fi(x)≤0f_i(x)\leq 0fi(x)≤0
等式约束 (Equality Constraint)：hi(x)=0h_i(x)=0hi(x)=0
无约束 (Unconstrained)：m=p=0m=p=0m=p=0
优化问题的域 (domain)：D=⋂i=1mdom(fi)∩⋂i=1pdom(hi)D=\bigcap^m_{i=1}dom(f_i)\cap\bigcap^p_{i=1}dom(h_i)D=⋂i=1mdom(fi)∩⋂i=1pdom(hi)
可行解集 (feasible set)
- x∈Dx\in Dx∈D 为可行解，若 fi(x)≤0,i=1,...,mf_i(x)\leq 0,i=1,...,mfi(x)≤0,i=1,...,m 且 hi(x)=0,i=1,...,ph_i(x)=0,i=1,...,phi(x)=0,i=1,...,p
- Xf={x为可行解}X_f=\{x为可行解\}Xf={x为可行解} 为可行解集
问题的最优值 (Optimal Value)：P∗=inf⁡{f0(x)∣x∈Xf}P^{*}=\inf\{f_0(x)|x\in X_f\}P∗=inf{f0(x)∣x∈Xf}；若 XfX_fXf 为空集，则 P∗P^*P∗ 为正无穷
最优解 (Optimal Point / Solution)：若 x∗x^*x∗ 可行且 f0(x∗)=P∗f_0(x^*)=P^*f0(x∗)=P∗
最优解集 (Optimal Set)：Xopt={x∣x∈Xf,f0(x)=P∗}X_{opt}=\{x|x\in X_f,f_0(x)=P^*\}Xopt={x∣x∈Xf,f0(x)=P∗}
ϵ\epsilonϵ 次优解集 (ϵ\epsilonϵ-Suboptimal Set)：Xϵ={x∣x∈Xf,f0(x)≤p∗+ϵ}X_{\epsilon}=\{x|x\in X_f,f_0(x)\leq p^*+\epsilon\}Xϵ={x∣x∈Xf,f0(x)≤p∗+ϵ}
局部最优解 (locally optimal)：f0(x)=inf⁡{f0(z)∣fi(z)≤0,i=1,...,m;hi(z)=0,i=1,...,p;∣∣z−x∣∣≤R}f_0(x)=\inf\{f_0(z)|f_i(z)\leq 0,i=1,...,m;h_i(z)=0,i=1,...,p;||z-x||\leq R\}f0(x)=inf{f0(z)∣fi(z)≤0,i=1,...,m;hi(z)=0,i=1,...,p;∣∣z−x∣∣≤R}，存在 R>0R>0R>0 使 xxx 局部最优
局部最优解集：XlocX_{loc}Xloc

fi(x)≤0f_i(x)\leq 0fi(x)≤0 而不是 fi(x)<0f_i(x)<0fi(x)<0 的原因在于，<<< 始终可以转化为 ≤\leq≤

凸优化问题

广义

目标函数为凸函数，约束集合为凸集。

狭义

min⁡f0(X)s.t.fi(X)≤0,i=1,...,maiTX=bi,i=1,...,p\begin{aligned} \min \ & f_0(X) \\ s.t. \ & f_i(X)\leq 0, i=1,...,m \\ & a_i^TX=b_i,i=1,...,p \end{aligned} min s.t. f0(X)fi(X)≤0,i=1,...,maiTX=bi,i=1,...,p

目标函数、不等式约束函数均为凸函数
等式约束为仿射函数

重要性质

局部最优 = 全局最优
目标函数可微时，X∗∈XfX^*\in X_fX∗∈Xf 最优 ⇔∇f0T(X∗)(y−X∗)≥0,∀y∈Xf\Leftrightarrow \nabla f_0^T(X^*)(y-X^*)\geq 0,\forall y\in X_f⇔∇f0T(X∗)(y−X∗)≥0,∀y∈Xf

典型凸问题

线性规划 (Linear Programming - LP)：
min⁡cTx+d,c∈Rn,d∈Rs.t.Gx≤h,G∈Rm⋅n,h∈RmAx=b,A∈Rk⋅n,b∈Rk\begin{aligned} \min \ & c^Tx+d,c\in R^n,d\in R \\ s.t. \ & Gx\leq h,G\in R^{m\cdot n},h\in R^m \\ & Ax=b,A\in R^{k\cdot n},b\in R^k \end{aligned} min s.t. cTx+d,c∈Rn,d∈RGx≤h,G∈Rm⋅n,h∈RmAx=b,A∈Rk⋅n,b∈Rk

二次规划 (Quadratic Programming - QP)：

当 PPP 半正定时为凸优化问题
min⁡12xTPx+qTx+rs.t.Gx≤hAx=b\begin{aligned} \min \ & \frac{1}{2}x^TPx+q^Tx+r \\ s.t. \ & Gx\leq h \\ & Ax=b \end{aligned} min s.t. 21xTPx+qTx+rGx≤hAx=b

二次约束二次规划 (Quadratically Constrained Quadratic Programming - QCQP)：
min⁡12xTPx+qTx+r,P∈S+ns.t.xTPix+qiTx+ri≤0,Pi∈S+n,i=1,...,mAx=b\begin{aligned} \min \ & \frac{1}{2}x^TPx+q^Tx+r, P\in S^n_{+} \\ s.t. \ & x^TP_ix+q_i^Tx+r_i\leq 0, P_i\in S^n_{+},i=1,...,m \\ & Ax=b \end{aligned} min s.t. 21xTPx+qTx+r,P∈S+nxTPix+qiTx+ri≤0,Pi∈S+n,i=1,...,mAx=b

半正定规划 (Semi-Definite Programming - SDP)：

矩阵空间的线性优化问题
min⁡tr(CX)s.t.tr(AiX)=bi,i=1,...,pX⪰0,X∈S+n,C,Ai∈Rn⋅n,bi∈R\begin{aligned} \min \ & tr(CX) \\ s.t. \ & tr(A_iX)=b_i,i=1,...,p \\ & X\succeq 0,X\in S^n_{+},C,A_i\in R^{n\cdot n},b_i\in R \end{aligned} min s.t. tr(CX)tr(AiX)=bi,i=1,...,pX⪰0,X∈S+n,C,Ai∈Rn⋅n,bi∈R

问题等价证明

若问题 P1P1P1 与 P2P2P2 等价，则：

P1P1P1 中的一个可行解必对应 P2P2P2 中的一个可行解，且两个可行解对应的目标函数值相等
P2P2P2 中的一个可行解必对应 P1P1P1 中的一个可行解，且两个可行解对应的目标函数值相等

问题转换技巧

x=x+−x−,x+,x−≥0x=x^{+}-x^{-},x^{+},x^{-}\geq 0x=x+−x−,x+,x−≥0，举例 x=[12−1]Tx=[1\ 2\ -1]^Tx=[1 2 −1]T，则 x+=[120]T,x−=[001]Tx^{+}=[1\ 2\ 0]^T,x^{-}=[0\ 0\ 1]^Tx+=[1 2 0]T,x−=[0 0 1]T，可用于 ∣∣x∣∣1⇔ITx++ITx−,x+,x−≥0||x||_1\Leftrightarrow I^Tx^{+}+I^Tx^{-},x^{+},x^{-}\geq 0∣∣x∣∣1⇔ITx++ITx−,x+,x−≥0

多目标优化问题

min⁡f0(X)s.t.fi(X)≤0,i=1,...,mhi(x)=0,i=1,...,pf0:Rn→Rq,fi:Rn→R,hi:Rn→R\begin{aligned} \min \ & f_0(X) \\ s.t. \ & f_i(X)\leq 0, i=1,...,m \\ & h_i(x)=0,i=1,...,p \\ & f_0:R^n\rightarrow R^q,f_i:R^n\rightarrow R,h_i:R^n\rightarrow R \end{aligned} min s.t. f0(X)fi(X)≤0,i=1,...,mhi(x)=0,i=1,...,pf0:Rn→Rq,fi:Rn→R,hi:Rn→R

转单目标优化问题：

若 {f0(x)}\{f_0(x)\}{f0(x)} 在 RkR^kRk 中为凸，f(x)f(x)f(x) 为凸，hi(x)h_i(x)hi(x) 为仿射，则必可通过下述方法求得 Pareto front（帕利托最优面）中一点
通过遍历 {λi}\{\lambda_i\}{λi} 可找出所有点
min⁡∑i=1qλf0i(X),λi≥0s.t.fi(X)≤0,i=1,...,mhi(x)=0,i=1,...,pf0:Rn→Rq,fi:Rn→R,hi:Rn→R\begin{aligned} \min \ & \sum\limits_{i=1}^q \lambda f_{0i}(X),\lambda_i\geq 0 \\ s.t. \ & f_i(X)\leq 0, i=1,...,m \\ & h_i(x)=0,i=1,...,p \\ & f_0:R^n\rightarrow R^q,f_i:R^n\rightarrow R,h_i:R^n\rightarrow R \end{aligned} min s.t. i=1∑qλf0i(X),λi≥0fi(X)≤0,i=1,...,mhi(x)=0,i=1,...,pf0:Rn→Rq,fi:Rn→R,hi:Rn→R

岭回归 (Ridge Regression) 举例：

下述三种表示方式等价
A∈Rm⋅n,x∈Rn,b,e∈RmA\in R^{m\cdot n},x\in R^n,b,e\in R^mA∈Rm⋅n,x∈Rn,b,e∈Rm
min⁡∣∣b−Ax∣∣22min⁡∣∣x∣∣22⇔\begin{aligned} \min \ & ||b-Ax||^2_2\\ \min \ & ||x||_2^2 \\ \end{aligned}\Leftrightarrow min min ∣∣b−Ax∣∣22∣∣x∣∣22⇔
min⁡∣∣b−Ax∣∣22+λ∣∣x∣∣22⇔\begin{aligned} \min \ & ||b-Ax||^2_2+\lambda ||x||_2^2\\ \end{aligned}\Leftrightarrow min ∣∣b−Ax∣∣22+λ∣∣x∣∣22⇔
min⁡∣∣b−Ax∣∣22s.t.∣∣x∣∣22≤ϵ\begin{aligned} \min \ & ||b-Ax||^2_2\\ s.t. \ & ||x||_2^2\leq \epsilon \\ \end{aligned} min s.t. ∣∣b−Ax∣∣22∣∣x∣∣22≤ϵ