约束最优化方法 (四) 乘子法

由于外部罚函数法随着罚因子的增大，增广目标函数的Hesse矩阵条件变得越来越坏，从而导致在实际计算中，数值计算的稳定性变得越来越差，难以精确求解，乘子法是在约束问题的Lagrange函数中加入相应的惩罚，使得在求解系列无约束问题时，罚因子不必趋于无穷大就能求到约束问题的最优解，而且数值计算的稳定性也能得到很好的保证。理论与实践皆表明，乘子法优于外部罚函数法。

等式约束的情形

考虑等式约束问题，将其写成向量形式为：
minf(x);s.t.h(x)=0min f(x); \\ s.t. \ \ h(x)=0 minf(x);s.t. h(x)=0
其中fff，hhh都是二次连续可微函数，设D={x∣h(x)=0}D=\{x|h(x)=0\}D={x∣h(x)=0}，上式的Lagrange函数是：
L(x,λ)=f(x)−λTh(x)L(x,\lambda)=f(x)-\lambda^{T}h(x) L(x,λ)=f(x)−λTh(x)
设x∗x^{*}x∗是上式的极小点，λ∗\lambda^{*}λ∗是相应的Lagrange乘子，有：
∇xL(x∗，λ∗)=∇f(x∗)−∇h(x∗)λ∗=0∇λL(x∗，λ∗)=h(x∗)=0\nabla_{x}L(x^{*}，\lambda^{*})=\nabla f(x^{*})-\nabla h(x^{*})\lambda^{*}=0 \\ \nabla_{\lambda}L(x^{*}，\lambda^{*})=h(x^{*})=0 ∇xL(x∗，λ∗)=∇f(x∗)−∇h(x∗)λ∗=0∇λL(x∗，λ∗)=h(x∗)=0
注意到，对于∀x∈D\forall x \in D∀x∈D，都有h(x)=0h(x)=0h(x)=0，因此：
f(x∗)=L(x∗,λ∗)≤L(x,λ∗)=f(x)f(x^{*})=L(x^{*},\lambda^{*}) \leq L(x,\lambda^{*})=f(x) f(x∗)=L(x∗,λ∗)≤L(x,λ∗)=f(x)
由此可见，约束问题与下述问题等价：
minL(x,λ∗);s.t.h(x)=0min L(x,\lambda^{*});\\ s.t. \ \ h(x)=0 minL(x,λ∗);s.t. h(x)=0
使用外部罚函数法，其增广目标函数为：
F(x,λ∗,μ)=L(x,λ∗)+μh(x)Th(x)F(x,\lambda^{*},\mu)=L(x,\lambda^{*})+\mu h(x)^{T}h(x) F(x,λ∗,μ)=L(x,λ∗)+μh(x)Th(x)
其实λ∗\lambda^{*}λ∗是未知向量。所以实际上不能求出F(x,λ∗,μ)F(x,\lambda^{*},\mu)F(x,λ∗,μ)的极小点。下面将指出，在求x∗x^{*}x∗的同时，采用迭代的方法也会同时求出λ∗\lambda^{*}λ∗。这就是乘子法的基本思想。

一般约束情形

对于一般约束问题
minf(x),s.t.si(x)≥0,i=1,2,⋯,mhj(x)=0,j=1,2,⋯,lmin f(x), \\ s.t. \ \ s_{i}(x) \geq 0, \ \ i=1,2,\cdots, m\\ h_{j}(x)=0, j = 1,2,\cdots, l minf(x),s.t. si(x)≥0, i=1,2,⋯,mhj(x)=0,j=1,2,⋯,l
仿照前面的推导，可得增广目标函数为：
F(x,v,λ,μ)=F(x)+14μ∑i=1m{[max{0,vi−2μsi(x)}]2−vi2}−∑j=1lλjhj(x)+μ∑j=1l[hj(x)]2F(x,v,\lambda,\mu)=F(x)+\frac{1}{4\mu}\sum_{i=1}^{m}\{[max\{0,v_{i}-2\mu s_{i}(x)\}]^{2}-v_{i}^{2}\}-\sum_{j=1}^{l}\lambda_{j}h_{j}(x)+\mu\sum_{j=1}^{l}[h_{j}(x)]^{2} F(x,v,λ,μ)=F(x)+4μ1i=1∑m{[max{0,vi−2μsi(x)}]2−vi2}−j=1∑lλjhj(x)+μj=1∑l[hj(x)]2
乘子迭代公式为：
vik+1=max{0,vik−2μsi(xk)}，i=1,2,⋯,mλjk+1=λjk−2μhj(xk),j=1,2,⋯,lv_{i}^{k+1}=max\{0,v_{i}^{k}-2\mu s_{i}(x_{k})\}，i=1,2,\cdots ,m \\ \lambda_{j}^{k+1}=\lambda_{j}^{k}-2\mu h_{j}(x_{k}), j=1,2, \cdots, l vik+1=max{0,vik−2μsi(xk)}，i=1,2,⋯,mλjk+1=λjk−2μhj(xk),j=1,2,⋯,l
其中λj\lambda_{j}λj代表的是第jjj等式约束所对应的Lagrange乘子，viv_{i}vi代表的是第iii不等式约束对应的Lagrange乘子，显然vi≥0v_{i}\geq0vi≥0。

我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！