鲁棒最小二乘法的三种优化形式（CVX）

文章目录

数据初始部分
(a) robust least-squares problem
(b)least-squares problem with variable weights
(c)quadratic program
参考

鲁棒最小二乘法的主要思想是对误差大的样本进行抑制，减小他们对结果的影响。这里主要整理一下参考部分的CVX代码思路。这个代码给出了三种等价的优化形式

数据初始部分

测试数据是随机生成的

randn('state',0);
m = 16; n = 8;
A = randn(m,n);
b = randn(m,1);
M = 2;

(a) robust least-squares problem

minimizeβ∑i=1mhuber(βTxi−yi)huber(u)={u2,∣u∣<=MM(2∣u∣−M),∣u∣>M\underset{\beta}{minimize}\sum_{i=1}^{m} huber(\beta^Tx_i - y_i)\\ huber(u)=\left\{\begin{matrix} u^2 ,&|u| <= M \\ M(2|u| - M),& |u| > M \end{matrix}\right. βminimizei=1∑mhuber(βTxi−yi)huber(u)={u2,M(2∣u∣−M),∣u∣<=M∣u∣>M
这里是对他们的误差进行限制，以免回归系数过度偏向误差大的样本造成过拟合，M是一个常数。
当∣βTxi−yi∣>M|\beta^Tx_i - y_i|>M∣βTxi−yi∣>M，令∣u∣=∣βTxi−yi∣=M+v,v>0|u|=|\beta^Tx_i - y_i|=M+v,v>0∣u∣=∣βTxi−yi∣=M+v,v>0,则有M(2∣u∣−M)=M(2(M+v)−M)=M2+2Mv=(M+v)2−v2M(2|u| - M)=M(2(M+v)-M)=M^2+2Mv=(M+v)^2-v^2M(2∣u∣−M)=M(2(M+v)−M)=M2+2Mv=(M+v)2−v2
v视为超出M的部分，为了放缓残差的增长速率，这个函数实际时扔掉了v的二次项

disp('Computing the solution of the robust least-squares problem...');
cvx_beginvariable x1(n)minimize( sum(huber(A*x1-b,M)) )
cvx_end

(b)least-squares problem with variable weights

权值优化

disp('Computing the solution of the least-squares problem with variable weights...');
cvx_beginvariable x2(n)variable w(m)minimize( sum(quad_over_lin(diag(A*x2-b),w'+1)) + M^2*ones(1,m)*w)w >= 0;
cvx_end

这个形式感觉有一些突兀，没有第一种来得直观
先看看误差函数 f(w)=u2/(w+1)+M2∗w,u=βTxi−yi,w>=0f(w)=u^2/(w+1)+M^2*w,u =\beta^Tx_i - y_i,w>=0f(w)=u2/(w+1)+M2∗w,u=βTxi−yi,w>=0

f′(w)=M2−u2/(w+1)2f'(w)=M^2 - u^2/(w + 1)^2f′(w)=M2−u2/(w+1)2

可以看到，当∣u∣<M,f′(w)>0,f(w)|u|<M,f'(w)>0,f(w)∣u∣<M,f′(w)>0,f(w)单调递增，因此极值在w=0w=0w=0处得到，反之，取f′(w)=0⇒w∗=∣u∣M−1f'(w)=0\Rightarrow w^*=\frac{|u|}{M}-1f′(w)=0⇒w∗=M∣u∣−1
因此带入f(w)f(w)f(w)得到

f(w)={u2,∣u∣<=MM(2∣u∣−M),∣u∣>Mf(w)=\left\{\begin{matrix} u^2 ,&|u| <= M \\ M(2|u| - M),& |u| > M \end{matrix}\right.f(w)={u2,M(2∣u∣−M),∣u∣<=M∣u∣>M
等价于huber函数
这里需要说明的是
quad_over_lin(diag(A*x2-b),w’+1)的意思

A∗x2−b∈Rm×1A*x2-b \in \mathbb{R}^{m \times 1}A∗x2−b∈Rm×1属于向量，diagdiagdiag将其转为对角矩阵，对应其对角元素。个人理解纯粹是为了quad_over_lin(x,y)计算

fquad_over_lin(x,y)={xTx/yy>0+∞y≤0f_{\text{quad\_over\_lin}}(x,y) = \begin{cases} x^Tx/y & y > 0 \\ +\infty & y\leq 0 \end{cases} fquad_over_lin(x,y)={xTx/y+∞y>0y≤0

©quadratic program

disp('Computing the solution of the quadratic program...');
cvx_beginvariable x3(n)variable u(m)variable v(m)minimize( sum(square(u) +  2*M*v) )A*x3 - b <= u + v;A*x3 - b >= -u - v;u >= 0;u <= M;v >= 0;
cvx_end

目标值关于v,u的单调递增的函数，因此u和v越小越好

假设有ti=∣AiTx3−bi∣t_i=|A_i^Tx_3 - b_i|ti=∣AiTx3−bi∣，则有0<=ti<=ui+vi0<=t_i<=u_i+v_i0<=ti<=ui+vi
极值条件下，必有ui+vi=tiu_i+v_i=t_iui+vi=ti
vi=ti−ui,vi>=0⇒ui<=tiv_i = t_i-u_i,v_i>=0\Rightarrow u_i<=t_ivi=ti−ui,vi>=0⇒ui<=ti。
优化目标f(ui)=square(ui)+2∗M∗vi)=ui2−2Mui+2Mtif(u_i)=square(u_i) + 2*M*v_i)=u_i^2-2Mu_i+2Mt_if(ui)=square(ui)+2∗M∗vi)=ui2−2Mui+2Mti

一阶导得到f′(ui)=2ui−2Mf'(u_i)=2u_i-2Mf′(ui)=2ui−2M，由于∣0∣<=ui<=M|0|<=u_i<=M∣0∣<=ui<=M
当ui<=Mu_i<=Mui<=M目标单调递减，目标的极值位置取决于t_i

ui∗={∣ti∣,ti<=MM,ti>Mu_i^*=\left\{\begin{matrix} |t_i| ,&t_i <= M \\ M,& t_i > M \end{matrix}\right.ui∗={∣ti∣,M,ti<=Mti>M

相对应的
vi∗={0,ti<=Mti−M,ti>Mv_i^*=\left\{\begin{matrix} 0 ,&t_i <= M \\ t_i-M,& t_i > M \end{matrix}\right.vi∗={0,ti−M,ti<=Mti>M

将最优解带入到优化目标种可以得到
f(u，v)={ti2,ti<=MM(2ti−M),ti>Mf(u，v)=\left\{\begin{matrix} t_i^2 ,&t_i <= M \\ M(2 t_i-M),& t_i > M \end{matrix}\right.f(u，v)={ti2,M(2ti−M),ti<=Mti>M

参考

http://web.cvxr.com/cvx/examples/cvxbook/Ch04_cvx_opt_probs/html/ex_4_5.html#source