6.1范数逼近

基本的范数逼近问题
罚函数逼近

基本的范数逼近问题

$minimize \, \,\begin{Vmatrix}Ax-b \end{Vmatrix}$

其中 $A \in R^{m\times n},m\geq n$ ，且 $\begin{Vmatrix} \cdot \end{Vmatrix}$ 是 $R^m$ 一种范数。

范数逼近问题的解有时又被称为 $Ax\approx b$ 在范数 $\begin{Vmatrix} \cdot \end{Vmatrix}$ 的近似解。

$r=Ax-b$ 表示问题的残差。

解释：

（1）几何解释：在A的列空间上找到一个在范数 $\begin{Vmatrix} \cdot \end{Vmatrix}$ 下离b最近的点。

（2）估计的解释：假设y=Ax+v，y是测量值，v是噪声，x是待估计的参数向量。给定y=b，找到最好的估计值 $x^*$ ，使得 $\begin{Vmatrix} Ax^*-b\end{Vmatrix}$ 最小。

（3）设计的解释：x是设计变量，b是期望得到的最好的结果，而Ax是实际的结果，找到最好的设计值 $x^*$ ，使得 $\begin{Vmatrix} Ax^*-b\end{Vmatrix}$ 最小。

例子

（1）最小二乘逼近：

$minimize \, \,f(x)=\begin{Vmatrix} Ax-b\end{Vmatrix}_2^2=r_1^2+r_2^2+\cdots+r_m^2=x^TA^TAx-2b^TAx+b^Tb$

对x极小化目标函数， $\bigtriangledown _xf(x)=2A^TAx-2A^Tb$ ，令其为0，得到 $A^TAx=A^Tb$ ，解得 $x^*=(A^TA)^{-1}A^Tb$

（2）Chebyshev或极小极大逼近

$minimize \,\, \begin{Vmatrix} Ax-b\end{Vmatrix}_\infty =max\left \{|r_1|,|r_2|,\cdots ,|r_m|\right \}$

问题试图极小化最大残差，故称为极小极大逼近问题。该问题可以描述为一个线性规划：

$minimize \, \, t \\ subject \, \, to \,\, -t\boldsymbol{1}\preceq Ax-b\preceq t\boldsymbol{1}$

其中 $x\in R^n,t\in R$ ，约束的意思就是Ax-b的任意分量都在 $[-t\boldsymbol{1},t\boldsymbol{1}]$ 之间。这里 $-t\boldsymbol{1}=\begin{bmatrix} -t\\ -t\\ \vdots \\ -t \end{bmatrix}$

（3）残差绝对值之和逼近

$minimize \,\, \begin{Vmatrix} Ax-b\end{Vmatrix}_1 =|r_1|+|r_2|+\cdots +|r_m|$

在估计领域，称为一种鲁棒估计器。

$minimize \, \, \boldsymbol{1}^Tt \\ subject \, \, to \,\, -t\preceq Ax-b\preceq t$

其中 $x\in R^n,t\in R^m$ ，不同于极小极大逼近问题，这里 $t$ 的分量不一定是相等的。

罚函数逼近

罚函数逼近问题具有形式：

$minimize \, \, \phi (r_1)+\phi (r_2)+\cdots +\phi(r_m)\\ subject \, \, to \,\, r=Ax-b$

其中r是残差， $r_i$ 是残差的第i个分量， $\phi:R\rightarrow R$ 称为残差罚函数，设 $\phi$ 是凸函数， $\phi$ 表示对每个残差的每个分量的费用或惩罚。在多数情况下，罚函数是对称，非负的，且满足 $\phi(0)=0$ .

例子：

（1）带有四区的线性罚函数： $\phi(u)=\left\{\begin{matrix} 0 &|u|\leq a \\ |u|-a & |u|>a \end{matrix}\right.$ ，即对小于a的残差不惩罚。

（2）对数障碍罚函数： $\phi(u)=\left\{\begin{matrix} -a^2log(1-(u/a)^2) &|u|< a \\ \infty & |u|\geq a \end{matrix}\right.$ ，对大于a的残差给与无穷大惩罚。

（3）二次罚函数： $\phi(u)=u^2$

下图给出了选取矩阵 $A \in R^{100\times 30},b \in R^{100}$ ，然后比较 $Ax\approx b$ 的一范数，二范数逼近结果，以及带有死区的罚函数(a=0.5)和对数障碍罚函数(a=1)的结果:

Huber罚函数

$\phi(u)=\left\{\begin{matrix} u^2 &|u|\leq M \\ M(2|u|-M) & |u|>M \end{matrix}\right.$

在 $|u|\leq M$ 时，是二次罚函数，而在 $|u|>M$ 时，类似线性罚函数。

M=1时Huber罚函数的图像如下：

Huber罚函数在实际问题中效果非常好。

上图实线是Huber罚函数的拟合结果，而虚线是直线 $f(t)=\alpha +\beta t$ 对42个点的最小二乘拟合结果。可以看出最小二乘拟合结果偏离了实际的位置。这是因为在图中有两个野值 $y_1,y_2$ ，且野值大于M，此时最小二乘对野值的惩罚是 $y_1^2,y_2^2$ ，较大，所以会使原来拟合的直线想野值方向旋转，即从实线向虚线变化，而Huber罚函数对野值的惩罚较小，所以影响也较小，从而会得到很好的效果。

凸优化第六章逼近与拟合 6.1范数逼近相关推荐

凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...
凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
凸优化_Stephen_Boyd_
AI 菌由于凸优化在机器学习中还是很重要链接:http://pan.baidu.com/s/1eS3vuLk 密码:3epx 理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介 ...

凸优化第六章逼近与拟合 6.1范数逼近

6.1范数逼近

基本的范数逼近问题

例子

罚函数逼近

例子：

Huber罚函数

凸优化第六章逼近与拟合 6.1范数逼近相关推荐

最新文章

热门文章