1：解决的问题模型如下：

 
或者约束条件可以适当的松弛，即为如下模型： 
 
当然约束条件取范数，数据获取的比较准确，结果逼近的效果更好，防止过拟合。如果取 范数，则是获取的数据，受到污染比较严重。并且 本身就是稀疏的。这也是人的经验对于模型的成功也是很重要的。 
2：几类优化算法 
(1)梯度投影算法Gradient Projection Methods 
原问题可以变为如下问题： 
 
下面介绍两种方法对其进行处理。 
i)上式又等价于： 

 
所以就有如下记号和约定： 
 
更新 时沿着负梯度的方向下降最快。但是只是局部最小值。 
 
其中 是步长，可以用线搜索的方法来确定最优步长。 
下介绍第二种方法 truncated Newton interior-point method. 
ii)上式又等价于： 
 
利用内点法的把约束条件给罚到目标函数上去。 
在这里我们对约束条件利用logarithmic barrier函数进行改写。 
 
在这里，我们可以看到当 越接近的时候，函数值会变得越大。当 无限趋近于时，则函数值无限趋于无穷大。所以只有当 趋近于0时候，函数值才趋近于一个常数。 
所以上式可以等价于如下模型： 

然后利用牛顿算法进行求解计算。

(2)迭代阈值收缩算法 Iterative Shrinkage-Thresholding Methods 
对于一般的模型： 
 
其中：

对 二次近似。则问题转变成如下： 
 
可以适用迭代阈值算法。关于l_{1}范数最优化的迭代阈值算法的证明可以参见我的另一篇博客

(3)近端梯度算法 Proximal gradient method 
其处理的模型如下： 
 
其中是连续可微的，微分函数满足利普希茨条件成立： 
 
其中相当于代替的二阶偏导。 
那么可以进行如下算法来解决问题： 
 
说明： 
第一步的更新：按照沿着负梯度的方向下降最快 
第二步的更新：有数值解，进行软阈值操作。 
(4)交替方向法 Alternating Direction Methods 
其实利用的是拉格朗日算法，来进行更新出来。解决的模型如下： 
 
其拉格朗日函数如下： 
 
问题变为分别最小化。 
说明： 
更新时，固定，直接求导，有数值解。 
更新 时，固定经过化简，可以运用软阈值进行操作计算。 
更新时，固定，直接求导，有数值解。

l1范数最小化快速算法【文献阅读】相关推荐

  1. l1范数最小化快速算法

    1:解决的问题模型如下: 或者约束条件可以适当的松弛,即为如下模型: 当然约束条件取

  2. 稀疏优化L1范数最小化问题求解之基追踪准则(Basis Pursuit)——原理及其Python实现

    文章目录 一.前言 二.问题重述 三.构造 ℓ1\ell_1ℓ1​ 范数 四.ℓ1\ell_1ℓ1​ 范数最小化问题转换为线性规划问题 五.基于linprog的基追踪Python代码 六.运行测试 七 ...

  3. 三维网格去噪算法（L0范数最小化，包含二维图像去噪）

    参考文章(技术来源):Mesh denoising via L0 minimization 上面参考文章提出了一种基于L0范数最小化的三角网格去噪算法.该思想由二维图像平滑引申而来,所以先从基于L0范 ...

  4. l20范数最小化求解系数方程_贪婪组稀疏方法(Greedy group sparsity)

    l20范数最小化求解系数方程_贪婪组稀疏方法(Greedy group sparsity) 本文章部分参考Fast group sparse classification l20范数最小化求解系数方程 ...

  5. 压缩感知的尽头: 原子范数最小化

    文章目录 前言 问题建模 Toeplitz 矩阵的范德蒙德分解 DOA估计的一般框架 ℓ0\ell_0ℓ0​-原子范数 ℓ0\ell_0ℓ0​-原子范数 与 范德蒙德分解 原子范数 多维原子范数 证明 ...

  6. PSO算法文献阅读笔记

    粒子群算法读书笔记精读 2020<电子信息学报>基于非线性降维的自然计算方法 孙小晴(2020-04-28) 1针对问题 高维大规模优化问题,陷入局部最优与收敛速度和时间复杂度的矛盾. 2 ...

  7. 【计算机视觉】运动目标检测算法文献阅读笔记

    先前在博客中对常见的运动目标检测算法有写过一篇总结,详情请参考:http://blog.csdn.NET/kezunhai/article/details/8830787.本文是在校期间写的部分阅读笔 ...

  8. 图像处理-基于图像梯度L0范数最小化(L0smooth)的保护边缘平滑滤波

    算法程序备注: (1)下面是对一幅自然图像进行处理的结果: 可以看到图像有非常明显的变化,图像分成了一块一块,这是图像平滑后的结果,因为保护了边界,因此明显的边界仍然存在,但是不可避免的细节部分被磨平 ...

  9. 超定线性方程组Ax=b极小L1范数求解——MATLAB/Python实现

    文章目录 一.前言 二.问题重述 二.极小模剩余向量的性质及求法 三.基于基追踪准则的一种求解算法 四.算法伪码 五.超定线性方程组极小 ℓ1\ell_1ℓ1​ 范数求解Python代码 六.检验与测 ...

最新文章

  1. SqlServer一些用法
  2. 完全卸载 RAC_clusterware的方法
  3. apache2怎么知道从哪个默认文件夹下去查找网页
  4. [文摘]标准的软件开发过程
  5. android时间最大,Android TimePickerDialog设置最大时间
  6. 开发指南专题二：JEECG微云快速开发平台JEECG框架初探
  7. 如何访问云端的tcpserver_Swoole: TcpServer+SocketServer+EMQTT组合，实现基础设备控制
  8. chart.js 饼图显示百分比_Excel制作华夫饼图，其实很简单
  9. 怎么样抓取微信小程序
  10. 如何制作纯净的U盘启动盘
  11. item_search - 按关键字搜索EBAY商品
  12. 基于anbox的云游戏技术简介
  13. 交互媒体专题设计——技术预演与方案设计
  14. Word——论文排版技巧总结
  15. 怎么注册购买163VIP邮箱
  16. 【连通域检测】基于形态学处理的连通区域检测matlab仿真
  17. sklearn.neighbors.KNeighborsClassifier函数详解
  18. NYOJ 题目239 月老的难题 （二分图最大匹配-匈牙利算法模板）
  19. android将pdf文件转换成Bitmap，并将bitmap以图片的 方式保存到相册。
  20. linkedlist链表结构原理

热门文章

  1. python 消息队列 sqlite_sqlite 数据存储 消息队列
  2. 一天1个机器学习知识点（四）
  3. 你一定不知道的 Linux 使用技巧
  4. IntelliJ IDEA 推荐设置讲解
  5. java.lang.NoSuchMethodError: org.junit.runner.Description.getClassName()Ljava/lang/String;
  6. mysql. Oracle创建视图,Navicat 教程：Oracle 视图
  7. 面试官：缓存穿透、缓存雪崩和缓存击穿是什么？
  8. java使用ZipOutputStream对文件进行压缩
  9. Oracle中的Rowid
  10. 测试u盘信息软件,U盘检测器