为什么L0正则化是一个NP难解问题？

1. 矩阵的L0范数

矩阵的L0范数就是非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏。例如 A=[-1, 2, -3; 4, -6, 6]的L0范数就是：6。

2. 为什么L0可以用来计算非0的个数？

当p 趋近于0的时候，这个函数就只有在x= 0的时候等于0，其他的位置都为1！也就是说，L0-Norm可以用于表达一个向量/矩阵的稀疏性！

3. 求解L0-norm

这个公式与L2-norm有点相似，他俩不同之处如下：

L2-norm的解是唯一的，而且有特定的解决方法。
L0是NP-hard problem，非凸；所以，凸函数的求解方法对他并不适用。

4. 为什么L0正则化是一个NP难解问题(重点来了！)？

举个例子：
假设矩阵 size = 500x2000(n = 500,m = 2000)，如果我们知道稀疏解为20（也就是说有20个非零），要想知道这20个点3.9E+47种可能，每次测试需要1E-9(s),那么需要1.2E+31years ！！

5. PS 顺便复习一下啥是P问题、NP问题

参考自：清华大学版《算法设计与分析》P35~36页
P问题：

NP问题：

参考文献：https://www.jianshu.com/p/58fea4d97b2a 以及
清华大学版《算法设计与分析》P35~36页

为什么L0正则化是一个NP难解问题？相关推荐

《算法之道》精华难解问题部分
<算法之道>精华难解问题部分本书作者邹恒明,作者另有一本书<数据结构之弦>,以及<操作系统之哲学原理>都是很好的书这本书可以算得上是深入浅出,文笔很好,作者添 ...
排序 np_P问题、NP问题、NP完全问题和NP难问题理解
P 问题 P类问题(P:polynominal,多项式):存在多项式时间算法的问题.以排序为例,在排序这个大问题里,是可以找到一种时间复杂度为多项式o(n^2),o(nlogn)的算法(如冒泡排序法, ...
P、NP、NP完全问题、NP难问题
可以在多项式时间内求解的问题称为易解的,而不能在多项式时间内求解的问题称为难解的. P类问题:多项式类型,是一类能够用(确定性的)算法在多项式的时间内求解的判定问题. 只有判定问题才属于P 不可判定问 ...
计算复杂性第九章——难解性
\quad某些计算问题在理论上可解,但是需要耗费大量时间和空间,这样的问题称为难解的,比如NPC问题. 一.层次定理 \quad直观感觉:给图灵机更多的时间或空间就能扩大它所能求解的问题类.例如图灵机 ...
p,np,npc，np难问题，确定图灵机与非确定图灵机
本文转自豆瓣_燃烧的影子图灵机与可计算性图灵(1912~1954)出生于英国伦敦,19岁进入剑桥皇家学院研究量子力学和数理逻辑.1935年,图灵写出了"论高斯误差函数"的论文, ...
NP-Hard？大白话学习P问题、NP问题、NP完全问题和NP难问题
## 该笔记自用为主,记录一些日常学习过程中看到的不熟悉的知识和从未接触过的知识,用于回看和记录.其中有一些个人理解,如有错误请讨论指正. 前言在讨论这一串问题之前,我们需要复习两个概念. 1.多项 ...
算法中的P问题、NP问题、NP难问题和NP完全问题
P问题:该问题存在一个可以在多项式时间内解决该问题的算法.(P:polynominal,多项式) 为什么我们要研究这个?因为计算机处理的输入常常不是那么几十个几千个那么一点点,想象一下,当计算机处理的 ...
P问题，NP问题，NP难问题
转自:https://blog.csdn.net/csshuke/article/details/74909562 有一则程序员界的笑话,就是有一哥们去google面试的时候被问到一个问题是:在什么情 ...
【看了就懂】P问题、NP问题、NP完全问题和NP难问题
为了避免对这四个问题有一定理解基础的人看的很烦,个人简单理解的四个问题: P问题:有多项式时间算法,算得很快的问题. NP问题:算起来不确定快不快的问题,但是我们可以快速验证这个问题的解. NP-co ...