L0/L1/L2/Lp/L∞范数的联系与区别

向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。

向量的范数定义：向量的范数是一个函数||x||,满足非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。

常用的向量的范数：

L0范数：||x||0为x向量各个非零元素的个数。
||x|| 0 =#(i) with x i ≠0 。
也就是如果我们使用L0范数，即希望w的大部分元素都是0. （w是稀疏的）所以可以用于ML中做稀疏编码，特征选择。通过最小化L0范数，来寻找最少最优的稀疏特征项。但不幸的是，L0范数的最优化问题是一个NP hard问题，而且理论上有证明，L1范数是L0范数的最优凸近似，因此通常使用L1范数来代替。

L1范数: ||x||1 为x向量各个元素绝对值之和。
||x|| 1 =∑ |x i |
L1范数的解通常是稀疏性的，倾向于选择数目较少的一些非常大的值或者数目较多的insignificant的小值。

L2范数: ||x||2为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数（欧氏距离）或者Frobenius范数
L2范数越小，可以使得w的每个元素都很小，接近于0，但与L1范数不同的是他不会让它等于0而是接近于0.
由于L1范数并没有平滑的函数表示，起初L1最优化问题解决起来非常困难，但随着计算机技术的到来，利用很多凸优化算法使得L1最优化成为可能。

Lp范数: ||x||为x向量各个元素绝对值p次方和的1/p次方
L∞范数: ||x||为x向量各个元素绝对值最大那个元素的绝对值

L0/L1/L2/Lp/L∞范数的联系与区别相关推荐

对抗攻击笔记03：l0，l2，l∞范数
攻击成功率只能从一定程度表明对抗样本的质量,工程和科研中还需要使用更多的指标来量化对抗样本的质量,其中最常用的是扰动的l0和l2范数 l0范数 l0范数是指向量中非0的元素的个数,因此扰动的lo范数指 ...
浅谈L0,L1,L2范数及其应用
原文传送门:浅谈L0,L1,L2范数及其应用浅谈L0,L1,L2范数及其应用在线性代数,函数分析等数学分支中,范数(Norm)是一个函数,其赋予某个向量空间(或矩阵)中的每个向量以长度或大小.对于 ...
机器学习基础-23:矩阵理论(L0/L1/L2范数等)
机器学习基础-23:矩阵理论(L0/L1/L2范数等) 机器学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读! 线性代数是数学的一个分支,广泛应用于科学和工程领域.线性代数和矩阵理论是机器学 ...
Lasso回归系列三：机器学习中的L0, L1, L2, L2,1范数
L0, L1, L2, L2,1范数机器学习中的范数定义不同于数学中的定义. 对于向量xxx (x=[x1,x2,x3,...xm]x=[x_1,x_2,x_3,... x_m]x=[x1,x2 ...
机器学习中的规则化范数(L0, L1, L2, 核范数)
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题.这里因为篇幅比较庞大,为了不吓到大家,我将这个五个 ...
python 怎么算l2范数_向量范数与矩阵范数（L0, L1, L2）
直观理解在实数域中,数的大小和两个数之间的距离是通过绝对值来度量的.在解析几何中,向量的大小和两个向量之差的大小是"长度"和"距离"的概念来度量的.为了对矩阵 ...
正则化与L0,L1,L2范数简介
参考:机器学习中的范数规则化之(一)L0.L1与L2范数 1. 常见的范数 1.1 L0 范数向量中非零元素的个数,即稀疏度,适合稀疏编码,特征选择. 1.2 L1 范数又叫曼哈顿距离或最小绝对误 ...
对抗攻击样本范数：L0，L2，L∞
1) L0范数 : 非0 元素的个数: 对抗样本扰动的非0元素的个数: 2) L2范数 : 各元素的平方和再开方: 对抗样本扰动的各元素的平方和再开方,针对图像数据,L2范数越小表示对抗样本 ...
向量L0、L1、L2、L∞范数，矩阵F-范数
一.向量范数向量范数表征向量空间的大小. 二.矩阵范数

L0/L1/L2/Lp/L∞范数的联系与区别

L0/L1/L2/Lp/L∞范数的联系与区别相关推荐

最新文章

热门文章