L0/L1/L2/无穷范数

L0范数：向量中非零元素的个数

L1范数：向量中各个元素绝对值的和

L2范数：向量中元素平方的和，再开方；即向量的模长

无穷范数：向量中各个元素绝对值的最大值

关于范数，有个好文章：http://blog.csdn.net/zouxy09/article/details/24971995

重要部分贴过来（感谢作者）：

好了，这里兑现上面的承诺，来直观的聊聊L1和L2的差别，为什么一个让绝对值最小，一个让平方最小，会有那么大的差别呢？我看到的有两种几何上直观的解析：

1）下降速度：

我们知道，L1和L2都是规则化的方式，我们将权值参数以L1或者L2的方式放到代价函数里面去。然后模型就会尝试去最小化这些权值参数。而这个最小化就像一个下坡的过程，L1和L2的差别就在于这个“坡”不同，如下图：L1就是按绝对值函数的“坡”下降的，而L2是按二次函数的“坡”下降。所以实际上在0附近，L1的下降速度比L2的下降速度要快。所以会非常快得降到0。不过我觉得这里解释的不太中肯，当然了也不知道是不是自己理解的问题。

L1在江湖上人称Lasso，L2人称Ridge。不过这两个名字还挺让人迷糊的，看上面的图片，Lasso的图看起来就像ridge，而ridge的图看起来就像lasso。

2）模型空间的限制：

实际上，对于L1和L2规则化的代价函数来说，我们可以写成以下形式：

也就是说，我们将模型空间限制在w的一个L1-ball 中。为了便于可视化，我们考虑两维的情况，在(w1, w2)平面上可以画出目标函数的等高线，而约束条件则成为平面上半径为C的一个 norm ball 。等高线与 norm ball 首次相交的地方就是最优解：

可以看到，L1-ball 与L2-ball 的不同就在于L1在和每个坐标轴相交的地方都有“角”出现，而目标函数的测地线除非位置摆得非常好，大部分时候都会在角的地方相交。注意到在角的位置就会产生稀疏性，例如图中的相交点就有w1=0，而更高维的时候（想象一下三维的L1-ball 是什么样的？）除了角点以外，还有很多边的轮廓也是既有很大的概率成为第一次相交的地方，又会产生稀疏性。

相比之下，L2-ball 就没有这样的性质，因为没有角，所以第一次相交的地方出现在具有稀疏性的位置的概率就变得非常小了。这就从直观上来解释了为什么L1-regularization 能产生稀疏性，而L2-regularization 不行的原因了。

因此，一句话总结就是：L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。Lasso在特征选择时候非常有用，而Ridge就只是一种规则化而已。

L0/L1/L2/无穷范数相关推荐

L0,L1,L2 无穷范数
L0范数:向量中非零元素的个数 L1范数:向量中各个元素绝对值的和 L2范数:向量中元素平方的和,再开方:即向量的模长无穷范数:向量中各个元素绝对值的最大值
机器学习中的规则化范数(L0, L1, L2, 核范数)
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题.这里因为篇幅比较庞大,为了不吓到大家,我将这个五个 ...
Lasso回归系列三：机器学习中的L0, L1, L2, L2,1范数
L0, L1, L2, L2,1范数机器学习中的范数定义不同于数学中的定义. 对于向量xxx (x=[x1,x2,x3,...xm]x=[x_1,x_2,x_3,... x_m]x=[x1,x2 ...
浅谈L0,L1,L2范数及其应用
原文传送门:浅谈L0,L1,L2范数及其应用浅谈L0,L1,L2范数及其应用在线性代数,函数分析等数学分支中,范数(Norm)是一个函数,其赋予某个向量空间(或矩阵)中的每个向量以长度或大小.对于 ...
机器学习基础-23:矩阵理论(L0/L1/L2范数等)
机器学习基础-23:矩阵理论(L0/L1/L2范数等) 机器学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读! 线性代数是数学的一个分支,广泛应用于科学和工程领域.线性代数和矩阵理论是机器学 ...
L0/L1/L2/Lp/L∞范数的联系与区别
向量的范数可以简单形象的理解为向量的长度,或者向量到零点的距离,或者相应的两个点之间的距离. 向量的范数定义:向量的范数是一个函数||x||,满足非负性||x|| >= 0,齐次性||cx|| ...
正则化与L0,L1,L2范数简介
参考:机器学习中的范数规则化之(一)L0.L1与L2范数 1. 常见的范数 1.1 L0 范数向量中非零元素的个数,即稀疏度,适合稀疏编码,特征选择. 1.2 L1 范数又叫曼哈顿距离或最小绝对误 ...
机器学习中的范数理解(L0,L1,L2)
监督机器学习就是规则化参数的同时最小化误差. 有监督学习的样本都是带有标签的样本,用 yyy 来表示样本的标签,我们通过算法来提取样本特征并对其进行分类或回归,得到结果 y1=WTx" ro ...
python 怎么算l2范数_向量范数与矩阵范数（L0, L1, L2）
直观理解在实数域中,数的大小和两个数之间的距离是通过绝对值来度量的.在解析几何中,向量的大小和两个向量之差的大小是"长度"和"距离"的概念来度量的.为了对矩阵 ...

L0/L1/L2/无穷范数

L0/L1/L2/无穷范数相关推荐

最新文章

热门文章