有关l2,1范数作用的理解--正则化项作用，不同于l1范数（矩阵元素绝对值之和）的稀疏要求，l21范数还要求行稀疏

2024-06-08 10:02:41

今天和导师讨论问题的时候，说到了l21范数。导数希望我能解释一下，我明白它的作用可是我知道我没有向老师解释清楚，有些失落。今晚就自己总结一下吧，希望下次再有人问我这个问题的时候我能向别人解释清楚。

先看上面l21范数的定义，注意原始矩阵是n行t列的，根号下平方是对列求和，也就是说是在同一行中进行操作的，根号部分就相当于一个l2范数，由此可以看出l21范数实则为矩阵X每一行的l2范数之和。

在矩阵稀疏表示模型中，把它作为正则化项有什么作用呢？前面说到它是每一行的l2范数之和，在最小化问题中，只有每一行的l2范数都最小总问题才最小。而每一个行范数取得最小的含义是，当行内尽可能多的元素为0时，约束才可能取得最小。而行内尽可能地取0意思是说行稀疏！

综上可以这样解释，不同于l1范数（矩阵元素绝对值之和）的稀疏要求，l21范数还要求行稀疏！

（好像我今天给老师说成列稀疏了，虽然在我遇到的那个问题中行列稀疏差别不是太大。。。当然也有L12，关键是看具体如何定义的，我们将此类统称为结构化稀疏。以后别人问我问题我一定要尽可能和别人说清楚！！！）

有关l2,1范数作用的理解--正则化项作用，不同于l1范数（矩阵元素绝对值之和）的稀疏要求，l21范数还要求行稀疏相关推荐

机器学习中的范数规则化之L21范数
先看上面l21范数的定义,注意原始矩阵是n行t列的,根号下平方是对列求和,也就是说是在同一行中进行操作的,根号部分就相当于一个l2范数,由此可以看出l21范数实则为矩阵X每一行的l2范数之和. 在矩阵 ...
范数规则化（一）：L0、L1与L2范数
目录 0 范数 1 L0 范数 2 L1 范数 2.1 L1 2.2 L1正则化和特征选择 2.3 拉普拉斯先验与L1正则化 2.3.1 拉普拉斯分布 2.3.2 拉普拉斯先验 3 L2 范数 3 ...
机器学习中的范数规则化之（一）L0、L1与L2范数
机器学习中的范数规则化之(一)L0.L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 参考资料:<机器学习中常常提到的正则化到底是什么意思? ...
l2范数求导_机器学习中的范数规则化之（一）L0、L1与L2范数非常好，必看
机器学习中的范数规则化之(一)L0.L1与L2范数今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题 ...
l2范数求导_机器学习中的范数规则化之（一）L0、L1与L2范数
source: https://blog.csdn.net/zouxy09/article/details/24971995 zouxy09@qq.com http://blog.csdn.net/z ...
损失函数中正则化项L1和L2的理解
正则化(Regularization) 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1-norm和ℓ2-norm,中文称作L1正则化和L2正则化,或者L ...
[机器学习]正则化项L1和L2的学习与理解
正则化项L1和L2的学习与理解一,正则化(Regularization) 稀疏模型与特征选择的关系二, 为什么L1产生稀疏模型而L2可以防止过拟合 1, L1和L2正则化的直观理解正则化和特征选 ...
机器学习中正则化项L1和L2的直观理解
文章目录正则化(Regularization) 稀疏模型与特征选择的关系 L1和L2正则化的直观理解正则化和特征选择的关系为什么梯度下降的等值线与正则化函数第一次交点是最优解? L2正则化和过拟 ...
正则化的作用以及L1和L2正则化的区别
0 正则化的作用正则化的主要作用是防止过拟合,对模型添加正则化项可以限制模型的复杂度,使得模型在复杂度和性能达到平衡. 常用的正则化方法有L1正则化和L2正则化.L1正则化和L2正则化可以看做是损失 ...

最新文章

热门文章