转载：矩阵L2,1范数及矩阵L2,p范数的求导

2024-06-11 14:30:28

常见的矩阵范数有L1，L2，∞∞范数，F范数和引申出的L2,1范数。而在机器学习的特征选择中，利用选择矩阵的范数对选择矩阵进行约束，即是正则化技术，是一种稀疏学习。

L0L0向量范数

L0L0 范数

L0L0，也描述了向量的稀疏性。

从图中可以看出，pp范数，或者是其他可优化的范数。

矩阵的L1L1范数

为了度量稀疏矩阵的稀疏性，则定义矩阵的一种范数，为：

∥W∥1=∑i,j|Wi,j|‖W‖1=∑i,j|Wi,j|

即为矩阵所有元素的绝对值之和，能够描述接矩阵的稀疏性，但是在优化时，难度较大，是将情况向矩阵中元素尽可能是0的方向优化。

矩阵的L2,1L2,1范数

而为了进一步说明矩阵的稀疏性，来说明特征选择中矩阵L2,1L2,1范数的作用。

在特征选择中，通过稀疏化的特征选择矩阵来选取特征，即相当于是一种线性变换。

矩阵L2,1L2,1范数的求导

对于特征选择矩阵WW范数满足矩阵范数的自反性、非负性、对称性和三角不等式关系，是一个范数，这里不予证明。

那么，在线性学习模型，损失函数如：

minW,b∥XW+enbT−Y∥2F+λ∥W∥2,1minW,b‖XW+enbT−Y‖F2+λ‖W‖2,1

那么：

∂∥W∥2,1∂W=⎛⎝⎜⎜⎜⎜∂(∑i=1d∥wi∥2)∂wj⎞⎠⎟⎟⎟⎟d×1=⎛⎝⎜⎜⎜⎜∂(∑i=1d(wiwiT)12)∂wj⎞⎠⎟⎟⎟⎟d×1=(wj∥wj∥2)d×1=⎛⎝⎜⎜⎜⎜⎜⎜⎜1∥w1∥21∥w2∥2⋱1∥wd∥2⎞⎠⎟⎟⎟⎟⎟⎟⎟⎛⎝⎜⎜⎜⎜w1w2⋮wd⎞⎠⎟⎟⎟⎟=⎛⎝⎜⎜⎜⎜⎜⎜⎜1∥w1∥21∥w2∥2⋱1∥wd∥2⎞⎠⎟⎟⎟⎟⎟⎟

转载：矩阵L2,1范数及矩阵L2,p范数的求导相关推荐

学习笔记三：MLP基本原理、矩阵求导术推反向传播、激活函数、Xavier
文章目录一.BP神经网络(MLP) 1.1 感知机模型及其局限性 1.2 BP神经网络基本原理 1.3 softmax多分类.求导 1.4 二分类使用softmax还是sigmoid好? 1.5 为 ...
各种矩阵（向量）求导
一个准则:按照单变量求导来做,然后调整下维数就可以了. 比如对矩阵的求导,结果一定是和矩阵维数一致才对今天早上遇到@tornadomeet在deep learning高质量群里问:一个列向量对一个 ...
[机器学习-数学] 矩阵求导(分母布局与分子布局)，以及常用的矩阵求导公式
一, 矩阵求导 1,矩阵求导的本质矩阵A对矩阵B求导: 矩阵A中的每一个元素分别对矩阵B中的每个元素进行求导. A1×1A_{1\times1}A1×1, B1×1B_{1\times1}B1×1 ...
矩阵，向量求导-求导布局，表格查找
文章目录矩阵,向量求导(Matrix calculus) 0.约定 1.目标 2.完整的求导表格完整表格 1.布局说明分子布局(Numerator-layout) 分母布局(Denominato ...
机器学习标量、向量、矩阵的求导 PyTorch自动求导
1 说明本文是学习Dive into Deep Learning中相应内容做出的总结和一些实现代码,原文链接:矩阵计算. 2 求导学习PyTorch的自动求导之前首先需要知道求导的过程. 注意:可 ...
向量转置的怎么求导_机器学习中的向量求导和矩阵求导
在机器学习的各种关于向量或者矩阵的求导中,经常会出现各种需要转置或者不需要转置的地方,经常会看得人晕头转向.今天我对机器学习中关于这部分的常识性处理方法进行整理并记录下来方便大家参考. 一些约定首先 ...
有关l2,1范数作用的理解--正则化项作用，不同于l1范数（矩阵元素绝对值之和）的稀疏要求，l21范数还要求行稀疏
今天和导师讨论问题的时候,说到了l21范数.导数希望我能解释一下,我明白它的作用可是我知道我没有向老师解释清楚,有些失落.今晚就自己总结一下吧,希望下次再有人问我这个问题的时候我能向别人解释清楚. 先 ...
转载孟岩老师的：理解矩阵
前不久chensh出于不可告人的目的,要充当老师,教别人线性代数.于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次.很明显,chensh觉得,要让自己在讲线性代数的时候不被那位强势的学生认为是神 ...
机器学习中的规则化范数(L0, L1, L2, 核范数)
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题.这里因为篇幅比较庞大,为了不吓到大家,我将这个五个 ...
l2范数求导_稀疏编码学习笔记（二）L2范数
L2范数除了L1范数,还有一种更受宠幸的规则化范数是L2范数: ||W||2.它也不逊于L1范数,它有两个美称,在回归里面,有人把有它的回归叫"岭回归"(Ridge Regres ...

最新文章

热门文章