参考文章如下：https://blog.csdn.net/lqzdreamer/article/details/79676305

https://blog.csdn.net/lqzdreamer/article/details/79676305

一、范数定义

一般常用范数来衡量向量，向量的Lp范数定义为：

Lp范数示意图：

从图中可以看出，p的取值在 [0,1) 之间，范数不具有凸性，实际优化过程中，无法进行，一般会把L0范数转化为L1范数。

二、向量范数

1.L0向量范数

L0范数是指向量x中的非0个数，是一种度量向量的稀疏性的表示方法。例如：x=[1,1,0,1]，

${\left\| x \right\|_0} = 3$

2.L1向量范数

L1范数是向量中元素的绝对值之和，也是一种度量向量的稀疏性的表示方法。

${\left\| x \right\|_1} = \sum\limits_{i = 1}^n {\left| {{x_i}} \right|}$

三、矩阵范数

1.矩阵的L1范数

矩阵的L1范数定义为：所有矩阵列向量绝对值之和的最大值

${\left\| {\rm{A}} \right\|_1} = \mathop {\max }\limits_{1 \le j \le n} \sum\limits_{i = 1}^m {\left| {{a_{i,j}}} \right|}$

2.矩阵的L2范数

矩阵的L2范数定义为： ${{\rm{A}}^{\rm{T}}}{\rm{A}}$ 矩阵的最大特征值的开方

${\left\| {\rm{A}} \right\|_2} = \sqrt {\mathop {\max }\limits_{1 \le i \le n} \left| {{\lambda _i}} \right|}$

其中λi为 ${{\rm{A}}^{\rm{T}}}{\rm{A}}$ 的特征值。

3.矩阵的F范数

矩阵的F范数定义为：矩阵元素绝对值的平方和再开方

4.矩阵的L2,1范数

矩阵的L2,1范数定义为：矩阵A的每一行的L2范数之和

在最小化问题中，只有每一行的L2范数都最小总问题才最小，而每一个函数取得最小的含义是，当行内尽可能多的元素为0的时候，约束才可以取到最小。

四、范数如何与正则化联系起来

为了避免过拟合，我们常会给简单的函数加一个偏移，假如有两个函数都可以很好的拟合数据，我们会倾向于使用简单的那个，可以通过添加一个正则项来实现，也就是范数，常用形式：

其中λ是正则系数，表示想要正则化的程度。

五、为什么权重最小的范数可以实现正则化

根据范数的定义，我们可以知道权重越大，范数越大，也就是说最小化范数可以得到一个相对简单的函数。总结来说，最小化权重的范数可以让过拟合函数变简单。

通过给我们最小化目标函数添加范数，可以促使拟合出权重较小的函数，带来了正则效应，提升了数据的泛化性。

六、L2,1范数特征选择

在特征选择中，通过稀疏化的特征选择矩阵来选取特征，相当于是一种线性变换。

一行代表一个数据点，每一列代表一个特征分量。

L1范数，L2范数，L2,1范数（向量范数、矩阵范数、正则化）相关推荐

向量范数证明例题_2范数(求矩阵的二范数例题)
矩阵的二范数一般怎么计算?? 所有元素的平方和开根号 1-范数:是指向量(矩阵)里面非零元素的个数.类似于求棋盘上复两个点间的沿方格边缘的距离.||x||1=sum(abs(xi));2-范数(或Eu ...
范数和机器学习中的范数
什么是范数? 我们知道距离的定义是一个宽泛的概念,只要满足非负.自反.三角不等式就可以称之为距离.范数是一种强化了的距离概念,它在定义上比距离多了一条数乘的运算法则.有时候为了便于理解,我们可以把范数 ...
到底什么是范数？什么是0范数、1范数、2范数？区别又是什么？
其实我的专业不是数学专业,只不过在阅读paper时,我们会经常看到0范数或者1范数这些范数问题.本文就来分析看看到时什么是范数?什么是0范数.1范数.2范数?它们的区别又是什么?为了方便某些着急的pe ...
有两个列表 l1 =[11,22,33] l2 =[22,33,44]
a. 获取内容相同的元素列表 l1 = [11,22,33]l2 = [22,33,44]for l in l1:if l in l2:print(l) b. 获取 l1 中有, l2 中没有的元素列 ...
python 怎么算l2范数,回归模型中成本函数的L1范数而不是L2范数
I was wondering if there's a function in Python that would do the same job as scipy.linalg.lstsq but ...
矩阵的二范数_Python Numpy中的范数
数学概念范数,是具有 "长度" 概念的函数.在线性代数.泛函分析及相关的数学领域,范数是一个函数,是矢量空间内的所有矢量赋予非零的正长度或大小. 在数学上,范数包括向量范数和矩阵 ...
机器学习算法源码全解析（三）-范数规则化之核范数与规则项参数选择
前言参见上一篇博文,我们聊到了L0,L1和L2范数,这篇我们絮叨絮叨下核范数和规则项参数选择.知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正.谢谢. 机器学习算法源码全解析( ...
机器学习中的范数规则化之L21范数
先看上面l21范数的定义,注意原始矩阵是n行t列的,根号下平方是对列求和,也就是说是在同一行中进行操作的,根号部分就相当于一个l2范数,由此可以看出l21范数实则为矩阵X每一行的l2范数之和. 在矩阵 ...
机器学习中的范数规则化之核范数及其应用
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正. 主要内容概述: 1.核范数的引入及其作用 ...
ax的范数最大_什么是范数（详细）？
范数向量范数定义1. 设 ,满足 1. 正定性:║x║≥0,且║x║=0 <=> x=0 2. 齐次性:║cx║=│c│║x║, 3. 三角不等式:║x+y║≤║x║+║y║ 则称Cn ...

L1范数，L2范数，L2,1范数（向量范数、矩阵范数、正则化）