L0范数、L1范数和L2范数的区别

2024-05-20 11:15:52

我的个人微信公众号：Microstrong

微信公众号ID：MicrostrongAI

公众号介绍：Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！

知乎专栏：https://zhuanlan.zhihu.com/Microstrong

Github：https://github.com/Microstrong0305

个人博客：https://blog.csdn.net/program_developer

什么是范数

距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化的距离概念，它在定义上比距离多了一条数乘的运算法则。有时为了便于理解，我们可以把范数当作距离来理解。

在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样；对于矩阵范数，学过线性代数，我们知道，通过运算AX=B，可以将向量X变化为B，矩阵范数就是来度量这个变化大小的。

这里简单地介绍以下几种向量范数的定义和含义。

L-P范数

与闵可夫斯基距离的定义一样，L-P范数不是一个范数，而是一组范数，其定义如下：

L0范数

当P=0时，也就是L0范数，L0范数并不是一个真正的范数，它主要被用来度量向量中非零元素的个数。用L-P定义可以得到的L-0的定义为：

这里就有点问题了，我们知道非零元素的零次方为1，但零的零次方为0，非零数开零次方都是什么鬼，很不好说明L0的意义，所以在通常情况下，大家都用的是：

表示向量x中非零元素的个数。

对于L0范数，其优化问题为：

在实际应用中，由于L0范数本身不容易有一个好的数学表示形式，给出上面问题的形式化表示是一个很难的问题，故被人认为是一个NP难问题。所以在实际情况中，L0的最优问题会被放宽到L1或L2下的最优化。

L1范数和L2范数经常用于机器学习的正则化中，详细参考我这篇文章：

https://blog.csdn.net/program_developer/article/details/79436657

L0范数、L1范数和L2范数的区别相关推荐

正则项的原理、梯度公式、L1正则化和L2正则化的区别、应用场景
先对"L1正则化和L2正则化的区别.应用场景"给出结论,具体见后面的原理解释: L1正则化会产生更稀疏的解,因此基于L1正则化的学习方法相当于嵌入式的特征选择方法. L2正则化计算 ...
L1正则化与L2正则化的区别
摘要正则化的本质是在Cost Function中添加的p-范数.本文从正则化的本质p-范数入手,解释了L1正则化和L2正则化的区别. 正则化在Cost Function上添加了正则化项,就能降低模 ...
L1正则化和L2正则化的区别
文章目录前言一.L1和L2正则化是什么? 二.区别三.其他问题前言在防止过拟合的方法中有L1正则化和L2正则化,那么这两者有什么区别呢? 一.L1和L2正则化是什么? L1和L2是正则化项, ...
机器学习中的范数规则化之L0、L1、L2范数
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正. 本篇博客主要是为了解决机器学习中的过拟合 ...
Machine Learning系列--L0、L1、L2范数
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的L0.L1.L2和核范数规则化.最后聊下规则化项参数的选择问题.这里因为篇幅比较庞大,为了不吓到大家,我将这个五个 ...
超简单理解L0、L1、L2范数原理及作用
L0,L1,L2范数在机器学习中的应用个人理解博文针对L0.L1.L2范数原理及在机器学习中作用进行了非常通俗易懂的解释,为博主了解相关概念后自我理解,相信对于看完本篇分析的读者来说对理解这几个范数 ...
用python实现（1.求输入的百倍，十位，个位数；2.输入a,b和ab间夹角，计算c边长；3.计算两点间曼哈顿距离；4.计算给定数据的几何平均数；5.计算向量的L1和L2范数）
import math from random import choices from functools import reduce print("1.获取输入整数的百位,十位,个位数(无 ...
L1 distace、L2 distance,L1 norm、L2 norm,L1、L2范数
在练习机器学习时,可能会选择决定是使用L1范数还是L2范数进行正则化,还是作为损失函数等. L1范数也称为最小绝对偏差(LAD),最小绝对误差(LAE).它基本上是最小化目标值(Y i)和估计值(f( ...
L1范数与L2范数的区别与联系
L1范数与L2范数的区别与联系一.过拟合与正则化过拟合指的就是在机器学习模型训练过程中把数据学习的太彻底,以至于把噪声数据的特征也学习到了,这样会导致在测试的时候不能够很好地识别数据,即不能正确的 ...
L1范数 L2范数
L1范数 L1范数表示向量中每个元素绝对值的和: L1范数的解通常是稀疏性的,倾向于选择数目较少的一些非常大的值或者数目较多的insignificant的小值. L2范数 L2范数即欧氏距离: L2范 ...

最新文章

热门文章