范数(norm) 几种范数的简单介绍
什么是范数?
我们知道距离的定义是一个宽泛的概念,只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念,它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解,我们可以把范数当作距离来理解。
在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,就是用范数来度量的,不同的范数都可以来度量这个大小,就好比米和尺都可以来度量远近一样;对于矩阵范数,学过线性代数,我们知道,通过运算AX=B,可以将向量X变化为B,矩阵范数就是来度量这个变化大小的。
这里简单地介绍以下几种向量范数的定义和含义
1、 L-P范数
与闵可夫斯基距离的定义一样,L-P范数不是一个范数,而是一组范数,其定义如下:
根据P 的变化,范数也有着不同的变化,一个经典的有关P范数的变化图如下:
上图表示了p从无穷到0变化时,三维空间中到原点的距离(范数)为1的点构成的图形的变化情况。以常见的L-2范数(p=2)为例,此时的范数也即欧氏距离,空间中到原点的欧氏距离为1的点构成了一个球面。
实际上,在0≤p<1≤p<1时,Lp并不满足三角不等式的性质,也就不是严格意义下的范数。以p=0.5,二维坐标(1,4)、(4,1)、(1,9)为例,。因此这里的L-P范数只是一个概念上的宽泛说法。
2、L0范数
当P=0时,也就是L0范数,由上面可知,L0范数并不是一个真正的范数,它主要被用来度量向量中非零元素的个数。用上面的L-P定义可以得到的L-0的定义为:
这里就有点问题了,我们知道非零元素的零次方为1,但零的零次方,非零数开零次方都是什么鬼,很不好说明L0的意义,所以在通常情况下,大家都用的是:
对于L0范数,其优化问题为:
s.t. Ax=b 在实际应用中,由于L0范数本身不容易有一个好的数学表示形式,给出上面问题的形式化表示是一个很难的问题,故被人认为是一个NP难问题。所以在实际情况中,L0的最优问题会被放宽到L1或L2下的最优化。
3、L1范数
L1范数是我们经常见到的一种范数,它的定义如下:
L1范数有很多的名字,例如我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量间的差异,如绝对误差和(Sum of Absolute Difference):
对于L1范数,它的优化问题如下:
由于L1范数的天然性质,对L1优化的解是一个稀疏解,因此L1范数也被叫做稀疏规则算子。通过L1可以实现特征的稀疏,去掉一些没有信息的特征,例如在对用户的电影爱好做分类的时候,用户有100个特征,可能只有十几个特征是对分类有用的,大部分特征如身高体重等可能都是无用的,利用L1范数就可以过滤掉。
4、L2范数
L2范数是我们最常见最常用的范数了,我们用的最多的度量距离欧氏距离就是一种L2范数,它的定义如下:
表示向量元素的平方和再开平方。
像L1范数一样,L2也可以度量两个向量间的差异,如平方差和(Sum of Squared Difference):
对于L2范数,它的优化问题如下:
5、范数
当时,也就是范数,它主要被用来度量向量元素的最大值,与L0一样,通常情况下表示为
来表示
范数(norm) 几种范数的简单介绍相关推荐
- 23种设计模式的简单介绍
文章目录 23种设计模式 概要 0.简单工厂设计模式 多方法简单工厂 静态方法简单工厂 创造型 单例模式(**Singleton**) 懒汉模式:(以时间换空间) 饿汉模式 (以空间换时间) 工厂方法 ...
- 人工智能-范数 norm:L1范数和L2范数【L0范数:向量中非0的元素的个数; L1范数:向量各元素的绝对值之和(曼哈顿距离);L2范数:向量各元素的平方和的开方值(欧氏距离)】
范数是衡量某个向量空间(或矩阵)中的每个向量的长度或大小. ∥x∥p:=(∑i=1n∣xi∣p)1p\left \| x\right \|_p := \left( \sum_{i=1}^{n}\lef ...
- Java 线程的6种状态(简单介绍)
关于Java线程的状态网上的说法不一,有的说是6种状态,有的说是5中状态,索性就查看了一下Java源码.Thread类里面有一个枚举类,如下: public enum State {NEW,RUNNA ...
- 向量的范数norm:1范数、2范数、无穷范数;矩阵的行范数、列范数
0范数: 向量中非零元素的个数. 1范数: 为绝对值之和. 2范数: 通常意义上的模. 无穷范数:取向量的最大值. 转自:范数对于数学的意义?1范数.2范数.无穷范数
- 3种应用架构简单介绍
1.单一架构:将所有的应用(业务)放到一台服务器上运行,如公司管理系统/超市收银系统. 2.垂直应用架构 将大应用拆分成为多个小应用(一般按照业务拆分),根据不同的访问频 率决定各自业务部署的服务器数 ...
- 数据结构的四种逻辑结构(简单介绍)
(1)集合结构:结构中的数据元素除了"同属于一个集合"外,无其他任何关系. (2)线性结构:结构中的数据元素之间只存在一对一的关系,除了第一个元素外,其余元素都有唯一前驱,除了最后 ...
- 【数学】向量范数和矩阵范数(几种范数 norm 的简单介绍)
目录&索引 一.什么是范式? 二.向量范式 1-范数 2-范数 P-范数 ∞-范数 -∞-范数 三.矩阵范式 1-范数 2-范数 ∞-范数 F-范数 四.小结 一.什么是范式? 范数,是具有& ...
- 什么是范数(norm)?以及L1,L2范数的简单介绍
什么是范数? 范数,是具有"距离"概念的函数.我们知道距离的定义是一个宽泛的概念,只要满足非负.自反.三角不等式就可以称之为距离.范数是一种强化了的距离概念,它在定义上比距离多了一 ...
- 【Pytorch】data.norm(几种范数(norm)的详细介绍)
范数(norm) 几种范数的简单介绍&data.norm()使用 1. 范数(norm)的简单介绍 1.1 L-P范数 1.2 L0范数 1.3 L1范数 1.4 L2范数 1.5 ∞-范数 ...
最新文章
- 1930年的上海是什么样
- docker sonarqube 7.7 sonar-scanner-4.6.2 maven 安装、搭建+实战
- 拯救者linux无法正常关机,菜鸟求助。centos无法关机。请各位高手帮忙! - Linux论坛 - 51CTO技术论坛_中国领先的IT技术社区...
- 互联网浏览本地html,如何加载本地HTML文件,如果没有互联网连接
- 三角函数公式和图像大全
- 计算机win7开超级性能模式,笔记本win10系统开启超级性能模式(卓越性能模式)的方法...
- DNS基础知识以及golang实现的简单DNS服务器
- Java实现Zoho Mail 发送邮件,使用hutool工具类。
- 六根清净怎么讲 ---圣严法师
- C++跳出for循环
- 模板语言(VTL):入门
- 电脑用USB连接欧姆龙安全PLC失败解决方案
- 购物车之商品数量加加
- 网上超市系统参考网站
- IEnumerable的几个简单用法
- STM32通过串口控制42步进电机
- brit打印日志的问题
- 支持拼音检索的TextBox扩展控件
- Python网络爬虫实战:近千条中秋节祝福语文案让你成为亲朋好友里最靓的仔
- 音响分频器测试软件,音箱分频器的测试