矩阵和向量的范式(Norms for Vectors and Matrices)

1 Vector Norms

p	Form
1	∥v∥1=∣v1∣+⋯+∣vn∣\\|v\\|_1=\vert v_1 \vert+\cdots+ \vert v_n \vert∥v∥1=∣v1∣+⋯+∣vn∣
2	∥v∥2=∣v1∣2+⋯+∣vn∣2\\|v\\|_2=\sqrt{\vert v_1 \vert^ 2+\cdots+\vert v_n \vert^2}∥v∥2=∣v1∣2+⋯+∣vn∣2
∞\infty∞	∥v∥∞=max⁡{∣v1∣,⋯,∣vn∣}\\|v\\|_\infty= \max \{\vert v_1 \vert ,\cdots, \vert v_n \vert \}∥v∥∞=max{∣v1∣,⋯,∣vn∣}
0	∥v∥0=number of non-zero componnets\\|v\\|_0= \text{number of non-zero componnets}∥v∥0=number of non-zero componnets
S	∥v∥S=vTSv\\|v\\|_S= \sqrt{v^TSv}∥v∥S=vTSv

l1-norm

Cn\mathbf{C}^nCn上的和范式(sum norm)，也叫l1-范式(l1-norm)，定义如下:
∥v∥1=∣v1∣+⋯+∣vn∣\|v\|_1=|v_1|+\cdots+|v_n| ∥v∥1=∣v1∣+⋯+∣vn∣
通常也被称为曼哈顿范式(Manhattan norm)。

l2-norm

一个向量v=[v1,...,vn]T∈Cnv=[v_1,...,v_n]^T\in \mathbf{C}^nv=[v1,...,vn]T∈Cn的欧几里得范式(Euclidean norm)，也叫l2范式(l2-norm)，定义如下：
∥v∥2=(∣v1∣2+⋯+∣vn∣2)1/2\|v\|_2=(|v_1|^2+\cdots+|v_n|^2)^{1/2} ∥v∥2=(∣v1∣2+⋯+∣vn∣2)1/2
经常使用∥x−y∥2\|x-y\|_2∥x−y∥2来衡量两个点x,y∈Cnx,y\in \mathbf{C}^nx,y∈Cn的欧几里得距离(Euclidean distance)。

infinity-norm

Cn\mathbf{C}^nCn上的max norm(l∞l_\inftyl∞-norm)为：
∥v∥∞=max⁡{∣v1∣,⋯,∣vn∣}\|v\|_\infty= \max \{|v_1|,\cdots,|v_n| \} ∥v∥∞=max{∣v1∣,⋯,∣vn∣}

0-norm

Cn\mathbf{C}^nCn上的l0l_0l0-norm为非零部分的个数。
∥v∥0=number of non-zeros\|v\|_0 = \text{number of non-zeros} ∥v∥0=number of non-zeros

S-norm

S为对称正定矩阵(symmetric positive definite)，例如S=(2003)S= \left( \begin{array}{ccc} 2 & 0 \\ 0&3 \end{array} \right)S=(2003)，∥v∥S=vTSv=2v12+3v22\|v\|_S =\sqrt{\mathbf{v}^TS\mathbf{v}}=\sqrt{2v_1^2+3v_2^2}∥v∥S=vTSv=2v12+3v22

一般的，Cn\mathbf{C}^nCn上的lpl_plp-norm定义为：
∥v∥p=(∣v1∣p+⋯+∣vn∣p)1/p,p≥1\|v\|_p=(|v_1|^p+\cdots+|v_n|^p)^{1/p},\quad p\ge 1 ∥v∥p=(∣v1∣p+⋯+∣vn∣p)1/p,p≥1

以二维向量v=(v1,v2)\mathbf{v}=(v_1, v_2)v=(v1,v2)举例，范式的值恰好为1的图像如下，其中横轴代表v1v_1v1，纵轴代表v2v_2v2

l1范式，即∥v∥1=∣v1∣+∣v2∣=1\|v\|_1=|v_1|+|v_2|=1∥v∥1=∣v1∣+∣v2∣=1

l2范式，即∥v∥2=∣v1∣2+∣v2∣2=1\|v\|_2=\sqrt{|v_1|^2+|v_2|^2}=1∥v∥2=∣v1∣2+∣v2∣2=1

Infinity范式，即∥v∥∞=max⁡{∣v1∣,∣v2∣}=1\|v\|_\infty= \max \{|v_1|,|v_2| \}=1∥v∥∞=max{∣v1∣,∣v2∣}=1

0范式，即∥v∥0=number of non-zeros=1\|v\|_0 = \text{number of non-zeros}=1∥v∥0=number of non-zeros=1

S范式，还是上面那个例子，∥v∥S=vTSv=2v12+3v22=1\|v\|_S =\sqrt{\mathbf{v}^TS\mathbf{v}}=\sqrt{2v_1^2+3v_2^2}=1∥v∥S=vTSv=2v12+3v22=1，即2v12+3v22=12v_1^2+3v_2^2=12v12+3v22=1，结果是一个椭圆

所以对满足前提条件下，最小化一个向量的范式的问题如下，这里举例最小化l1范式和l2范式，令x=[x1,x2]T∈R2\mathbf{x} = [x_1, x_2]^T \in \mathbb{R}^2x=[x1,x2]T∈R2
min ∥x∥1or ∥x∥1subject to: c1x1+c2x2=b\text{min } \|x\|_1 \text{ or } \|x\|_1 \\ \text{subject to: } c_1x_1 + c_2x_2 = b min ∥x∥1 or ∥x∥1subject to: c1x1+c2x2=b

2 Matrix norms

p	Form
2	∥A∥2=σ1\\|A\\|_2=\sigma_1∥A∥2=σ1
Frobenius	∥A∥F=∑i,j=1n∣aij∣2=σ12+⋯+σn2\\|A\\|_F=\sqrt{ \sum_{i,j=1}^{n} \vert a_{ij} \vert^2 }=\sqrt{\sigma_1^2+\cdots+\sigma_n^2}∥A∥F=∑i,j=1n∣aij∣2=σ12+⋯+σn2
Nuclear	∥A∥N=σ1+⋯+σr\\|A\\|_N= \sigma_1+\cdots+\sigma_r∥A∥N=σ1+⋯+σr

Lecture 8:Norms of Vectors and Matrices相关推荐

MIT | 数据分析、信号处理和机器学习中的矩阵方法笔记系列 Lecture 6 Singular Value Decomposition (SVD)
本系列为MIT Gilbert Strang教授的"数据分析.信号处理和机器学习中的矩阵方法"的学习笔记. Gilbert Strang & Sarah Hansen | ...
MIT18.065 数据分析、信号处理和机器学习中的矩阵方法-学习笔记
文章目录 MIT18.065 数据分析.信号处理和机器学习中的矩阵方法 Lecture 1 The Column Space of A Contains All Vectors Ax A=CR A=C ...
R语言数据类型：Logical、Numeric、Integer、Complex、Character、Vectors、Lists、Matrices、Arrays、Factors、DataFrames
R语言数据类型:Logical.Numeric.Integer.Complex.Character.Vectors.Lists.Matrices.Arrays.Factors.DataFrames 通 ...
欠驱动机器人学-麻省理工学院开放课程-MIT 6.832: Underactuated Robotics（译）
课程链接:http://underactuated.csail.mit.edu/Spring2019/ http://underactuated.csail.mit.edu/underactuated ...
CVX配合MATLAB的使用心得
本人最近自学CVX,发现在CVX中,很多MATLAB自带的函直接调用并不能正常运行,仔细模仿别人写的函数,发现很多常用函数在cvx中,被重写了,更方便使用. 具体有哪些函数,请查阅cvx工具包中doc ...
GloVe:另一种Word Embedding方法
GloVe 和其他模型的关系当看到GloVe拍脑门找到loglog函数的时候,就觉得和word2vec中应用language model有几分类似. 其实确有千丝万缕的联系的,推一推,会发现两者的 ...
3Blue1Brown:“线性代数的本质”完整笔记
我最早系统地学习线性代数是在大二时候,当时特意选修了学校物理系开设的4学分的线代,大概也就是比我们自己专业的线代多了一章向量空间的内容,其实最后上完发现,整个课程内容还是偏向于计算,对线性代数的几何直 ...
matlab中表示拉普拉斯分布_CHAPT1：场论；电磁学和微波学的基本的数学手段和表示...
物理学中把某个物理量在空间一个区域内的分布称为场.从各种场的取值性质来看可以分成两大类,一类是每个点对应一个数值,这种场统称为标量场,如温度场.密度场等;另一类是每个点对应一个向量,这种场称为向量场 ...
GSL库在VC6.0上的配置
(转至http://blog.csdn.net/leowangzi/article/details/5357163) 这是我在VC6.0上配置Gsl的过程,希望对学习gsl的朋友有所帮助. 一.GSL ...
[转] GloVe公式推导
from: https://pengfoo.com/post/machine-learning/2017-04-11 GloVe(Global Vectors for Word Representat ...

p	Form
1	∥v∥1=∣v1∣+⋯+∣vn∣\\|v\\|_1=\vert v_1 \vert+\cdots+ \vert v_n \vert∥v∥1=∣v1∣+⋯+∣vn∣
2	∥v∥2=∣v1∣2+⋯+∣vn∣2\\|v\\|_2=\sqrt{\vert v_1 \vert^ 2+\cdots+\vert v_n \vert^2}∥v∥2=∣v1∣2+⋯+∣vn∣2
∞\infty∞	∥v∥∞=max⁡{∣v1∣,⋯,∣vn∣}\\|v\\|_\infty= \max \{\vert v_1 \vert ,\cdots, \vert v_n \vert \}∥v∥∞=max{∣v1∣,⋯,∣vn∣}
0	∥v∥0=number of non-zero componnets\\|v\\|_0= \text{number of non-zero componnets}∥v∥0=number of non-zero componnets
S	∥v∥S=vTSv\\|v\\|_S= \sqrt{v^TSv}∥v∥S=vTSv

Lecture 8:Norms of Vectors and Matrices