矩阵和向量的范式(Norms for Vectors and Matrices)

1 内积和范式的定义(Definitions of norms and inner product)

向量范式的定义(vector norm)

定义 1.1. 令 VVV 是定义在场 F\mathbf{F}F(F=R\mathbf{F} = \mathbf{R}F=R 或者 C\mathbf{C}C，即实数域或者是复数域)上的向量空间。 如果对于任意的x,y∈Vx, y \in Vx,y∈V 和 c∈Fc\in \mathbf{F}c∈F都满足下面几个条件，则称函数 ∥⋅∥:V→R\|\cdot\|:V\to \mathbf{R}∥⋅∥:V→R 是一个范式 (有时被称为向量范式vector norm)。
(1)∥x∥≥0Nonnegativity（非负）(1a)∥x∥=0if and only if x=0Positivity（永正）(2)∥cx∥=∣c∣∥x∥Homogeneity（同质）(3)∥x+y∥≤∥x∥+∥y∥Triangle Inequality（三角不等）\begin{aligned} &\text{(1)} \quad \|x\| \ge 0\ \qquad &\text{Nonnegativity（非负）}\\ &\text{(1a)} \quad \|x\| = 0 \text{ if and only if }x=0 \qquad &\text{Positivity（永正）}\\ &\text{(2)} \quad \| cx \| = |c| \|x\| \qquad &\text{Homogeneity（同质）} \\ &\text{(3)} \quad \| x+y \| \le \|x\| + \|y\| \qquad &\text{Triangle Inequality（三角不等）} \\ \end{aligned} ​(1)∥x∥≥0 (1a)∥x∥=0 if and only if x=0(2)∥cx∥=∣c∣∥x∥(3)∥x+y∥≤∥x∥+∥y∥​Nonnegativity（非负）Positivity（永正）Homogeneity（同质）Triangle Inequality（三角不等）​

Positivity(1a)和Homogeneity(2)保证了对于任意非零向量xxx，可以正则化到单位向量 u=x∥x∥u=\frac{x}{\|x\|}u=∥x∥x​。

只满足(1),(2),(3)而不满足(1a)的范式称为半范式(seminorm)，(1a)保证了只有零向量的范式才是0，非零向量的范式都大于0，而一个非零向量的半范式可以是0。

引理 1.2. ∥⋅∥\|\cdot\|∥⋅∥是定义在实数域或者复数域向量空间 VVV 上的半范式, 则对于任意 x,y∈Vx, y\in Vx,y∈V，有 $ | |x| − |y|| \le |x − y|$

Proof. 也就是证明±(∥x∥−∥y∥)≤∥x−y∥\pm (\|x\| − \|y\|) \le \|x − y\|±(∥x∥−∥y∥)≤∥x−y∥
∥x∥=∥x−y+y∥≤∥x−y∥+∥y∥⇒∥x−y∥≥∥x∥−∥y∥∥y∥=∥y−x+x∥≤∥y−x∥+∥x∥=∥x−y∥+∥x∥⇒∥x−y∥≥∥y∥−∥x∥\|x\| =\|x-y+y\| \le \|x-y\|+\|y\| \\ \Rightarrow \|x-y\| \ge \|x\| - \|y\| \\ \|y\| =\|y-x+x\| \le \|y-x\|+\|x\| = \|x-y\|+\|x\|\\ \Rightarrow \|x-y\| \ge \|y\| - \|x\| \\ ∥x∥=∥x−y+y∥≤∥x−y∥+∥y∥⇒∥x−y∥≥∥x∥−∥y∥∥y∥=∥y−x+x∥≤∥y−x∥+∥x∥=∥x−y∥+∥x∥⇒∥x−y∥≥∥y∥−∥x∥

内积定义(inner product)

定义 1.3. 令 VVV 是定义在场 F\mathbf{F}F(F=R\mathbf{F} = \mathbf{R}F=R or C\mathbf{C}C)上的向量空间。 如果对于任意 x,y,z∈Vx, y, z \in Vx,y,z∈V 和 c∈Fc\in \mathbf{F}c∈F，函数 <⋅,⋅>:V×V→F\left< \cdot ,\cdot \right>:V\times V\to \mathbf{F}⟨⋅,⋅⟩:V×V→F 满足下列条件，则它是一个内积(inner product)
$$
\begin{aligned}
&\text{(1)} \left< x,x \right> \ge 0\ \qquad &\text{Nonnegativity（非负）}\
&\text{(1a)} \left< x,x \right> = 0 \text{ if and only if }x=0 \qquad &\text{Positivity（永正）}\
&\text{(2)} \left< x+y,z \right> = \left< x,z \right>+\left< y,z \right> \qquad &\text{Additivity（加法）} \
&\text{(3)} \left< cx,y \right> = c\left< x,y \right> \qquad &\text{Homogeneity（同质）} \
&\text{(4)} \left< x,y \right> = \overline{\left< y,x \right>} \qquad &\text{Hermitian Property（共轭对称性）} \

\end{aligned}
$$
只满足(1), (2), (3), (4)而不满足(1a)的称为semi-inner product。

柯西施瓦茨不等式

定理 1.4(Cauchy-Shwarz inequality). <⋅,⋅>\left< \cdot ,\cdot \right>⟨⋅,⋅⟩是定义在向量空间VVV 上的内积，则对于任意x,y∈Vx,y\in Vx,y∈V
∣<x,y>∣2≤<x,x><y,y>{\left |\left< x ,y \right> \right|}^2 \le \left< x ,x \right>\left< y ,y \right> \quad ∣⟨x,y⟩∣2≤⟨x,x⟩⟨y,y⟩
当且仅当(if and only if) x 和 y 线性相关(linearly dependent)，不等式取等号。

标量形式表示为(∑i=1nxiyi)2≤(∑i=1nxi2)(∑i=1nyi2)(\sum_{i=1}^{n}x_iy_i)^2 \le (\sum_{i=1}^{n}x_i^2 )(\sum_{i=1}^{n}y_i^2)(∑i=1n​xi​yi​)2≤(∑i=1n​xi2​)(∑i=1n​yi2​)

Proof. 令x,y∈Vx,y\in Vx,y∈V，若x=y=0x=y=0x=y=0，则不等式显然成立，所以假设其中一个是非零向量，不失一般性，假设y≠0y\ne 0y​=0，令v=<y,y>x−<x,y>yv=\left< y ,y \right>x - \left< x ,y \right>yv=⟨y,y⟩x−⟨x,y⟩y，有：
0≤<v,v>=<<y,y>x−<x,y>y,<y,y>x−<x,y>y>=<y,y>2<x,x>−<y,y><x,y>‾<x,y>−<x,y><y,x><y,y>+<y,y><x,y>‾<x,y>=<y,y>2<x,x>−<y,y>∣<x,y>∣2=<y,y>(<x,x><y,y>−∣<x,y>∣2)0\le \left< v,v \right>=\left< \left< y ,y \right>x - \left< x ,y \right>y ,\left< y ,y \right>x - \left< x ,y \right>y \right> \\ =\left< y ,y \right>^2 \left< x,x \right> -\left< y,y \right>\overline{ \left< x,y \right>}\left< x,y \right>-\left< x,y \right>\left< y,x \right> \left< y,y \right> + \left< y,y \right>\overline{ \left< x,y \right>}\left< x,y \right> \\ =\left< y ,y \right>^2\left< x,x \right> - \left< y ,y \right> {\left |\left< x,y \right> \right|}^2 \\ =\left< y ,y \right>(\left< x,x \right>\left< y ,y \right>-{\left |\left< x,y \right> \right|}^2) 0≤⟨v,v⟩=⟨⟨y,y⟩x−⟨x,y⟩y,⟨y,y⟩x−⟨x,y⟩y⟩=⟨y,y⟩2⟨x,x⟩−⟨y,y⟩⟨x,y⟩​⟨x,y⟩−⟨x,y⟩⟨y,x⟩⟨y,y⟩+⟨y,y⟩⟨x,y⟩​⟨x,y⟩=⟨y,y⟩2⟨x,x⟩−⟨y,y⟩∣⟨x,y⟩∣2=⟨y,y⟩(⟨x,x⟩⟨y,y⟩−∣⟨x,y⟩∣2)
因为y≠0y\ne 0y​=0，即<y,y>>0\left< y ,y \right> > 0⟨y,y⟩>0，则推出<x,x><y,y>−∣<x,y>∣2≥0\left< x,x \right>\left< y ,y \right>-{\left |\left< x,y \right> \right|}^2 \ge 0⟨x,x⟩⟨y,y⟩−∣⟨x,y⟩∣2≥0，只有当v=0v=0v=0的时候，等式成立，即v=<y,y>x−<x,y>y=0v=\left< y ,y \right>x - \left< x ,y \right>y=0v=⟨y,y⟩x−⟨x,y⟩y=0，也就是说xxx和yyy线性依赖。

推论 1.5. 如果 <⋅,⋅>\left< \cdot ,\cdot \right>⟨⋅,⋅⟩ 是定义在实数或者复数域向量空间 VVV 上的内积，则函数 ∥⋅∥:V→[0,∞)\|\cdot\|:V\to [0,\infty)∥⋅∥:V→[0,∞)， ∥x∥=<x,x>1/2\|x\|= \left< x,x \right>^{1/2}∥x∥=⟨x,x⟩1/2 是向量空间 VVV 上的一个范式。这样的范式(norm)被称为从内积获得(derived from an inner product)。

---

2 向量的范式

l1-morml_1\text{-morm}l1​-morm

Cn\mathbf{C}^nCn上的和范式(sum norm)，也叫l1-范式(l1-norm)，定义如下:
∥x∥1=∣x1∣+⋯+∣xn∣\|x\|_1=|x_1|+\cdots+|x_n| ∥x∥1​=∣x1​∣+⋯+∣xn​∣
通常也被称为曼哈顿范式(Manhattan norm)。

l2-morml_2\text{-morm}l2​-morm

一个向量x=[x1,...,xn]T∈Cnx=[x_1,...,x_n]^T\in \mathbf{C}^nx=[x1​,...,xn​]T∈Cn的欧几里得范式(Euclidean norm)，也叫l2范式(l2-norm)，定义如下：
∥x∥2=(∣x1∣2+⋯+∣xn∣2)1/2\|x\|_2=(|x_1|^2+\cdots+|x_n|^2)^{1/2} ∥x∥2​=(∣x1​∣2+⋯+∣xn​∣2)1/2
经常使用∥x−y∥2\|x-y\|_2∥x−y∥2​来衡量两个点x,y∈Cnx,y\in \mathbf{C}^nx,y∈Cn的欧几里得距离(Euclidean distance)。

l∞-morml_\infty\text{-morm}l∞​-morm

Cn\mathbf{C}^nCn上的max norm(l∞l_\inftyl∞​-norm)为：
∥x∥∞=max⁡{∣x1∣,⋯,∣xn∣}\|x\|_\infty= \max \{|x_1|,\cdots,|x_n| \} ∥x∥∞​=max{∣x1​∣,⋯,∣xn​∣}
一般的，Cn\mathbf{C}^nCn上的lpl_plp​-norm定义为：
∥x∥p=(∣x1∣p+⋯+∣xn∣p)1/p,p≥1\|x\|_p=(|x_1|^p+\cdots+|x_n|^p)^{1/p},\quad p\ge 1 ∥x∥p​=(∣x1​∣p+⋯+∣xn​∣p)1/p,p≥1

以二维向量v=(v1,v2)\mathbf{v}=(v_1, v_2)v=(v1​,v2​)举例，范式的值恰好为1的图像如下，其中横轴代表v1v_1v1​，纵轴代表v2v_2v2​

l1范式，即∥v∥1=∣v1∣+∣v2∣=1\|v\|_1=|v_1|+|v_2|=1∥v∥1​=∣v1​∣+∣v2​∣=1

l2范式，即∥v∥2=∣v1∣2+∣v2∣2=1\|v\|_2=\sqrt{|v_1|^2+|v_2|^2}=1∥v∥2​=∣v1​∣2+∣v2​∣2​=1

Infinity范式，即∥v∥∞=max⁡{∣v1∣,∣v2∣}=1\|v\|_\infty= \max \{|v_1|,|v_2| \}=1∥v∥∞​=max{∣v1​∣,∣v2​∣}=1

Cn\mathbf{C}^nCn上的k-norms，融合max norm和sum norm，即选k个最大的：
∥x∥[k]=∣xi1∣,⋯,∣xik∣,in which ∣xi1∣≥⋯≥∣xik∣\|x\|_{[k]}= |x_{i_1}|,\cdots,|x_{i_k}| ,\text{in which }|x_{i_1}|\ge \cdots \ge |x_{i_k}| ∥x∥[k]​=∣xi1​​∣,⋯,∣xik​​∣,in which ∣xi1​​∣≥⋯≥∣xik​​∣

Let S∈Mm,nS\in M_{m,n}S∈Mm,n​ have full column rank, so m≥nm\ge nm≥n .Let ∥⋅∥\|\cdot\|∥⋅∥ be a given norm on CmC^mCm and define
∥x∥S=∥Sx∥\|x\|_S=\|Sx\| ∥x∥S​=∥Sx∥
for x∈Cnx\in C^nx∈Cn.Then ∥⋅∥S\|\cdot \|_S∥⋅∥S​ is a norm on CnC^nCn.

Consider the complex vector space V=Mm,nV = M_{m,n}V=Mm,n​ with the Frobenius inner product:
⟨A,B⟩F=trB∗A⟨A,B⟩_F =tr B^* A ⟨A,B⟩F​=trB∗A

The norm derived from the Frobenius inner product is the l2-norm(Frobenius norm) on Mm,n:∥A∥2=(trA∗A)1/2M_{m,n}:\|A\|_2 = (tr A^* A)^{1/2}Mm,n​:∥A∥2​=(trA∗A)1/2

---

6 Matrix norms

矩阵范式(matrix norm)定义如下：

A function ∣∥⋅∥∣| \| \cdot \| |∣∥⋅∥∣ : Mn→RM_n \to RMn​→R is a matrix norm if, for all A,B∈MnA, B \in M_nA,B∈Mn​, it satisfies the following five axioms:
(1)∣∥A∥∣≥0(1a)∣∥A∥∣=0if and only if A=0(2)∣∥cA∥∣=∣c∣∣∥A∥∣for all c∈C(3)∣∥A+B∥∣≤∣∥A∥∣+∣∥B∥∣(4)∣∥AB∥∣≤∣∥A∥∣∣∥B∥∣\begin{aligned} &(1)\quad | \| A \| | \ge 0 \\ &(1a)\quad | \| A \| | = 0 \text{ if and only if } A = 0 \\ &(2) \quad| \| cA \| | = |c| | \| A \| | \text{ for all } c \in C \\ &(3)\quad | \| A+B \| | \le | \| A \| | + | \| B \| | \\ &(4)\quad | \| AB \| | \le | \| A \| | | \| B \| | \\ \end{aligned} ​(1)∣∥A∥∣≥0(1a)∣∥A∥∣=0 if and only if A=0(2)∣∥cA∥∣=∣c∣∣∥A∥∣ for all c∈C(3)∣∥A+B∥∣≤∣∥A∥∣+∣∥B∥∣(4)∣∥AB∥∣≤∣∥A∥∣∣∥B∥∣​

matrix norm有时被称为ring norm， 可以看出前四个属性的定义和norm的一样，矩阵范式多了(4)。如果只满足前四个而不满足(4)，则称之为vector norm on matrices, 有时也称为generalized matrix norm。

由性质(4)，∣∥A2∥∣≤∣∥A∥∣∣∥A∥∣≤∣∥A∥∣2\quad | \| A^2 \| | \le | \| A \| | | \| A \| | \le | \| A \| |^2∣∥A2∥∣≤∣∥A∥∣∣∥A∥∣≤∣∥A∥∣2，若A2=AA^2 = AA2=A，则有∣∥A∥∣≥1| \| A \| |\ge 1∣∥A∥∣≥1。所以可推出∣∥I∥∣≥1| \| I \| | \ge 1∣∥I∥∣≥1，若A是非奇异矩阵(non-singular)，有I=A−1AI=A^{-1}AI=A−1A，$\quad | | I| | \le | | A^{-1} | | \cdot | | A | | ，可以获得一个下界，，可以获得一个下界，，可以获得一个下界，| | A^{-1} | | \ge \frac{| | I| |}{| | A | |}$ ,

l1l_1l1​-norm

对于矩阵A∈MnA\in M_nA∈Mn​，它的l1l_1l1​-norm定义为，
∥A∥1=∑i,j=1n∣aij∣\| A \|_1= \sum_{i,j=1}^{n} |a_{ij}| ∥A∥1​=i,j=1∑n​∣aij​∣

l2l_2l2​-norm (Frobenius norm, Schur norm, or Hilbert–Schmidt norm)

∥A∥2=∣trAA∗∣1/2=(∑i,j=1n∣aij∣2)1/2\| A \|_2= | tr AA^{*} |^{1/2} =\left ( \sum_{i,j=1}^{n} |a_{ij}|^2 \right )^{1/2} ∥A∥2​=∣trAA∗∣1/2=(i,j=1∑n​∣aij​∣2)1/2

---

7 Vector norms on matrices

---

Norms for Vectors and Matrices相关推荐

1. MIT18.065 数据分析、信号处理和机器学习中的矩阵方法-学习笔记

   文章目录 MIT18.065 数据分析.信号处理和机器学习中的矩阵方法 Lecture 1 The Column Space of A Contains All Vectors Ax A=CR A=C ...

2. MIT | 数据分析、信号处理和机器学习中的矩阵方法 笔记系列 Lecture 6 Singular Value Decomposition (SVD)

   本系列为MIT Gilbert Strang教授的"数据分析.信号处理和机器学习中的矩阵方法"的学习笔记. Gilbert Strang & Sarah Hansen | ...

3. R语言数据类型：Logical、Numeric、Integer、Complex、Character、Vectors、Lists、Matrices、Arrays、Factors、DataFrames

   R语言数据类型:Logical.Numeric.Integer.Complex.Character.Vectors.Lists.Matrices.Arrays.Factors.DataFrames 通 ...

4. CVX配合MATLAB的使用心得

   本人最近自学CVX,发现在CVX中,很多MATLAB自带的函直接调用并不能正常运行,仔细模仿别人写的函数,发现很多常用函数在cvx中,被重写了,更方便使用. 具体有哪些函数,请查阅cvx工具包中doc ...

5. 3Blue1Brown:“线性代数的本质”完整笔记

   我最早系统地学习线性代数是在大二时候,当时特意选修了学校物理系开设的4学分的线代,大概也就是比我们自己专业的线代多了一章向量空间的内容,其实最后上完发现,整个课程内容还是偏向于计算,对线性代数的几何直 ...

6. matlab中表示拉普拉斯分布_CHAPT1：场论；电磁学和微波学的基本的数学手段和表示...

   物理学中把某个物理量在空间一个区域内的分布称为场.从各种场的取值性质来看可以分成两大类,一类是每个点对应一个数值,这种场统称为标量场,如温度场.密度场等;另一类是每 个点对应一个向量,这种场称为向量场 ...

7. GSL库在VC6.0上的配置

   (转至http://blog.csdn.net/leowangzi/article/details/5357163) 这是我在VC6.0上配置Gsl的过程,希望对学习gsl的朋友有所帮助. 一.GSL ...

8. OpenCV Mat 简介

   OpenCV Mat 简介 Part I Mat是OpenCV最基本的数据结构,Mat即矩阵(Matrix)的缩写,Mat数据结构主要包含2部分:Header和Pointer.Header中主要包含矩 ...

9. Machine Learning week 2 quiz: Octave Tutorial

   Octave Tutorial 5 试题 1. Suppose I first execute the following Octave commands: A = [1 2; 3 4; 5 6]; ...

10. OpenCASCADE：Foundation Classes之数学原语和算法

    OpenCASCADE:Foundation Classes之数学原语和算法 概述 向量和矩阵 原始几何类型 原始几何类型的集合 基本几何库 常用数学算法 精确 精密封装 标准精度值 概述 Open ...

最新文章

1. Nignx集成fastDFS后访问Nginx一直在加载中解决
2. 深度解读Helm 3: 犹抱琵琶半遮面
3. Parallel并行计算合计数据时错误的原因和解决办法
4. Scrapy框架基础使用
5. 基本排序算法及分析（二）：冒泡排序
6. GPCC安装以及踩坑经历
7. python14张思维导图高清pdf_程序员必备，快速学习 Python 的全套14张思维导图（附高清版下载）...
8. c语言小型编译器编写,小型C语言编译器设计（4页）-原创力文档
9. 2010湖南省第六界程序设计大赛 B题 --弟弟的作业（nyoj663）
10. easydarwin 安装_EasyDarwin 笔记
11. ArcGIS Server 基于Token密匙
12. 谷爱凌拿到第三金，1620这串数字到底代表什么意思？
13. 深圳APP开发婚恋社交App
14. ps中usm锐化，智能锐化，像素化，分层云彩，光照效果，镜头光晕，纤维，云彩，减少杂色，蒙尘与划痕，祛斑，添加杂色，中间值
15. 如何还原sqlserver数据库或还原bak文件
16. CCIDSynopsys：调查显示中国集成电路产业人才平均月薪仅9千
17. 如何：对代理使用 IP 切换
18. Java dom4j如何获取,添加,删除,查找,设置Element属性呢？
19. ipad手写笔什么牌子好？apple pencil的平替笔推荐
20. python图片识别论文_Python识别文字，实现看图说话 | CSDN博文精选

热门文章

1. cocos creator 发布IOS版本（一）从零开始，Xcode：12.0
2. 【luminate primordial】苏州之行
3. 赵小楼《天道》《遥远的救世主》深度解析（29）优秀的传统文化和弱势思想观念的转变
4. 全基因组关联分析学习资料（GWAS tutorial）20210313更新版
5. STM32超低功耗入门之唤醒
6. 什么是NLP，NLP主要有什么用，为什么要学自然语言处理？
7. 当更高性能来到平板 — ThinkPad X1 Tablet Evo 长测
8. 计算机网络10种,(完整版)计算机网络10种硬件设备介绍.doc
9. MySQLworkbench中PK，NN,UQ意思详解
10. GeoTools解析shape文件中文乱码