前言
往期文章
4.2 矩阵的范数
- 4.2.1 矩阵范数的定义与性质
- - 定义4.3：矩阵范数
  - m1范数m1范数m1范数
  - m∞范数m\infty范数m∞范数
  - F−范数（或m2范数）F-范数（或m2范数）F−范数（或m2范数）
  - 定义4.4
  - 酉矩阵
  - 定理4.2.1
  - 定理4.2.2
  - 定理4.2.3
- 4.2.2 几种常用的矩阵范数
- - 定义4.5：算子范数
  - 定理4.2.4
  - 定义4.6
  - 补充
  - 定理4.2.6
结语

前言

Hello！小伙伴！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～

自我介绍 ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在学习C++/Linux/Python
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！

机器学习小白阶段
文章仅作为自己的学习笔记用于知识体系建立以及复习
知其然知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：线性空间定义及其性质

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（3）：线性空间的基与坐标

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（4）：基变换与坐标变换

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（5）：线性子空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：子空间的交与和

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（7）：欧氏空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（8）：标准正交基与Gram-Schmidt过程

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（9）：正交补与投影定理

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（10）：线性变换定义

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（11）：线性变换的矩阵表示

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（12）：相似形理论

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（13）：Hamliton-Cayley定理、最小多项式

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（14）：向量范数及其性质

4.2 矩阵的范数

4.2.1 矩阵范数的定义与性质

定义4.3：矩阵范数

设A、B∈Cn×n,a∈CA、B\in C^{n×n},a\in CA、B∈Cn×n,a∈C，按某一法则在Cn×nC^{n×n}Cn×n上定义一个AAA的实值函数，记为∣∣A∣∣||A||∣∣A∣∣

其满足下面四个条件

非负性：如果A≠0A\neq 0A=0，则∣∣A∣∣>0||A||>0∣∣A∣∣>0;若A=0A=0A=0，则∣∣A∣∣=0||A||=0∣∣A∣∣=0
齐次性：对任意的a∈Ca\in Ca∈C，∣∣aA∣∣=∣a∣∣∣A∣∣||aA||=|a|||A||∣∣aA∣∣=∣a∣∣∣A∣∣
三角不等式：∣∣A+B∣∣≤∣∣A∣∣+∣∣B∣∣||A+B||\leq||A||+||B||∣∣A+B∣∣≤∣∣A∣∣+∣∣B∣∣
相容性：∣∣AB∣∣≤∣∣A∣∣⋅∣∣B∣∣||AB||\leq||A||\cdot||B||∣∣AB∣∣≤∣∣A∣∣⋅∣∣B∣∣

则称∣∣A∣∣||A||∣∣A∣∣为矩阵范数或乘积范数

m1范数m1范数m1范数

定义A∈Cn×n,A=(aij)n×nA\in C^{n×n},A=(a_{ij})_{n×n}A∈Cn×n,A=(aij)n×n，则

∣∣A∣∣m1=∑i,jn∣aij∣||A||_{m1}=\sum_{i,j}^{n}|a_{ij}|∣∣A∣∣m1=i,j∑n∣aij∣

为m1m1m1范数

m∞范数m\infty范数m∞范数

定义A∈Cn×n,A=(aij)n×nA\in C^{n×n},A=(a_{ij})_{n×n}A∈Cn×n,A=(aij)n×n，则

∣∣A∣∣m∞=n⋅max⁡i,j∣aij∣||A||_{m\infty}=n\cdot \max_{i,j}|a_{ij}|∣∣A∣∣m∞=n⋅i,jmax∣aij∣

为m∞m\inftym∞范数

F−范数（或m2范数）F-范数（或m2范数）F−范数（或m2范数）

定义A∈Cn×n,A=(aij)n×nA\in C^{n×n},A=(a_{ij})_{n×n}A∈Cn×n,A=(aij)n×n，则

∣∣A∣∣F=(∑i=1n∑j=1n∣aij∣2)12=tr(ATˉA)12||A||_{F}=(\sum_{i=1}^n\sum_{j=1}^{n}|a_{ij}|^2)^{\frac{1}{2}}=tr(\bar{A^T}A)^{\frac{1}{2}}∣∣A∣∣F=(i=1∑nj=1∑n∣aij∣2)21=tr(ATˉA)21

为F−F-F−范数（或m2m2m2范数）

定义4.4

如果任意向量χ∈Cn\boldsymbol\chi\in C^nχ∈Cn及任意nnn级方阵A∈Cn×nA\in C^{n×n}A∈Cn×n，对于给定的向量范数∣∣χ∣∣||\boldsymbol\chi||∣∣χ∣∣和矩阵范数∣∣A∣∣||A||∣∣A∣∣满足不等式

∣∣Aχ∣∣≤∣∣A∣∣∣∣χ∣∣||A\boldsymbol\chi||\leq||A||\;||\boldsymbol\chi||∣∣Aχ∣∣≤∣∣A∣∣∣∣χ∣∣

则称矩阵范数∣∣A∣∣||A||∣∣A∣∣与向量范数∣∣χ∣∣||\boldsymbol\chi||∣∣χ∣∣相容

酉矩阵

定义

若矩阵AAA满足AHA=AAH=EA^HA=AA^H=EAHA=AAH=E，则称AAA为酉矩阵

AHA^HAH是指：共轭转置，不仅需要进行转置，还需要对虚数进行取反

性质

（1）∣detA∣=1|det A|=1∣detA∣=1：AAA的行列式的模长为1

（2）A−1=AHA^{-1}=A^{H}A−1=AH

（3）对任意向量xxx，有∣∣Ax∣∣2=∣∣x∣∣2||Ax||_2=||x||_2∣∣Ax∣∣2=∣∣x∣∣2，即2-范数的酉不变性

（4）AAA是酉矩阵当且仅当AAA的行（列）向量组是两两正交的单位向量

定理4.2.1

设A∈Cn×n,P,Q∈Cn×n,P,QA\in C^{n×n},P,Q\in C^{n×n},P,QA∈Cn×n,P,Q∈Cn×n,P,Q皆为酉矩阵，则

∣∣PA∣∣F=∣∣A∣∣F=∣∣AQ∣∣F||PA||_F=||A||_F=||AQ||_F∣∣PA∣∣F=∣∣A∣∣F=∣∣AQ∣∣F

AAA是nnn级实方阵时，P、QP、QP、Q都是正交矩阵

说明：正交变换、酉变换对矩阵F-范数具有保范性

定理4.2.2

方阵A∈Cn×nA\in C^{n×n}A∈Cn×n的任一种范数是AAA的元素的连续函数

定理4.2.3

对于Cn×nC^{n×n}Cn×n中任意两种方阵范数∣∣A∣∣a||A||_a∣∣A∣∣a和∣∣A∣∣b||A||_b∣∣A∣∣b，必然存在k2≥k1>0k_2\geq k_1>0k2≥k1>0，使得

k1∣∣A∣∣b≤∣∣A∣∣a≤k2∣∣A∣∣bk_1||A||_b\leq||A||_a\leq k_2||A||_bk1∣∣A∣∣b≤∣∣A∣∣a≤k2∣∣A∣∣b

对于Cn×nC^{n×n}Cn×n中一切方阵AAA都成立

4.2.2 几种常用的矩阵范数

定义4.5：算子范数

设∣∣χ∣∣a||\boldsymbol\chi||_a∣∣χ∣∣a是CnC^nCn的一个向量范数，对于任何A∈Cn×nA\in C^{n×n}A∈Cn×n，则

∣∣A∣∣a=max⁡∣∣χ∣∣a=1∣∣aχ∣∣a||A||_a=\max_{||\boldsymbol\chi||_a=1}||a\boldsymbol\chi||_a∣∣A∣∣a=∣∣χ∣∣a=1max∣∣aχ∣∣a

是一个与∣∣χ∣∣||\boldsymbol\chi||∣∣χ∣∣相容的方阵范数，称这个方阵范数为从属于向量范数∣∣χ∣∣a||\boldsymbol\chi||_a∣∣χ∣∣a的算子范数

定理4.2.4

设A∈Cn×n,χ∈Cn,χ=(ξ1,ξ2,...,ξn)TA\in C^{n×n},\boldsymbol\chi\in C^n,\boldsymbol\chi=(\xi_1,\xi_2,...,\xi_n)^TA∈Cn×n,χ∈Cn,χ=(ξ1,ξ2,...,ξn)T，则从属于向量χ\boldsymbol\chiχ的三种范数∣∣χ∣∣1,∣∣χ∣∣2,∣∣χ∣∣∞||\boldsymbol\chi||_1,||\boldsymbol\chi||_2,||\boldsymbol\chi||_{\infty}∣∣χ∣∣1,∣∣χ∣∣2,∣∣χ∣∣∞的矩阵算子范数分别是

∣∣A∣∣1=max⁡j∑i=1n∣aij∣(1)||A||_1=\max_j\sum_{i=1}^{n}|a_{ij}|\tag{1}∣∣A∣∣1=jmaxi=1∑n∣aij∣(1)

记忆：先对AAA中对每一列元素取模再求和，然后找出各列模总和中最大的一个值

∣∣A∣∣2=λ1,λ1为AHA的最大特征值(2)||A||_2=\sqrt{\lambda_1},\quad \lambda_1为A^HA的最大特征值\tag{2}∣∣A∣∣2=λ1,λ1为AHA的最大特征值(2)

记忆：先找出AHAA^HAAHA中的最大特征值再开方

∣∣A∣∣∞=max⁡i∑j=1n∣aij∣(3)||A||_{\infty}=\max_i\sum_{j=1}^{n}|a_{ij}|\tag{3}∣∣A∣∣∞=imaxj=1∑n∣aij∣(3)

记忆：先对AAA中对每一行元素取模再求和，然后找出各行模总和中最大的一个值

定义4.6

若n×nn×nn×n矩阵AAA的全部特征值为λ1,λ2,...,λn\lambda_1,\lambda_2,...,\lambda_nλ1,λ2,...,λn，则称

ρ(A)=max⁡i∣λi∣\rho(A)=\max_i|\lambda_i|ρ(A)=imax∣λi∣

为方阵AAA的谱半径

其实就是方阵AAA的∣∣A∣∣2||A||_2∣∣A∣∣2范数

补充

如果∣∣⋅∣∣||\cdot||∣∣⋅∣∣是任意的矩阵函数，且A∈Cn×nA\in C^{n×n}A∈Cn×n，则

ρ(A)≤∣∣A∣∣\rho(A)\leq ||A||ρ(A)≤∣∣A∣∣

定理4.2.6

设A∈Cn×nA\in C^{n×n}A∈Cn×n，则

（1）∣∣A∣∣2=∣∣AH∣∣2=∣∣AT∣∣2=∣∣Aˉ∣∣2||A||_2=||A^H||_2=||A^T||_2=||\bar{A}||_2∣∣A∣∣2=∣∣AH∣∣2=∣∣AT∣∣2=∣∣Aˉ∣∣2

（2）∣∣AHA∣∣2=∣∣AAH∣∣2=∣∣A∣∣22||A^HA||_2=||AA^H||_2=||A||_2^2∣∣AHA∣∣2=∣∣AAH∣∣2=∣∣A∣∣22

（3）对任何nnn阶酉阵UUU及VVV，都有

∣∣UA∣∣2=∣∣AV∣∣2=∣∣UAV∣∣2=∣∣A∣∣2||UA||_2=||AV||_2=||UAV||_2=||A||_2∣∣UA∣∣2=∣∣AV∣∣2=∣∣UAV∣∣2=∣∣A∣∣2

结语

说明：

参考于课本《矩阵理论》
配合书中概念讲解结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（15）：矩阵的范数相关推荐

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（14）：向量范数及其性质
目录前言往期文章 4.1 向量范数及其性质 4.1.1 向量范数的概念及P-范数定义4.1 例1 向量的几种范数 4.1.2 n n n维线性空间 V V V上的向量范数等价性定理4.1.1 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（25）：幂级数（补充知识）
目录前言往期文章幂级数一.函数项级数的概念定义:(函数项)无穷级数幂级数及其收敛性幂级数定理1(阿贝尔定理) 推论定理2 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章, ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（17）：函数矩阵的微分和积分
目录前言往期文章 5.2 函数矩阵的微分和积分 5.2.1 函数矩阵对自变量的微分和积分定义5.3:函数矩阵定义5.4:函数矩阵的微分单元函数矩阵的一些性质例1 定义5.5 函数矩阵的积分 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（8）：标准正交基与Gram-Schmidt过程
目录前言往期文章 2.2 标准正交基与Gram-Schmidt过程 2.2.1 标准正交基定义2.4 定理2.2.1 定义2.5 2.2.2 求标准正交基的Schmide方法定理2.2.2 举 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（23）：常数项级数的概念和性质（补充知识）
目录前言往期文章常数项级数的概念和性质一.常数项级数的概念常数项无穷级数定义:收敛与发散例题二.收敛级数的基本性质性质1 性质2 性质3 性质4 性质5(级数收敛的必要条件) 三.柯 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（13）：Hamliton-Cayley定理、最小多项式
目录前言往期文章 3.4 Hamliton-Cayley定理.最小多项式定义3.19 Hamliton-Cayley定理定义3.20 定理3.4.1 定理3.4.2 定理3.4.3 定理3.4 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：子空间的交与和
目录前言往期文章 1.6 子空间的交与和 1.6.1 子空间的交定理1.6.1 1.6.2 子空间的和定义1.8 定理1.6 .2 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章, ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（11）：线性变换的矩阵表示
目录前言往期文章 3.2 线性变换的矩阵表示定义3.7 命题定理3.2.1 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- 自我介绍 ଘ(੭ ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（24）：常数项级数的审敛法（补充知识）
目录前言往期文章常数项级数的审敛法一.正项级数及其审敛法定义:正项级数定理1 定理2(比较审敛法) 推论定理3 (比较审敛法的极限形式) 定理4(比值审敛法,达朗贝尔判别法) 定理5(比 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射
目录前言 1.1 集合与映射平凡子集合和集映射满射单射一一映射举例例 - 1 例 - 2 例 - 3 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方 ...

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（15）：矩阵的范数

目录

前言

往期文章

4.2 矩阵的范数

4.2.1 矩阵范数的定义与性质

定义4.3：矩阵范数

m1范数m1范数m1范数

m∞范数m\infty范数m∞范数

F−范数（或m2范数）F-范数（或m2范数）F−范数（或m2范数）

定义4.4

酉矩阵

定理4.2.1

定理4.2.2

定理4.2.3

4.2.2 几种常用的矩阵范数

定义4.5：算子范数

定理4.2.4

定义4.6

补充

定理4.2.6

结语

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（15）：矩阵的范数相关推荐

最新文章

热门文章