矩阵范数与向量范数的公式及其理解

矩阵是什么？

我们都知道映射指的是一个空间 Rm\mathbb{R}^mRm到另一个空间 Rn\mathbb{R}^nRn的变换关系，狭义的函数其实是映射的一种特例，特指实数集间 R1\mathbb{R}^1R1的映射关系。

在所有映射中，我们最常见的是线性映射，对这种线性映射关系，我们是用矩阵来刻画，比如我们要将一个向量x∈Rmx \in \mathbb{R}^mx∈Rm映射到另外一个空间Rn\mathbb{R}^nRn中，那么我们就对其左乘一个矩阵AAA，于是 yn×1=An×mxm×1y_{n \times 1}=A_{n \times m} x_{m \times 1}yn×1=An×mxm×1，这里矩阵的角色就好比函数中的函数体f(x)f(x)f(x)

研究矩阵的性质有助于我们理解这个矩阵是如何作用于输入的，从而揭露了从输入到输出之间的规律。比如：

矩阵的秩反映了映射目标向量空间的维数，比如对于变换 y=Axy=Axy=Ax，如果AAA的秩分别1，2，3，那么表示新的向量yyy的维数分别是1,2，3，所以秩其实就是描述了这个变换矩阵会不会将输入的向量空间降维，如果yyy没有降维（与xxx维数一样），则AAA为满秩。

可逆矩阵反映了线性映射的可逆性，假如AAA是可逆的，那么对于变换y=Axy=Axy=Ax，就有x=A−1yx=A^{-1}yx=A−1y

矩阵范数则反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例，或者可以理解为矩阵的范数就是一种用来刻画变换强度大小的度量。另外，各种范数之间是等价的，这些主要介绍他们的数学定义。

矩阵范数

常用的矩阵范数：

F-范数：Frobenius范数，即矩阵元素绝对值的平方和再开方，对应向量的2范数，∥A∥F=(∑i=1m∑j=1n∣aij∣2)12\|A\|_{F}=\left(\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i j}\right|^{2}\right)^{\frac{1}{2}}∥A∥F=(∑i=1m∑j=1n∣aij∣2)21
F范数经常用来衡量两个矩阵是否相似，比如要使矩阵BBB 与矩阵AAA相似，那么就可以优化它们的误差矩阵B−AB-AB−A 的F范式。

1-范数：列和范数，即矩阵每列向量元素绝对值之和中取最大值，∥A∥1=max⁡j∑i=1m∣ai,j∣\|A\|_{1}=\max _{j} \sum_{i=1}^{m}\left|a_{i, j}\right|∥A∥1=maxj∑i=1m∣ai,j∣

2-范数：谱范数，即ATAA^{T} AATA矩阵的最大特征值的开平方，∥A∥2=λ1,λ1\|A\|_{2}=\sqrt{\lambda_{1}}, \lambda_{1}∥A∥2=λ1,λ1 为ATAA^{T} AATA的最大特征值

∞\infty∞-范数：行和范数，即矩阵每行向量元素绝对值之和中取最大值，∥A∥∞=max⁡i∑j=1n∣ai,j∣\|A\|_{\infty}=\max _{i} \sum_{j=1}^{n}\left|a_{i, j}\right|∥A∥∞=maxi∑j=1n∣ai,j∣

向量范数

常用的向量范数：

2-范数：Euclid范数（欧几里得范数），也就是向量长度，向量元素绝对值的平方和再开方，∥x∥2=(∑i=1N∣xi∣2)12\|x\|_{2}=\left(\sum_{i=1}^{N}\left|x_{i}\right|^{2}\right)^{\frac{1}{2}}∥x∥2=(∑i=1N∣xi∣2)21

1-范数：即向量元素绝对值之和，∥x∥1=∑i=1N∣xi∣\|x\|_{1}=\sum_{i=1}^{N}\left|x_{i}\right|∥x∥1=∑i=1N∣xi∣

∞\infty∞-范数：即所有向量元素绝对值中的最大值，∥x∥∞=max⁡∣xi∣\|x\|_{\infty}=\max \left|x_{i}\right|∥x∥∞=max∣xi∣

−∞-\infty−∞范数：即所有向量元素绝对值中的最小值，∥x∥−∞=min⁡i∣xi∣\|x\|_{-\infty}=\min _{i}\left|x_{i}\right|∥x∥−∞=mini∣xi∣

p-范数：即向量元素绝对值的p次方和的1/p次幂，2范数就是p范数的特例，∥x∥p=(∑i=1N∣xi∣p)1p\|x\|_{p}=\left(\sum_{i=1}^{N}\left|x_{i}\right|^{p}\right)^{\frac{1}{p}}∥x∥p=(∑i=1N∣xi∣p)p1

0-范数，向量中非零元素的个数。

如果对你有帮助，请点个赞:-D