学习来源：《矩阵分析与应用》张贤达清华大学出版社

矩阵的范数与内积

1. 矩阵的内积

设矩阵 $A=(a_{ij})\in R^{n \times n}$ ，把矩阵 $A$ 的元素按行优先排列成一个列向量

$vecA=(a_{11},a_{12},\cdots ,a_{1n},a_{21},a_{22},\cdots ,a_{m1},a_{m2},\cdots ,a_{mn})^T$

称向量 $vecA$ 为矩阵 $A$ 按行拉直的列向量。类似地矩阵 $A$ 也可以按列优先展开。

设 $A,B\in R^{n\times n}$ ，称

$\left \langle A,B \right \rangle=Tr(A^{T}B)=\sum_{i=1}^{n}\sum_{j=1}^{n} a_{ij}b_{ij}=(vecA)^TvecB$

为矩阵 $A,B$ 的内积。其中： $Tr(A)$ 为矩阵 $A$ 的迹。

2. 主要性质

1）交换律： $\left \langle A,B \right \rangle=\left \langle B,A \right \rangle$ ；

2）其次性： $\left \langle kA,B \right \rangle=k\left \langle A,B \right \rangle$ ；

3）分配律： $\left \langle A+B,C \right \rangle=\left \langle A,C \right \rangle+\left \langle B,C \right \rangle$ ；

4）非负性： $\left \langle A,A \right \rangle\geqslant 0$ ，当且仅当 $A=0$ 时， $\left \langle A,A \right \rangle=0$ 。

3. 矩阵的范数

对任意一个矩阵 $A\in R^{m \times n}$ ，用 $\left \| A \right \|$ 表示按照某一确定法则与矩阵 $A$ 相对应的一个实数，且满足：

1）对于任意 $A$ 有 $\left \| A \right \|\geqslant 0$ ，当且仅当 $A=0$ 时， $\left \| A \right \|=0$ ；

那么称 $\left \| A \right \|$ 为矩阵 $A$ 的范数。

4. 例：

$n \times n$ 矩阵 $A$ 的实值函数

$f(A)=\sum_{i=1}^{n}\sum_{j=1}^{n}\left | a_{ij} \right |$

可以验证：

1） $f(A)\geqslant 0$ ，并且当 $A=0$ 即 $a_{ij}=0$ 时， $f(A)=0$ 。

2） $f(cA)=\sum_{i=1}^{n}\sum_{j=1}^{n}\left | ca_{ij} \right |=\left | c \right |\sum_{i=1}^{n}\sum_{j=1}^{n}\left | a_{ij} \right |=\left | c \right |f(A)$ 。

3） $f(A+B)=\sum_{i=1}^{n}\sum_{j=1}^{n}(\left | a_{ij}+b_{ij} \right |)\leqslant \sum_{i=1}^{n}\sum_{j=1}^{n}(\left | a_{ij} \right |+\left | b_{ij} \right |)=f(A)+f(B)$

4）对于两个矩阵的乘积，有

$f(AB)=\sum_{i=1}^{n}\sum_{j=1}^{n}\left | \sum_{k=1}^{n}a_{ik}b_{kj} \right |$

$\leqslant \sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\left | a_{ik} \right |\left | b_{kj} \right |$

$\leqslant \sum_{i=1}^{n}\sum_{j=1}^{n}(\sum_{k=1}^{n}\left | a_{ik} \right |\sum_{k=1}^{n}\left | b_{kj} \right |)$

$=f(A)f(B)$

因此，实函数

$f(A)=\sum_{i=1}^{n}\sum_{j=1}^{n}\left | a_{ij} \right |$

是一种矩阵 $A$ 的范数。

5. 经典矩阵范数

1）Frobenius 范数

$\left \| A \right \|_{F}=(\sum_{i=1}^{n}\sum_{k=1}^{n}\left | a_{ij} \right |^2)^\frac{1}{2}$

这一定义可以视为向量的 Euclidean 范数对按照矩阵各行排列的 “长向量”

$x=[a_{11},\cdots ,a_{1n},a_{21},\cdots ,a_{2n},\cdots ,a_{m1},\cdots ,a_{mn}]^T$

的推广。

2） $l_{p}$ 范数

$\left \| A \right \|_p=\max_{x\neq 0}\frac{\left \| Ax \right \|_p}{\left \| x \right \|_p}$

式中， $\left \| x \right \|_p$ 是向量 $x$ 的 $l_{p}$ 范数。

3）行和范数

$\left \| A \right \|_{row}=\max_{1\leqslant i\leqslant m}\left \{ \sum_{j=1}^{n}\left | a_{ij} \right | \right \}$

4）列和范数

$\left \| A \right \|_{col}=\max_{1\leqslant j\leqslant n}\left \{ \sum_{i=1}^{m}\left | a_{ij} \right | \right \}$

5）谱范数

$\left \| A \right \|_{spec} =\sigma _{max}=\sqrt{\lambda _{max}}$

式中， $\sigma_{max}$ 是矩阵 $A$ 的的最大奇异值，即 $A^HA$ 的最大特征值 $\lambda _{max}$ 的正平方根。

6）Mahalanobis 范数

$\left \| A \right \|_\Omega =\sqrt{tr(A^H\Omega A)}$

式中， $\Omega$ 为正定矩阵（所有特征值大于零的矩阵）。

6. 矩阵的内积与范数之间的关系

1） Cauchy-Schwartz 不等式

当且仅当 $A=cB$ 时，等号成立。 $c$ 为某个复常数。

2） Pathagoras 定理

3）极化恒等式

$Re(\left \langle A,B \right \rangle)=\frac{1}{4}(\left \| A+B \right \|^2-\left \| A-B \right \|^2)$

$Re(\left \langle A,B \right \rangle)=\frac{1}{2}(\left \| A+B \right \|^2-\left \| A \right \|^2-\left \| B \right \|^2)$

式中， $Re\left ( \cdot \right )$ 代表取复数的实部。

矩阵分析与应用(5)相关推荐

【MATLAB】进阶绘图 ( colormap 颜色图矩阵分析 | 自定义 colormap 颜色图 | 生成 64 x 3 的 colormap 颜色图矩阵 )
文章目录一.colormap 矩阵分析二.自定义 colormap 颜色图 1.生成 colormap 矩阵 2.代码示例一.colormap 矩阵分析 imagesc 函数参考文档 : htt ...
矩阵分析与多元统计II 二次型与二次曲面3 二次型及其标准形的定义
矩阵分析与多元统计II 二次型与二次曲面3 二次型及其标准形的定义上一讲我们讨论了二次齐次函数.对称双线性函数之间的一一对应关系,这一讲我们从多项式的角度讨论二次齐次函数,给出二次型的概念及其标准形 ...
应用矩阵分析1 子空间分析1 线性子空间基础
应用矩阵分析1 子空间分析1 线性子空间基础基本理论正交分解子空间的正交投影应用举例离散信号的Casorati矩阵正交多分辨率分析 Orthogonal Procrustes Proble ...
矩阵分析与多元统计II 二次型与二次曲面2 双线性函数
矩阵分析与多元统计II 二次型与二次曲面2 双线性函数双线性函数双线性函数的表示满秩双线性函数对称与反对称对称双线性函数反对称双线性函数应用伪欧氏空间与伪正交变换辛空间与辛变换对称 ...
矩阵分析与多元统计11 广义vec算子与devec算子
矩阵分析与多元统计11 广义vec算子与devec算子定义简单性质 τ\tauτ符号广义vec算子与devec算子提供理论上重塑矩阵形状的工具. 定义假设AAA是一个m×npm \times ...
矩阵分析与多元统计12 0-1矩阵交换矩阵与Kronecker乘积
矩阵分析与多元统计12 0-1矩阵交换矩阵与Kronecker乘积基本性质用交换矩阵的构造证明基本性质这一讲介绍交换矩阵与Kronecker乘积相关的性质.对于矩阵A∈Fm×nA \in F^ ...
矩阵分析与多元统计12 0-1矩阵交换矩阵简介
矩阵分析与多元统计12 0-1矩阵交换矩阵简介选择矩阵交换矩阵顾名思义,0-1矩阵就是所有元素取值均为0和1的矩阵,这类矩阵在矩阵分析.多元统计乃至组合学和图论中都有很重要的应用.在这个主题中 ...
矩阵分析与多元统计11 Kronecker乘积
矩阵分析与多元统计11 Kronecker乘积 Kronecker乘积 vec算子与devec算子 Kronecker乘积定义数域FFF中,A=(aij)∈Fm×n,B∈Fp×qA = (a_{i ...
矩阵分析与多元统计1 线性空间与线性变换3 特征值
矩阵分析与多元统计1 线性空间与线性变换3 特征值线性变换线性空间的同构线性变换的特征值与特征向量几何重数与代数重数线性变换从线性空间VVV到它自身的线性映射叫做线性变换,在基α1,⋯,α ...
矩阵分析与多元统计线性空间与线性变换2
矩阵分析与多元统计线性空间与线性变换2 线性映射矩阵的等价线性映射的像空间与核空间线性映射 V1,V2V_1,V_2V1,V2是数域FFF上的两个线性空间,A:V1→V2\mathcal{ ...

矩阵分析与应用(5)