矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

文章目录

矩阵分析系统学习笔记
- 内积空间的基本概念
- 正交基与子空间的正交
- - 正交
  - 正交补
- 点到子空间的距离与最小二乘法
- 正规矩阵

内积空间的基本概念

定义2.1：设VVV是实数域PPP上的线性空间，如果对于VVV中任意两个元素α\alphaα，β\betaβ都有一个实数(α,β)(\alpha, \beta)(α,β)与它们对应，并且满足下面的四个条件，则(α,β)(\alpha,\beta)(α,β)称为元素α\alphaα,β\betaβ的内积：

1）：对于任意的α,β\alpha,\betaα,β:
(α,β)=(β,α)(\alpha,\beta) = (\beta,\alpha) (α,β)=(β,α)
2）：对于任意的α,β,γ\alpha,\beta,\gammaα,β,γ:
(α+β,γ)=(α,γ)+(β,γ)(\alpha+\beta,\gamma) = (\alpha, \gamma)+(\beta, \gamma) (α+β,γ)=(α,γ)+(β,γ)
3）：(kα,β)=k(α,β)(k\alpha, \beta)=k(\alpha, \beta)(kα,β)=k(α,β)

4）：(α,α)≥0(\alpha,\alpha) \geq 0(α,α)≥0当且仅当α=0\alpha=0α=0时成立。

正交基与子空间的正交

在线性空间中可以找到一组基底，这组基底本身线性无关，且其他元素可以被它线性表达，在内积空间中，可以有进一步的结果，即可以找到标准正交基。

定义2.2：由正交的单位向量α1，α2，⋯，αn\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n}α1，α2，⋯，αn组成的基底叫作标准正交基，这时：
(αi,αj)={1,i=j,(i,j=1,2,⋯,n)0,i≠j\left(\boldsymbol{\alpha}_{i}, \boldsymbol{\alpha}_{j}\right)=\left\{\begin{array}{ll}{1,} & {i=j, \quad(i, j=1,2, \cdots, n)} \\ {0,} & {i \neq j}\end{array}\right. (αi,αj)={1,0,i=j,(i,j=1,2,⋯,n)i=j

可以说任意一个nnn维欧氏空间中都存在标准正交基。

施密特(Schmidt)正交化的方法求标准正交基：

设α1，α2，⋯,αn\alpha_{1}，\alpha_{2}，\cdots , \alpha_{n}α1，α2，⋯,αn是VVV的一个基地。则α1，α2，⋯,αn\alpha_{1}，\alpha_{2}，\cdots , \alpha_{n}α1，α2，⋯,αn线性无关。

首先取β1=α1\beta_{1}=\alpha_{1}β1=α1，然后从第二项开始，把前面的向量的分量减去：
β2=α2−k21β1\beta_{2}=\alpha_{2}-k_{21}\beta_{1} β2=α2−k21β1

使β2\beta_{2}β2与β1\beta_{1}β1垂直，如下图(2.1)所示：

由：

(α2−k21β1，β1)=0(\alpha_{2}-k_{21}\beta_{1}，\beta_{1})=0 (α2−k21β1，β1)=0

得：

k21=(α2,β1)(β1,β1)k_{21}=\frac{(\alpha_{2},\beta_{1})}{(\beta_{1},\beta_{1})} k21=(β1,β1)(α2,β1)

同样的设：

β3=α3−k31β1−k32β2\beta_{3 }=\alpha_{3}-k_{31}\beta_{1}-k_{32}\beta_{2} β3=α3−k31β1−k32β2

使β3\beta_{3}β3与β1\beta_{1}β1，β2\beta_{2}β2都垂直，即：

(β3,β1)=(β3,β2)=0(\beta_{3},\beta_{1})=(\beta_{3},\beta_{2})=0 (β3,β1)=(β3,β2)=0

得：

k31=(α3,β1)(β1,β1)，k32=(α3,β2)(β2,β2)k_{31}=\frac{(\alpha_{3},\beta_{1})}{(\beta_{1},\beta_{1})}，k_{32}=\frac{(\alpha_{3},\beta_{2})}{(\beta_{2},\beta_{2})} k31=(β1,β1)(α3,β1)，k32=(β2,β2)(α3,β2)

由此做下去：

βn=αn−kn1β1−⋯−kn,n−1βn−1\beta_{n}=\alpha_{n}-k_{n1}\beta_{1}- \cdots - k_{n,n-1}\beta_{n-1} βn=αn−kn1β1−⋯−kn,n−1βn−1

kni=(αn,βi)(βi,βi),(i=1,2,⋯,n−1)k_{ni}=\frac{(\alpha_{n},\beta_{i})}{(\beta_{i},\beta_{i})},(i=1,2,\cdots,n-1) kni=(βi,βi)(αn,βi),(i=1,2,⋯,n−1)

最后把得到的向量β1\beta_{1}β1，β2\beta_{2}β2，⋯\cdots⋯，βn\beta_{n}βn单位化，即得到标准正交基。

正交

前面讨论的过渡矩阵：
(β1，β2，⋯，βn)(\beta_{1}，\beta_{2}，\cdots，\beta_{n}) (β1，β2，⋯，βn)
=(α1，α2，⋯，αn)A=(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A =(α1，α2，⋯，αn)A
这里AAA一定是可逆的，如果α1，α2，⋯，αn\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n}α1，α2，⋯，αn和β1，β2，⋯，βn\beta_{1}，\beta_{2}，\cdots，\beta_{n}β1，β2，⋯，βn都是标准正交基，可以有进一步的结果，即AAA是正交的矩阵。
定义2.3：如果任取α∈V1\alpha \in V_{1}α∈V1，β∈V2\beta \in V_{2}β∈V2，(α,β)=0(\alpha,\beta)=0(α,β)=0，则称V1与V2V_{1}与V_{2}V1与V2正交。
例如：
V1={(x1,x2,0)∣x1,x2∈R}V_{1}=\{(x_{1},x_{2},0)| x_{1},x_{2} \in R\} V1={(x1,x2,0)∣x1,x2∈R}

V2={(0,0,x3)∣x3∈R}V_{2}=\{(0,0,x_{3})|x_{3} \in R\} V2={(0,0,x3)∣x3∈R}

V1V_{1}V1与V2V_{2}V2正交。

定义2.4：如果任取β∈V1\beta \in V_{1}β∈V1，(α,β)=0(\alpha, \beta)=0(α,β)=0，则称α\alphaα与V1V_{1}V1正交。（这里也就是说α\alphaα与空间VVV中所有向量正交。）
定理2.1：如果子空间V1V_{1}V1与V2V_{2}V2是正交的，则它们的和V1+V2V_{1}+V_{2}V1+V2是直和。

正交补

定义2.5：如果VVV中子空间V1V_{1}V1与V2V_{2}V2正交，并且：

V1+V2=VV_{1}+V_{2}=V V1+V2=V

则称V1(V2)V_{1}(V_{2})V1(V2)是V2(V1)V_{2}(V_{1})V2(V1)的正交补，记作：

V1=V2⊥,V2=V1⊥V_{1}=V_{2}^{\perp},V_{2}=V_{1}^{\perp} V1=V2⊥,V2=V1⊥

定理2.2：nnn维欧氏空间的任一子空间V1V_{1}V1都有唯一的正交补。

点到子空间的距离与最小二乘法

证明欧氏空间中的一个向量α\alphaα到一个子空间WWW中的各个向量的距离也以垂线为最短：
设β∈W\beta \in Wβ∈W而α−β\alpha-\betaα−β不垂直于WWW，α−γ⊥W\alpha-\gamma \perp Wα−γ⊥W，γ∈W\gamma \in Wγ∈W，则：
∣α−β∣2=∣α−γ+γ−β∣2|\alpha-\beta|^{2} = |\alpha-\gamma + \gamma -\beta|^{2} \\ ∣α−β∣2=∣α−γ+γ−β∣2
=∣α−γ∣2+∣γ−β∣2≥∣α−γ∣2=|\alpha-\gamma|^{2}+|\gamma - \beta|^{2}\\ \geq |\alpha-\gamma|^{2} =∣α−γ∣2+∣γ−β∣2≥∣α−γ∣2
设W=L(α1，⋯,αs)W=L(\alpha_{1}，\cdots , \alpha_{s})W=L(α1，⋯,αs)，而α∈V\alpha \in Vα∈V，α⊥W\alpha \perp Wα⊥W，容易看出：
α⊥W⇔α⊥αi(i=1,2,⋯,s)\alpha \perp W \Leftrightarrow \alpha \perp \alpha_{i} \quad(i=1,2, \cdots, s) α⊥W⇔α⊥αi(i=1,2,⋯,s)
现在来看最小二乘法的问题：

解不相容的线性方程组AX=bAX=bAX=b，这里R(A)≠R(A,b)R(A) \neq R(A,b)R(A)=R(A,b)，即方程组无解。现在找一个最小二乘解，也就是找一个近似程度最好的解。

设A=(α1,⋯,αn)A=(\alpha_{1},\cdots,\alpha_{n})A=(α1,⋯,αn),这里α1,⋯,αn\alpha_{1},\cdots ,\alpha_{n}α1,⋯,αn是列向量，则：
AX=(α1,⋯,αn)(x1⋮xn)=∑i=1nxiαiA X=\left(\alpha_{1}, \cdots, \alpha_{n}\right)\left(\begin{array}{c}{x_{1}} \\ {\vdots} \\ {x_{n}}\end{array}\right)=\sum_{i=1}^{n} x_{i} \alpha_{i} AX=(α1,⋯,αn)⎝⎜⎛x1⋮xn⎠⎟⎞=i=1∑nxiαi
当XXX的分量取遍所有值的时候，上面的表达式是：
α1，⋯,αn\alpha_{1}，\cdots ,\alpha_{n} α1，⋯,αn
的任意组合，所以：
AX=L(α1,⋯,αn)=WAX=L(\alpha_{1},\cdots,\alpha_{n})=W AX=L(α1,⋯,αn)=W
而方程组无解意味着不存在一组x1，⋯,xnx_{1}，\cdots , x_{n}x1，⋯,xn使AX=bAX=bAX=b，即bbb不能被α1,⋯,αn\alpha_{1},\cdots,\alpha_{n}α1,⋯,αn组合出来，b∉Wb \notin Wb∈/W。现在在L(α1，⋯，αn)L(\alpha_{1}，\cdots，\alpha_{n})L(α1，⋯，αn)中找一个离bbb最近的向量，即找一个∑xiαi=β\sum x_{i}\alpha_{i}=\beta∑xiαi=β，使：

b−β⊥Wb-\beta \perp W b−β⊥W

而b−β⊥Wb-\beta \perp Wb−β⊥W时这个距离最小，当b−β⊥Wb-\beta \perp Wb−β⊥W时，

b−β⊥αi(i=1,2,⋯,n)b-\beta \perp \alpha_{i} (i=1,2,\cdots ,n) b−β⊥αi(i=1,2,⋯,n)

这里b=βb=\betab=β与αi\alpha_{i}αi都是列向量。所以：

（b−β，αi）=0（b-\beta ，\alpha_{i}）=0\\ （b−β，αi）=0

即αiT(b−β)=0\alpha_{i}^{T}(b-\beta)=0αiT(b−β)=0，写在一起得：

(α1Tα2T⋮αnT)(b−β)=0,(α1Tα2T⋮αnT)=AT,β=AX\left(\begin{array}{c}{\boldsymbol{\alpha}_{1}^{\mathrm{T}}} \\ {\boldsymbol{\alpha}_{2}^{\mathrm{T}}} \\ {\vdots} \\ {\boldsymbol{\alpha}_{n}^{\mathrm{T}}}\end{array}\right)(\boldsymbol{b}-\boldsymbol{\beta})=0, \left(\begin{array}{c}{\boldsymbol{\alpha}_{1}^{\mathrm{T}}} \\ {\boldsymbol{\alpha}_{2}^{\mathrm{T}}} \\ {\vdots} \\ {\boldsymbol{\alpha}_{n}^{\mathrm{T}}}\end{array}\right)=A^{\mathrm{T}}, \beta=AX ⎝⎜⎜⎜⎛α1Tα2T⋮αnT⎠⎟⎟⎟⎞(b−β)=0,⎝⎜⎜⎜⎛α1Tα2T⋮αnT⎠⎟⎟⎟⎞=AT,β=AX

所以最小二乘解是：

ATAX=ATbA^{T}AX=A^{T}b ATAX=ATb

正规矩阵

如果把数域扩大到复数，则可以仿照实数空间内积的定义，把内积推广到复数，但是要考虑到复数的特性。

定义2.6：设VVV是复数域CCC上的线性空间，如果对VVV中的任意向量α,β\alpha,\betaα,β，都有一个复数α,β\alpha,\betaα,β与之对应，且满足如下条件，则(α,β)(\alpha,\beta)(α,β)称为VVV的内积。

(α,β)=(β,α)(\alpha,\beta)=(\beta,\alpha)(α,β)=(β,α)
(α+β，γ)=(α,γ)+(β,γ)(\alpha+\beta，\gamma)=(\alpha,\gamma)+(\beta,\gamma)(α+β，γ)=(α,γ)+(β,γ)
(kα,β)=k(α,β)(k\alpha,\beta)=k(\alpha,\beta)(kα,β)=k(α,β)
(α,α)≥0(\alpha,\alpha) \geq 0(α,α)≥0，当且仅当α=0\alpha=0α=0时(α,α)=0(\alpha,\alpha)=0(α,α)=0

这时VVV称为复内积空间或者酉空间，这里(β,α)(\beta,\alpha)(β,α)是β,α\beta,\alphaβ,α的共轭，条件4）是保证α,α\alpha,\alphaα,α是实数，否则可能会有α≠0\alpha \neq 0α=0，但是(α⋅α)=0(\alpha \cdot \alpha)=0(α⋅α)=0,如α=(3,4,5i)\alpha=(3,4,5i)α=(3,4,5i)

定义2.7：设A∈Cn×nA \in C^{n \times n}A∈Cn×n且AHA=AAH=EA^{H}A=AA^{H}=EAHA=AAH=E，则称AAA为酉矩阵。这是实数空间正交矩阵的推广。
酉矩阵具有以下性质：
1）∣A∣=1|A|=1∣A∣=1；
2）A−1=AHA^{-1}=A^{H}A−1=AH,(A−1)H=(AH)−1(A^{-1})^{H}=(A^{H})^{-1}(A−1)H=(AH)−1；
3）A−1A^{-1}A−1也是酉矩阵，两个酉矩阵的乘积也是酉矩阵；
4）AAA的行(列)向量构成标准正交基。
定义2.8：设A∈Cn×nA \in C^{n \times n}A∈Cn×n,且AHA=AAHA^{H}A=AA^{H}AHA=AAH,则AAA称为正规矩阵。

我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！

矩阵分析 (二) 内积空间相关推荐

矩阵分析L3内积空间
一.内积空间的概念 1.概念两个向量的点乘操作应该算内积空间 2.性质 3.类型 Rn上的标准内积因为要对应位置相乘,所以后一个转置了一下 Rn×n上的内积同样也是对应位置相乘 Rm×n上的内积 ...
ker矩阵是什么意思_矩阵分析(二)：从特征值到奇异值
在上一篇文章中,空间变换和基变换已经被详细讨论过了.特别是基变换,从两个角度看待它对理解特征值分解和奇异值分解会起到很大的帮助. 阿姆斯特朗:矩阵分析(一):空间变换与基变换zhuanlan.zhi ...
【MATLAB】进阶绘图 ( colormap 颜色图矩阵分析 | 自定义 colormap 颜色图 | 生成 64 x 3 的 colormap 颜色图矩阵 )
文章目录一.colormap 矩阵分析二.自定义 colormap 颜色图 1.生成 colormap 矩阵 2.代码示例一.colormap 矩阵分析 imagesc 函数参考文档 : htt ...
ker矩阵是什么意思_矩阵分析(一)：空间变换与基变换
"在这个小测验里,我让你们求一个2*3矩阵的行列式.让我感到非常可笑的是,你们当中竟然有人尝试去做."(摘自http://mathprofessorquotes.com,作者佚名) ...
三维重建基本学习路线
三维重建基本学习路线前言一.主要路线二.基础数学二.三维重建技术 1.基于定位的三维重建技术 2.基于建图的三维重建技术三.图像处理技术四.深度学习技术五.机器人技术前言随着三维重建 ...
镜像参量法设计微波滤波器
镜像参量法: 镜像参量法需要的知识储备:利用ABCD矩阵分析二端口网络:镜像阻抗概念. 图1 ABCD矩阵分析二端口网络示意图2 常用的二端口电路ABCD参量镜像阻抗概念: 图3 镜像阻抗示意图 ...
线性代数学习笔记10-2：特征值分解EVD/奇异值分解SVD的几何意义
前置知识矩阵对应于线性变换,并且要明确讨论所依赖的基(坐标系):同一个变换,在不同的基下对应的矩阵不同具体来说,矩阵中的列向量对应了基变换,而基的变换造成了原空间中所有向量的变换 B = P − ...
实验二 matlab矩阵分析与处理
实验二 matlab矩阵分析与处理目录实验二 matlab矩阵分析与处理 2 1.1实验目的 3 1.2实验内容 3 1.3流程图 4 1.4程序清单 4 1.5运行结果及分析 6 1.6实验的收 ...
matlab矩阵处理实验二,实验二MATLAB矩阵分析与处理
实验二MATLAB矩阵分析与处理实验二 MATLAB矩阵分析与处理(2学时) 一.实验目的 1.掌握生成特殊矩阵的方法. 2.掌握矩阵分析的方法. 3.用矩阵求逆法解线性方程组. 二.实验内容 1. ...

矩阵分析 (二) 内积空间