正规矩阵

正规矩阵是很重要也很特殊的一类矩阵，因为它能使得谱定理成立，也一定能够酉相似对角化

在数学中，正规矩阵 (英语: normal matrix) A\mathbf{A}A 是与自己的共轭转置满足交换律的实系数方块矩阵，也就是说， A\mathbf{A}A 满足
A∗A=AA∗\mathbf{A}^{*} \mathbf{A}=\mathbf{A} \mathbf{A}^{*} A∗A=AA∗
其中 A∗\mathbf{A}^{*}A∗ 是 A\mathbf{A}A 的共轭转置。
如果 A\mathbf{A}A 是实系数矩阵, 则 A∗=AT\mathbf{A}^{*}=\mathbf{A}^{T}A∗=AT, 从而条件简化为 ATA=AAT\mathbf{A}^{T} \mathbf{A}=\mathbf{A} \mathbf{A}^{T}ATA=AAT 其中 AT\mathbf{A}^{T}AT 是 A\mathbf{A}A 的转置矩阵。

前面说到，一个线性变换可以用矩阵来表示。而正规算子用矩阵来表示，得到的就是一个正规矩阵。任何一个正规矩阵，都是某个正规算子在一组标准正交基下的矩阵；反之，任一正规算子在一组标准正交基下的矩阵都为正规矩阵。从这里看出来，因为正规算子是很稀少的，所以正规矩阵也是很稀少的一种矩阵
矩阵的正规性是检验矩阵是否可对角化的一个简便方法: 任意正规矩阵都可在经过一个酉变换后变为对角矩阵，反过来所有可在经过一个酉变换后变为对角矩阵的矩阵都是正规矩阵。矩阵可酉相似对角化的充要条件是它为正规矩阵(注意是对角化不是三角化)。还要注意一点，相似对角化的条件很弱(特征向量够多)，酉相似对角化的条件很强(需要正规矩阵)

对二阶方阵的一些分析

首先明白一个定理: 任何矩阵都可以通过相似变换变换为上三角矩阵

标准形式

Thm. T2×2⇒T≅[ab0c],b≥0, uniquely (except a,c may interchange) \text { Thm. } T \quad 2 \times 2 \Rightarrow T \cong\left[\begin{array}{ll} a & b \\ 0 & c \end{array}\right], \mathrm{b} \geq 0 \text {, uniquely (except a,c may interchange) } Thm. T2×2⇒T≅[a0bc],b≥0, uniquely (except a,c may interchange)

酉等价

T1,T22×2T_{1}, T_{2} 2 \times 2T1,T22×2
(i) T1≅T2⇔T_{1} \cong T_{2} \LeftrightarrowT1≅T2⇔ same canonical form.
(ii) T1≅T2⇔tr⁡T1=tr⁡T2,tr⁡T12=tr⁡T22⏟↓&tr⁡(T1∗T1)=tr⁡(T2∗T2)T_{1} \cong T_{2} \Leftrightarrow \underbrace{\operatorname{tr} T_{1}=\operatorname{tr} T_{2}, \operatorname{tr} T_{1}^{2}=\operatorname{tr} T_{2}^{2}}_{\mathbb{\downarrow}} \& \operatorname{tr}\left(T_{1}^{*} T_{1}\right)=\operatorname{tr}\left(T_{2} * T_{2}\right)T1≅T2⇔↓trT1=trT2,trT12=trT22&tr(T1∗T1)=tr(T2∗T2)
T1,T2T_{1}, T_{2}T1,T2 same eigenvalues. Hilbert-Schmidt norm same
(Reason: tr⁡T=\operatorname{tr} T=trT= sum of eigenvalues of TTT )
(iii) T1≅T2⇔tr⁡T1=tr⁡T2,det⁡T1=det⁡T2⏟↓&∥T1∥F=∥T2∥FT_{1} \cong T_{2} \Leftrightarrow \underbrace{\operatorname{tr} T_{1}=\operatorname{tr} T_{2}, \operatorname{det} T_{1}=\operatorname{det} T_{2}}_{\mathbb{\downarrow}} \&\left\|T_{1}\right\|_{F}=\left\|T_{2}\right\|_{F}T1≅T2⇔↓trT1=trT2,detT1=detT2&∥T1∥F=∥T2∥F.
same eigenvalues.
(Reason: det⁡T=\operatorname{det} T=detT= product of eigenvalues of TTT )
(iv) T1≅T2⇔W(T1)=W(T2)T_{1} \cong T_{2} \Leftrightarrow W\left(T_{1}\right)=W\left(T_{2}\right)T1≅T2⇔W(T1)=W(T2).

一些数值性质

Def. T∈n×n,W(T)={⟨Tx,x⟩:x∈Cn;∥x∥=1}⊆CT \in n \times n, W(T)=\left\{\langle T x, x\rangle: x \in \mathbb{C}^{n} ;\|x\|=1\right\} \subseteq \mathbb{C}T∈n×n,W(T)={⟨Tx,x⟩:x∈Cn;∥x∥=1}⊆C
Hausdorff-Toeplitz:
W(T)W(T)W(T) is convex in C\mathbb{C}C.
Thm. (O. Toeplitz, 1918)
T=[ab0c]⇒W(T)=T=\left[\begin{array}{ll}a & b \\ 0 & c\end{array}\right] \Rightarrow W(T)=T=[a0bc]⇒W(T)= elliptic disc, foci at a,ca, ca,c & length of minor axis =∣b∣=|\mathrm{b}|=∣b∣.

即对长度为1的向量来说，用内积<Tx,x>张成的一定是一个凸集。不仅如此，海是一个以a、c为焦点、以b为短轴长度的椭圆

矩阵的四个基本子空间

矩阵 Am×n的四个基本子空间 : 列空间 C(A)，行空间 C(AT)，零空间 N(A)， AT的零空间 N(AT)若 rank⁡(A)=r，则 dim⁡(C(A))=dim⁡(C(AT))=r， dim⁡(N(A))=n−r，dim⁡(N(AT))=m−r\begin{aligned} &\text { 矩阵 } A_{m \times n} \text { 的四个基本子空间 : } \\ &\text { 列空间 } C(A) \text { ，行空间 } C\left(A^{T}\right) \text { ， } \\ &\text { 零空间 } N(A) \text { ， } A^{T} \text { 的零空间 } N\left(A^{T}\right) \\ &\text { 若 } \operatorname{rank}(A)=r \text { ， } \\ &\text { 则 } \operatorname{dim}(C(A))=\operatorname{dim}\left(C\left(A^{T}\right)\right)=r \text { ， } \\ &\operatorname{dim}(N(A))=n-r ， \operatorname{dim}\left(N\left(A^{T}\right)\right)=m-r \end{aligned} 矩阵 Am×n 的四个基本子空间 : 列空间 C(A) ，行空间 C(AT) ，零空间 N(A) ， AT 的零空间 N(AT) 若 rank(A)=r ，则 dim(C(A))=dim(C(AT))=r ， dim(N(A))=n−r，dim(N(AT))=m−r

矩阵"三秩合一"，行秩=列秩=矩阵秩。这个定理的证明都是一些很不直观的证法，很技巧化，不用深究
所谓零空间是指Ax=0的解空间。显然有dim(N(A))+dim(C(A))=r(A)dim(N(A))+dim(C(A))=r(A)dim(N(A))+dim(C(A))=r(A)，从而可以得到dim(N(A))=dim(C(A))−rdim(N(A))=dim(C(A))-rdim(N(A))=dim(C(A))−r

正交矩阵

正交矩阵(更合适的说法是正交规范矩阵，因为它不仅要求列列正交，还要求每列的模为1)是比正规矩阵更特殊的矩阵，它要求
QTQ=QQT=IQ^{T} Q=Q Q^{T}=I QTQ=QQT=I
而正规矩阵只要求
Q∗Q=QQ∗\mathbf{Q}^{*} \mathbf{Q}=\mathbf{Q} \mathbf{Q}^{*} Q∗Q=QQ∗

几个特殊的正交矩阵

旋转矩阵与反射矩阵

rotation matrix: reflection matrix:

二维的旋转代表某个点(或者)绕着原点逆时针旋转θ\thetaθ度，三维的旋转代表绕着某个轴旋转$\theta $度，下面的左式即旋转矩阵

反射矩阵的含义是，使某个向量绕某个与之成θ2\frac{\theta}{2}2θ射线进行反射
[cos⁡θ−sin⁡θsin⁡θcos⁡θ][cos⁡θsin⁡θsin⁡θ−cos⁡θ]\left[\begin{array}{cc} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right] \quad\left[\begin{array}{cc} \cos \theta & \sin \theta \\ \sin \theta & -\cos \theta \end{array}\right] [cosθsinθ−sinθcosθ][cosθsinθsinθ−cosθ]

小波矩阵

wavelet matrix:
W4=[111011−101−1011−10−1],W8=?W_{4}=\left[\begin{array}{cccc} 1 & 1 & 1 & 0 \\ 1 & 1 & -1 & 0 \\ 1 & -1 & 0 & 1 \\ 1 & -1 & 0 & -1 \end{array}\right], \quad W_{8}=? W4=⎣⎢⎢⎡111111−1−11−100001−1⎦⎥⎥⎤,W8=?

哈达玛矩阵

Hadamard matrix:

H2为2X2的方阵，H4由H2构造出来，为4X4的矩阵，H8用相同方法构造出来，为8X8的矩阵
H2=[111−1],H4=[H2H2H2−H2],H8=…H_{2}=\left[\begin{array}{cc} 1 & 1 \\ 1 & -1 \end{array}\right], H_{4}=\left[\begin{array}{cc} H_{2} & H_{2} \\ H_{2} & -H_{2} \end{array}\right], H_{8}=\ldots H2=[111−1],H4=[H2H2H2−H2],H8=…

Householder矩阵

Householder matrix:

其中向量u为一个nX1的模长为1的向量，下面构造出来的就是一个Householder矩阵，注意他其实是一个很特殊的矩阵(正交规范、厄密特对称)
H=I−2uuTH=I-2 u u^{T} H=I−2uuT

判断矩阵是否正定

Symmetric positive definite matrix S:

All λi>0\lambda_{i}>0λi>0;
Energy xTSx>0x^{T} S x>0xTSx>0, for x≠0x \neq 0x=0;
S=ATAS=A^{T} AS=ATA, columns in AAA are indep.;
All leading determinants >0>0>0;
All pivots in elimination >0>0>0.

矩阵分析(2)--正规矩阵、正交矩阵相关推荐

数字图像处理：第十一章基于特征向量的变换
第十一章基于特征向量的变换目录 1. 主分量分析(PCA).K-L变换(Hotelling变换) 2. 奇异值分解(SVD) 3. DCT与K-L变换的关系 1. 主分量分析(PC ...
图神经网路入门(1)
图神经网络入门(1) 本文主要介绍图神经网路背景和必须的数学知识.下一部分会介绍模型和应用. 1.为什么会出现GCN(图卷积神经网络) 普通卷积网络都是研究的具备欧几里得领域的数据,例如规则的正方形, ...
机器学习应该了解的十大算法
毫无疑问,近些年机器学习和人工智能领域受到了越来越多的关注.随着大数据成为当下工业界最火爆的技术趋势,机器学习也借助大数据在预测和推荐方面取得了惊人的成绩.比较有名的机器学习案例包括Netflix根据 ...
机器学习工程师需要了解的十种算法
毫无疑问,近些年机器学习和人工智能领域受到了越来越多的关注.随着大数据成为当下工业界最火爆的技术趋势,机器学习也借助大数据在预测和推荐方面取得了惊人的成绩.比较有名的机器学习案例包括Netflix根据 ...
SVD奇异值分解（Singular Value Decomposition）
奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,是矩阵分析中正规矩阵酉对角化的推广.在信号处理.统计学等领域有重要应用. 假设M是一个m×n阶矩阵 ...
常见矩阵：对称矩阵、Hermite矩阵、正交矩阵、酉矩阵、奇异矩阵、正规矩阵、幂等矩阵
看文献的时候,经常见到各种各样矩阵,本篇总结了常见的对称矩阵.Hermite矩阵.正交矩阵.酉矩阵.奇异矩阵.正规矩阵.幂等矩阵七种矩阵的定义,作为概念备忘录吧,忘了可以随时查一下. 1.对称矩阵(文 ...
对称矩阵、Hermite矩阵、正交矩阵、酉矩阵、奇异矩阵、正规矩阵、幂等矩阵
原文链接: http://blog.csdn.net/jbb0523/article/details/50596604 主要讲了常用的矩阵定义: 对称矩阵.Hermite矩阵.正交矩阵.酉矩阵.奇异矩 ...
对称矩阵、Hermite矩阵、正交矩阵、酉矩阵、奇异矩阵、正规矩阵、幂等矩阵、合同矩阵、正定矩阵...
http://blog.csdn.net/jbb0523/article/details/50596604 看文献的时候,经常见到各种各样矩阵,本篇总结了常见的对称矩阵.Hermite矩阵.正交矩阵. ...
矩阵笔记3:矩阵分析(第三版)-史荣昌-第三章:内积空间、正规矩阵、Hermite矩阵
文章目录 0 笔记说明 1 书本内容 1.1 欧氏空间.酉空间 1.2 标准正交基.Schmidt方法 1.3 酉变换.正交变换 1.4 幂等矩阵.正交投影 1.5 对称与反对称变换 1.6 Schu ...
矩阵分析第三章内积空间正规矩阵 Hermite矩阵
第一节欧式空间和酉空间欧式空间:在实数域的线性空间的基础上,有了内积的定义(两个空间元素相乘等于一个实数) 酉空间: 在复数域的线性空间基础上,有了内积的定义(两个空间元素相乘等于一个复数) 注意 ...

矩阵分析(2)--正规矩阵、正交矩阵