文章目录

1.正定矩阵ATAA^TAATA
2. 相似矩阵 Similar matrices
- 2.1 特征值互不相同 Distinct eigenvalues
- 2.2 重特征值 Repeated eigenvalues
3. 若尔当标准型 Jordan form

1.正定矩阵ATAA^TAATA

若对称矩阵AAA满足对任意向量 x≠0x \neq 0x=0 均有 xTAx>0x^TAx>0xTAx>0，则称矩阵为正定矩阵，可以通过特征值、主元和行列式的办法来判断矩阵的正定性。

正定矩阵来自于最小二乘问题。有大量的实际问题用到了长方形矩阵，而最小二乘问题中用到了长方形矩阵的积ATAA^TAATA，它是正定矩阵。

正定矩阵AAA是对称矩阵，它的逆矩阵A−1A^{ -1}A−1 也是正定矩阵，逆矩阵的特征值是原矩阵的倒数，因此也都是正数。若矩阵AAA和BBB都是正定矩阵，则A+BA+BA+B也是正定矩阵：xTAx>0，xTBx>0x^TAx>0，x^TBx>0xTAx>0，xTBx>0，则有 xT(A+B)x>0x^T(A+B)x>0xT(A+B)x>0。

如果AAA是一个m∗nm*nm∗n长方形矩阵，则ATAA^TAATA是对称方阵。通过讨论xT(ATA)xx^T(A^TA)xxT(ATA)x的正负可以确认它是正定矩阵：xT(ATA)x=(Ax)T(Ax)=∣Ax∣2≥0x^T(A^TA)x=(Ax)^T(Ax)= |Ax|^2 \geq 0xT(ATA)x=(Ax)T(Ax)=∣Ax∣2≥0。当且仅当Ax=0Ax=0Ax=0时，表达式为 0当矩阵AAA的各列线性无关时，即矩阵为列满秩r=nr=nr=n，AAA的零空间只有零向量，即此条件下仅有零向量，满足xT(ATA)x=0x^T(A^TA)x=0xT(ATA)x=0。因此矩阵列满秩时，ATAA^TAATA是正定矩阵。正定矩阵将之前的知识点串联起来。

正定矩阵不需要进行行变换，也不需要担心pivot过小或者等于0。

2. 相似矩阵 Similar matrices

AAA和BBB均是n∗nn*nn∗n方阵，若存在可逆矩阵MMM，使得 B=M−1AMB=M^{-1}AMB=M−1AM，则 AAA和BBB为相似矩阵（相似矩阵和对称矩阵没有关系）。

2.1 特征值互不相同 Distinct eigenvalues

若矩阵AAA具有nnn个线性无关的特征向量，可以对角化得到S−1AS=ΛS^{-1}AS =ΛS−1AS=Λ，则AAA相似于ΛΛΛ，这里的MMM是特征向量矩阵SSS。如果将 M 取其它可逆矩阵，可以得到和 A相似的另一矩阵 B，实际上这样可以定义一类矩阵，Λ 是其中最简洁的一个。

例：A=[2112]A=\left[ \begin{array} { l l } { 2 } & { 1 } \\ { 1 } & { 2 } \end{array} \right]A=[2112],则Λ=[3001]\Lambda = \left[ \begin{array} { l l } { 3 } & { 0 } \\ { 0 } & { 1 } \end{array} \right]Λ=[3001]，则取另一 MMM，则有：

B=[1−401][2112][1401]=[−2−1516]B=\left[ \begin{array} { r r } { 1 } & { - 4 } \\ { 0 } & { 1 } \end{array} \right]\left[ \begin{array} { l l } { 2 } & { 1 } \\ { 1 } & { 2 } \end{array} \right] \left[ \begin{array} { l l } { 1 } & { 4 } \\ { 0 } & { 1 } \end{array} \right]=\left[ \begin{array} { c c } { - 2 } & { - 15 } \\ { 1 } & { 6 } \end{array} \right]B=[10−41][2112][1041]=[−21−156]

相似矩阵最重要的特性是：相似矩阵具有相同的特征值。事实上，所有特征值为3和1的二阶矩阵都是AAA的相似矩阵。

证明矩阵AAA的相似矩阵B=M−1AMB=M^{ -1}AMB=M−1AM，具有和矩阵AAA相同的特征值λ\lambdaλ：矩阵AAA具有的特征值λ\lambdaλ，即存在特征向量xxx满足 Ax=λxAx=\lambda xAx=λx。则有：

AMM−1x=λxAMM^{ -1}x =\lambda xAMM−1x=λx

M−1AMM−1x=λM−1xM^{-1}AMM^{-1}x =\lambda M^{-1}xM−1AMM−1x=λM−1x

BM−1x=λM−1xBM^{-1}x =\lambda M^{ -1}xBM−1x=λM−1x

即矩阵具有特征值λ\lambdaλ，且特征向量为M−1xM^{-1}xM−1x。

因此，相似矩阵具有相同的特征值，并且线性无关的特征向量的个数相同，但是特征向量往往不同。如果矩阵AAA的特征值互不相等λ1≠λ2≠…≠λn\lambda_1 \neq \lambda_2 \neq \dots \neq \lambda_nλ1=λ2=…=λn，而与另一个矩阵BBB的特征值完全相同λ1=λ1′\lambda _ { 1 } = \lambda _ { 1 } { } ^ { \prime }λ1=λ1′, λ2=λ2′\lambda _ { 2 } = \lambda _ { 2 } { } ^ { \prime }λ2=λ2′,…\dots…,λn=λn′\lambda _ { n } = \lambda _ { n } { } ^ { \prime }λn=λn′，则它们与相同的对角矩阵Λ\LambdaΛ相似。

2.2 重特征值 Repeated eigenvalues

如果矩阵有重特征值，则可能无法进行对角化。

例：二阶矩阵有重特征值λ1=λ2=4\lambda_1= \lambda_2=4λ1=λ2=4。

第一类： [4004]\left[ \begin{array} { l l } { 4 } & { 0 } \\ { 0 } & { 4 } \end{array} \right][4004]，只与自己相似，M−1[4004]M=4M−1IM=[4004]M^{-1} \left[ \begin{array} { l l } { 4 } & { 0 } \\ { 0 } & { 4 } \end{array} \right] M=4M ^ { - 1 } I M = \left[ \begin{array} { l l } { 4 } & { 0 } \\ { 0 } & { 4 } \end{array} \right]M−1[4004]M=4M−1IM=[4004]。这个系列的相似矩阵仅包含其自身。

第二类包含其它所有的重特征值为4的矩阵：其中最简洁的是[4104]\left[ \begin{array} { l l } { 4 } & { 1 } \\ { 0 } & { 4 } \end{array} \right][4014]，元素 1的位置换上其它数值仍然是相似矩阵。这个最优形式称为若尔当（Jordan form）标准型。有了这个理论，就可以处理不可对角化的矩阵，完成近似的“对角化”转化为若尔当标准型进行处理。

与[4104]\left[ \begin{array} { l l } { 4 } & { 1 } \\ { 0 } & { 4 } \end{array} \right][4014]相似的矩阵，迹为 8，行列式为 16，因此我们可以构造出很多相似矩阵：[51−13]\left[ \begin{array} { c c } { 5 } & { 1 } \\ { - 1 } & { 3 } \end{array} \right][5−113]、[40174]\left[ \begin{array} { l l } { 4 } & { 0 } \\ { 17 } & { 4 } \end{array} \right][41704]、[a∗∗8−a]\left[ \begin{array} { l l } { a } & { * } \\ { * } & { 8 - a } \end{array} \right][a∗∗8−a]，它们都不能对角化（因为若可以对角化则按照特征值可知结果为4I4I4I，而4I4I4I只与自己相似）

3. 若尔当标准型 Jordan form

更复杂的情况，一个四阶矩阵具有重特征值 0，λ1=λ2=λ3=λ4=0\lambda_1=\lambda_2=\lambda_3=\lambda_4=0λ1=λ2=λ3=λ4=0。

A=[0100001000000000]A=\left[ \begin{array} { l l l | l } { 0 } & { 1 } & { 0 } & { 0 } \\ { 0 } & { 0 } & { 1 } & { 0 } \\ { 0 } & { 0 } & { 0 } & { 0 } \\ \hline 0 & { 0 } & { 0 } & { 0 } \end{array} \right]A=⎣⎢⎢⎡0000100001000000⎦⎥⎥⎤它的秩为 2，因此其零空间的维数为4−2=24-2=24−2=2，而零空间的向量就是矩阵的特征向量，满足 Ax=0xAx=0xAx=0x，所以矩阵AAA只有两个特征向量。若尔当指出上对角线每增加一个 1，矩阵就减掉一个特征向量，本例中特征向量数为 4-2=2。

矩阵B=[0170001000000000]B=\left[ \begin{array} { l l l | l } { 0 } & { 1 } & { 7 } & { 0 } \\ { 0 } & { 0 } & { 1 } & { 0 } \\ { 0 } & { 0 } & { 0 } & { 0 } \\ \hline 0 & { 0 } & { 0 } & { 0 } \end{array} \right]B=⎣⎢⎢⎡0000100071000000⎦⎥⎥⎤与矩阵A=[0100001000000000]A=\left[ \begin{array} { l l l | l } { 0 } & { 1 } & { 0 } & { 0 } \\ { 0 } & { 0 } & { 1 } & { 0 } \\ { 0 } & { 0 } & { 0 } & { 0 } \\ \hline 0 & { 0 } & { 0 } & { 0 } \end{array} \right]A=⎣⎢⎢⎡0000100001000000⎦⎥⎥⎤为相似矩阵。

但矩阵C=[0100000000010000]C=\left[ \begin{array} { l l | l l } { 0 } & { 1 } & { 0 } & { 0 } \\ { 0 } & { 0 } & { 0 } & { 0 } \\ \hline 0 & { 0 } & { 0 } & { 1 } \\ { 0 } & { 0 } & { 0 } & { 0 } \end{array} \right]C=⎣⎢⎢⎡0000100000000010⎦⎥⎥⎤与A=[0100001000000000]A=\left[ \begin{array} { l l l | l } { 0 } & { 1 } & { 0 } & { 0 } \\ { 0 } & { 0 } & { 1 } & { 0 } \\ { 0 } & { 0 } & { 0 } & { 0 } \\ \hline 0 & { 0 } & { 0 } & { 0 } \end{array} \right]A=⎣⎢⎢⎡0000100001000000⎦⎥⎥⎤并不是相似矩阵，两者具有不同的若尔当块。

若尔当块形如Ji=[λi10⋯00λi1⋱⋮00⋱⋱0⋮⋱⋱100⋯0λi]J_i=\left[ \begin{array} { c c c c c } { \lambda _ { i } } & { 1 } & { 0 } & { \cdots } & { 0 } \\ { 0 } & { \lambda _ { i } } & { 1 } & { \ddots } & { \vdots } \\ { 0 } & { 0 } & { \ddots } & { \ddots } & { 0 } \\ { \vdots } & { } & { \ddots } & { \ddots } & { 1 } \\ { 0 } & { 0 } & { \cdots } & { 0 } & { \lambda _ { i } } \end{array} \right]Ji=⎣⎢⎢⎢⎢⎢⎢⎡λi00⋮01λi0001⋱⋱⋯⋯⋱⋱⋱00⋮01λi⎦⎥⎥⎥⎥⎥⎥⎤ 对角线上为重特征值λi\lambda_iλi，上对角线为 1，其它位置的元素均为 0，每个若尔当块只有 1 个特征向量。 若干个若尔当块可以拼成一个若尔当矩阵。

若尔当矩阵：[J10⋯00J2⋯0⋮⋱⋮00⋯Jd]\left[ \begin{array} { c c c c } { J _ { 1 } } & { 0 } & { \cdots } & { 0 } \\ { 0 } & { J _ { 2 } } & { \cdots } & { 0 } \\ { \vdots } & { } & { \ddots } & { \vdots } \\ { 0 } & { 0 } & { \cdots } & { J _ { d } } \end{array} \right]⎣⎢⎢⎢⎡J10⋮00J20⋯⋯⋱⋯00⋮Jd⎦⎥⎥⎥⎤，其中JiJ_iJi指的是Jordan block。

两个矩阵具有相同的特征值和特征向量个数，但是其若尔当块的尺寸不同，两者也并不是相似矩阵。如前述矩阵AAA与BBB并不相似。若尔当理论：任意nnn阶矩阵AAA都与一个若尔当矩阵JJJ相似。若尔当矩阵中的每一个若尔当块对应一个特征向量。若矩阵具有 nnn 个不同的特征向量，则可以对角化，此时其若尔当标准型JJJ 就是对角矩阵ΛΛΛ。若出现重特征值，则特征向量个数变少。

说到了ATAA^TAATA和最小二乘问题就要解释一下，GS 举得曲线拟合的例子，都是线性公式 y=ax+by=ax+by=ax+b，但实际上最小二乘法也处理非线性方程，因为这里所谓的非线性是对xxx 而言，而只要对于所求的参数是线性方程就可以。比如下面的例子中xxx 的方幂组成的矩阵 XXX只是一个系数矩阵，对于所求的参数β\betaβ这仍是个线性方程组。

MIT线性代数笔记二十八讲相似矩阵和若尔当标准型相关推荐

MIT线性代数笔记二十讲克莱姆法则、逆矩阵、体积
文章目录 1. 逆矩阵的公式 Formula for A−1A^{−1}A−1 2. 克莱姆法则 Cramer's Rule for x=A−1bx = A^{−1}bx=A−1b 3. 体积 |de ...
MIT线性代数笔记二十五讲对称矩阵和正定性
对称矩阵是最重要的矩阵之一.那么它的特征值和特征向量有什么特别之处吗? 文章目录 1. 对称矩阵 Symmetric matrices 2. 实特征值 Real eigenvalues 3. 正定 ...
嵌入式系统设计师学习笔记二十八：嵌入式程序设计③——高级程序设计语言
嵌入式系统设计师学习笔记二十八:嵌入式程序设计③--高级程序设计语言解释程序和编译程序编译器的工作阶段示意图语法错误:非法字符,关键字或标识符拼写错误语法错误:语法结构出错,if--endif ...
Mr.J-- jQuery学习笔记(二十八)--DOM操作方法(添加方法总结)
Table of Contents appendTo appendTo(source, target) 源代码 append prependTo prependTo源码 prepend ...
线性代数学习笔记——第十八讲——抽象矩阵的可逆性
1. 矩阵可逆性的相关定理.引理和推论 2. 求逆矩阵示例1 3. 求逆矩阵示例2 4. 分块矩阵的逆矩阵的求解示例 5. 分块对角矩阵可逆的充分必要条件 6. 逆矩阵的应用示例
线性代数学习笔记——第七十八讲——用正交变换化二次型为标准型
1. 正交变换的定义: 任一n元实二次型都可用正交变换化为标准形 2. 用正交变换化二次型为标准形示例
C#(Csharp)笔记二十八——C# 文件的输入与输出
一丶C# 文件的输入与输出一个文件是一个存储在磁盘中带有指定名称和目录路径的数据集合.当打开文件进行读写时,它变成一个流. 从根本上说,流是通过通信路径传递的字节序列.有两个主要的流:输入流 ...
MIT线性代数笔记二矩阵消元
文章目录 1. 消元 Elimation 2. 回代 Back-Substitution 3. 消元矩阵 Elimination Matrices 4. 置换矩阵 Permutation 5. 逆矩阵 ...
Django笔记二十八之数据库查询优化汇总
这一篇笔记将从以下几个方面来介绍 Django 在查询过程中的一些优化操作,有一些是介绍如何获取 Django 查询转化的 sql 语句,有一些是理解 QuerySet 是如何获取数据的. 以下是本篇 ...
立创eda学习笔记二十八：在嘉立创购买pcb板并贴片（smt）
完整的写一下,分为两部分: 1.下pcb订单这个可以看之前写的一个博客: 立创eda学习笔记三:pcb购买_Gutie_bartholomew的博客-CSDN博客补充一下,买pcb可以直接有几个途 ...

MIT线性代数笔记二十八讲相似矩阵和若尔当标准型

文章目录

1.正定矩阵ATAA^TAATA

2. 相似矩阵 Similar matrices

2.1 特征值互不相同 Distinct eigenvalues

2.2 重特征值 Repeated eigenvalues

3. 若尔当标准型 Jordan form

MIT线性代数笔记二十八讲相似矩阵和若尔当标准型相关推荐

最新文章

热门文章

MIT线性代数笔记二十八讲 相似矩阵和若尔当标准型

文章目录

1.正定矩阵ATAA^TAATA

2. 相似矩阵 Similar matrices

2.1 特征值互不相同 Distinct eigenvalues

2.2 重特征值 Repeated eigenvalues

3. 若尔当标准型 Jordan form

MIT线性代数笔记二十八讲 相似矩阵和若尔当标准型相关推荐

最新文章

热门文章

MIT线性代数笔记二十八讲相似矩阵和若尔当标准型

MIT线性代数笔记二十八讲相似矩阵和若尔当标准型相关推荐