对称矩阵的特征值和特征向量

这一节，我们首先研究一类重要的矩阵，实对称矩阵，的特征值和特征向量。

性质

我们的主要结论是

实对称矩阵的特征值全部是实数。
实对称矩阵可以取到 nnn 个正交的特征实向量。

原因

为什么所有实对称矩阵的特征值全部是实数尼？我们只用对比
Ax=λx(1)\bm{Ax}=\lambda\bm{x}~~~~(1)Ax=λx (1)

Ax‾=λ‾x‾(2)\bm{A\overline{x}}=\overline{\lambda}\overline{\bm{x}}~~~~(2)Ax=λx (2)

即可，其中下式是上式两边共轭的结果。其实从这里也能看出，任意实矩阵 A\bm{A}A, 如果 λ\lambdaλ 是其特征值，则 λ‾\overline{\lambda}λ 也是它的特征值，他们的特征向量互为共轭。

我们还知道 A=A⊤\bm{A}=\bm{A}^\topA=A⊤, 因此由 (2) 有
x‾⊤A=λ‾x‾⊤(3)\overline{\bm{x}}^\top\bm{A}=\overline{\lambda}\overline{\bm{x}}^\top~~~~(3)x⊤A=λx⊤ (3)

(1) 左乘 x‾⊤\overline{\bm{x}}^\topx⊤, (3) 右乘 x\bm{x}x 有
x‾⊤Ax=λx‾⊤x\overline{\bm{x}}^\top\bm{Ax}=\lambda\overline{\bm{x}}^\top\bm{x}x⊤Ax=λx⊤x

x‾⊤Ax=λ‾x‾⊤x\overline{\bm{x}}^\top\bm{A}\bm{x}=\overline{\lambda}\overline{\bm{x}}^\top\bm{x}x⊤Ax=λx⊤x

Since x‾⊤x≠0\overline{\bm{x}}^\top\bm{x}\neq\bm{0}x⊤x=0, 我们有 λ=λ‾\lambda=\overline{\lambda}λ=λ, 即 λ\lambdaλ 是实数。

复数矩阵 A\bm{A}A: 从上面的推导也可以看出，我们其实是在比较 (1) 和 (1) 的共轭转置。此时，如果 A\bm{A}A 是复数矩阵，我们有
x‾⊤Ax=λx‾⊤x\overline{\bm{x}}^\top\bm{Ax}=\lambda\overline{\bm{x}}^\top\bm{x}x⊤Ax=λx⊤x

x‾⊤A‾⊤x=λ‾x‾⊤x\overline{\bm{x}}^\top\overline{\bm{A}}^\top\bm{x}=\overline{\lambda}\overline{\bm{x}}^\top\bm{x}x⊤A⊤x=λx⊤x

所以，如果复矩阵是厄米矩阵 (Hermitian) A=A‾⊤\bm{A}=\overline{\bm{A}}^\topA=A⊤，那它的特征值也全是实数，其中通常我们记作 A‾⊤=AH\overline{\bm{A}}^\top=\bm{A}^HA⊤=AH.

应用

给定上面两点性质，一个重要的结论是所有的实对称矩阵都能被相似对角化
A=QΛQ−1=QΛQ⊤\bm{A=Q}\Lambda\bm{Q}^{-1}=\bm{Q}\Lambda\bm{Q}^\topA=QΛQ−1=QΛQ⊤

特别的，对角化所用矩阵是正交矩阵 Q\bm{Q}Q。这有什么好处尼？好处是我们可以把矩阵 A\bm{A}A 直接表示为它的特征值和特征向量：
A=λ1q1q1⊤+λ2q2q2⊤+...+λnqnqn⊤\bm{A}=\lambda_1\bm{q}_1\bm{q}_1^\top+\lambda_2\bm{q}_2\bm{q}_2^\top+...+\lambda_n\bm{q}_n\bm{q}_n^\topA=λ1q1q1⊤+λ2q2q2⊤+...+λnqnqn⊤

其中每一项 qiqi⊤\bm{q}_i\bm{q}_i^\topqiqi⊤ 都是一个projection matrix (可以代入性质，对称，幂次方是本身)。每一个对称矩阵都能表示为 nnn 个相互正交的投影矩阵的线性组合

Fact 1: 如果没有 row exchange，实对称的 pivots乘积等于矩阵的行列式，因此也等于所有特征值的乘积。

Fact 2: 对于实对称矩阵，列出所有的 pivots 和所有的特征值，positive的个数和negative的个数相等。

这一点的用处是，

我们可以估计特征值的正负，这在differential equations中很有用，因为它决定了系统最终会不会收敛。
我们可以用 pivots 来估计大于某个数, 比如ddd，的特征值的个数 (pivots比特征值好算太多太多)。做法就是看矩阵 A−dI\bm{A-dI}A−dI pivots 有多少个正数，因为特征值被平移了 ddd.

正定矩阵 positive definite matrix

对称矩阵是一类很好的矩阵，在这个基础上，我们介绍另一类矩阵：正定矩阵。这里我们只介绍一下概念，稍后我们会仔细看这一类矩阵。

前提：实对称矩阵。

要求：所有特征值大于零。

特性：

所有特征值大于零。
所有 pivots 大于零。
所有 nnn 个子行列式大于零。

MIT 线性代数 Linear Algebra 25: 对称矩阵的特征值特征向量，正定矩阵相关推荐

MIT 线性代数 Linear Algebra 26:复矩阵，傅里叶矩阵, 快速傅里叶变换 FFT
这一讲我们来讲一下复矩阵.线性代数中,复矩阵是避免不了的话题,因为一个简单实矩阵都有可能有复数特征值. 复矩阵我们着重看一下复矩阵和实矩阵在运算上的区别. 距离首先,一个复数向量的的距离求法发生了 ...
MIT 线性代数 Linear Algebra 9: 向量空间的一些定义(线性独立，基，维度)
本节内容都是一些定义,实际上我们之前已经接触过了.让我们总结一下: linear independent 线性独立给定一组向量 {v1,v2,...,vn}\{\bm{v_1,v_2,...,v_n ...
MIT 线性代数 Linear Algebra 10: 矩阵的四个space
这一节是相当于对之前所有内容的一个总括,也是对线性代数的研究对象 – 矩阵 – 的一个总结 (从vector space的角度). 这四个space分别是 Column space C ( A ) C ...
【机器学习的数学基础】（二）线性代数(Linear Algebra)（中）
文章目录 2 线性代数(Linear Algebra)(中) 2.4 向量空间 2.4.1 群 2.4.2 向量空间 2.4.3 向量子空间 2.5 线性独立 2.6 基和秩 2.6.1 生成集和基 ...
线性代数 -- Linear Algebra with Applications
@.如果线性方程组无解,则称该方程组是不相容的(inconsistent). @.如果线性方程组至少存在一个解,则称该方程组是相容的(consistent). @.等价方程组(equivalent s ...
线性代数 linear algebra
2.3 实现属于我们自己的向量 Vector.py class Vector: def __init__(self, lst): self._values = lst #return len def ...
[笔记][总结] MIT线性代数 Gilbert Strang 对称矩阵
作者水平有限,欢迎大家提出文中错误正定性与对称矩阵对称矩阵对称矩阵的对角化正定性正定矩阵判据正定矩阵的性质正定性与最小二乘法二次型对称矩阵的LU分解与二次型的配方连续多元函数在某点 ...
矩阵消元-线性代数课时2（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第二讲,讲解了求线性方程组的一种系统方法:消元法(Gaussian elimination),它的核心思想是行变换.本课时的几个核心知识点:消元.回代.消元过程的矩阵描述和逆矩阵 ...
列空间和零空间-线性代数课时6（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第六讲,讲解的内容是线性代数里的俩个最重要向量子空间:列空间和零空间,同时还有上节课剩余的一点关于向量空间的问题.1.向量空间和子空间;2.列空间;3.零空间. 1.向量空间和子 ...
矩阵乘法和逆矩阵-线性代数课时3（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第三讲,讲解的内容是矩阵乘法和矩阵的逆.矩阵乘法在前面已经使用过,本节课教授只是集中细致的讲解矩阵乘法满足的定律和几种计算矩阵乘法的方法,矩阵的逆是本节课的重要内容. 矩阵乘法 ...

MIT 线性代数 Linear Algebra 25: 对称矩阵的特征值特征向量，正定矩阵

对称矩阵的特征值和特征向量

性质

原因

应用

正定矩阵 positive definite matrix

MIT 线性代数 Linear Algebra 25: 对称矩阵的特征值特征向量，正定矩阵相关推荐

最新文章

热门文章