线性代数之——对称矩阵及正定性
当 AAA 是对称的时候,Ax=λxAx=\lambda xAx=λx 有什么特殊的呢?
1. 对称矩阵的分解
A=SΛS−1A = S\Lambda S^{-1}A=SΛS−1
AT=(S−1)TΛSTA^T = (S^{-1})^T\Lambda S^{T}AT=(S−1)TΛST
如果 AAA 是对称矩阵,也就是 A=ATA=A^TA=AT。对比以上两个式子,我们可以得到 S−1=STS^{-1}=S^TS−1=ST,也就是 STS=IS^TS=ISTS=I,特征向量矩阵 SSS 是正交的。
对称矩阵具有如下的性质:
- 它们的特征值都是实数;
- 可以选取出一组标准正交的特征向量。
每个对称矩阵都可以分解为 A=QΛQ−1=QΛQTA=Q\Lambda Q^{-1}=Q\Lambda Q^TA=QΛQ−1=QΛQT,Λ\LambdaΛ 中为实数的特征值,S=QS=QS=Q 中为标准正交的特征向量。
- 例 1
A=[1224]A = \begin{bmatrix} 1&2 \\2&4\end{bmatrix}A=[1224]
A−λI=[1−λ224−λ]A-\lambda I = \begin{bmatrix} 1-\lambda&2 \\2&4-\lambda\end{bmatrix}A−λI=[1−λ224−λ]
det(A−λI)=(1−λ)(4−λ)−4=λ2−5λ=0det(A-\lambda I) = (1-\lambda)(4-\lambda)-4=\lambda^2-5\lambda=0det(A−λI)=(1−λ)(4−λ)−4=λ2−5λ=0
特征值和特征向量分别为:
λ1=0,x1=[2−1]\lambda_1 = 0,x_1 = \begin{bmatrix} 2 \\ -1 \end{bmatrix}λ1=0,x1=[2−1]
λ2=5,x2=[12]\lambda_2 = 5,x_2 = \begin{bmatrix} 1 \\ 2 \end{bmatrix}λ2=5,x2=[12]
特征向量 x1x_1x1 位于零空间,特征向量 x2x_2x2 位于列空间。有子空间基本定理可知,零空间正交于行空间,这里 AAA 是对称矩阵,所以列空间和行空间是一样的,因此两个特征向量是垂直的。而要得到标准正交向量,我们只需再除以它们各自的长度即可。所以有:
QΛQT=15[21−12][0005]15[2−112]=AQ\Lambda Q^T=\frac{1}{\sqrt5}\begin{bmatrix} 2&1 \\-1&2\end{bmatrix}\begin{bmatrix} 0&0 \\0&5\end{bmatrix}\frac{1}{\sqrt5}\begin{bmatrix} 2&-1 \\1&2\end{bmatrix} =AQΛQT=51[2−112][0005]51[21−12]=A
一个实对称矩阵的所有特征值都是实数。
证明
实数的共轭还是它本身,两个数积的共轭等于共轭的积,即 AB‾=AˉBˉ\overline{AB}=\bar A \bar BAB=AˉBˉ。
(1)Ax=λx→Aˉxˉ=λˉxˉ→Axˉ=λˉxˉ\tag{1}Ax=\lambda x \to \bar A\bar x=\bar \lambda\bar x \to A\bar x=\bar \lambda\bar xAx=λx→Aˉxˉ=λˉxˉ→Axˉ=λˉxˉ(1)
对 (1) 进行转置可得
(2)xˉTAT=λˉxˉT→xˉTA=λˉxˉT\tag{2}\bar x^TA^T=\bar \lambda\bar x^T \to \bar x^TA=\bar \lambda\bar x^TxˉTAT=λˉxˉT→xˉTA=λˉxˉT(2)
将 Ax=λxAx=\lambda xAx=λx 乘以 xˉT\bar x^TxˉT,将 (2) 式乘以 xxx,可得
(3)xˉTAx=λxˉTx\tag{3}\bar x^TAx=\lambda \bar x^TxxˉTAx=λxˉTx(3)
(4)xˉTAx=λˉxˉTx\tag{4}\bar x^TAx=\bar \lambda\bar x^TxxˉTAx=λˉxˉTx(4)
由于右边为向量长度的平方,因此不为零。对比 (3) 、(4) 两式可得 λˉ=λ\bar \lambda= \lambdaλˉ=λ,所以对称矩阵的特征值一定为实数。
一个实对称矩阵的所有特征向量(对应于不同特征值)是正交的。
证明
假设有 Ax=λ1xAx=\lambda_1 xAx=λ1x 和 Ay=λ2yAy=\lambda_2 yAy=λ2y,并且 λ1̸=λ2\lambda_1 \not = \lambda_2λ1̸=λ2,那么
(λ1x)Ty=(Ax)Ty=xTATy=xTAy=xTλ2y(\lambda_1 x)^Ty = (Ax)^Ty=x^TA^Ty=x^TAy=x^T\lambda_2y(λ1x)Ty=(Ax)Ty=xTATy=xTAy=xTλ2y
等式左边为 xTλ1yx^T\lambda_1yxTλ1y,等式右边为 xTλ2yx^T\lambda_2yxTλ2y,因为 λ1̸=λ2\lambda_1 \not = \lambda_2λ1̸=λ2,所以有 xTy=0x^Ty=0xTy=0,也即两个特征向量垂直。
- 例 2
A=[abbc]A = \begin{bmatrix} a&b \\b&c\end{bmatrix}A=[abbc]
特征向量分别为:
x1=[bλ1−a]x_1 = \begin{bmatrix} b \\ \lambda_1-a \end{bmatrix}x1=[bλ1−a]
x2=[λ2−cb]x_2 = \begin{bmatrix} \lambda_2-c \\ b \end{bmatrix}x2=[λ2−cb]
x1Tx2=b(λ2−c)+b(λ1−a)=b(λ1+λ2−a−c)=0x_1^Tx_2=b(\lambda_2-c)+b(\lambda_1-a)=b(\lambda_1+\lambda_2-a-c)=0x1Tx2=b(λ2−c)+b(λ1−a)=b(λ1+λ2−a−c)=0
两个特征值的和为矩阵的迹,即对角线元素的和。
我们再来看 2×22×22×2 矩阵分解后的结果
A=QΛQT=[x1x2][λ1λ2][x1Tx2]A=Q\Lambda Q^T = \begin{bmatrix} \\x_1& x_2 \\ \space \end{bmatrix}\begin{bmatrix} \lambda_1\\ \space & \lambda_2 \end{bmatrix}\begin{bmatrix} \quad x_1^T\quad\\ \quad x_2 \quad \end{bmatrix}A=QΛQT=⎣⎡x1 x2⎦⎤[λ1 λ2][x1Tx2]
A=λ1x1x1T+λ2x2x2TA=\lambda_1 x_1x_1^T+\lambda_2 x_2x_2^TA=λ1x1x1T+λ2x2x2T
扩展到 nnn 维的情况,A=∑inλixixiTA=\sum_i^n\lambda_i x_ix_i^TA=∑inλixixiT,其中每一个 xixiTx_ix_i^TxixiT 都是投影矩阵,P=xxTxTxP=\frac{xx^T}{x^Tx}P=xTxxxT,特征向量的长度为 1,所以分母略去了。也就是说,对称矩阵是其特征向量投影矩阵的线性组合。
2. 实矩阵的复特征向量
Ax=λx→Aˉxˉ=λˉxˉ→Axˉ=λˉxˉAx=\lambda x \to \bar A\bar x=\bar \lambda\bar x \to A\bar x=\bar \lambda\bar xAx=λx→Aˉxˉ=λˉxˉ→Axˉ=λˉxˉ
针对对称矩阵,其特征值和特征向量都是实的。但是,非对称矩阵非常容易得到虚的特征值和特征向量。在这种情况下,Ax=λxAx=\lambda xAx=λx 和 Axˉ=λˉxˉA\bar x=\bar \lambda\bar xAxˉ=λˉxˉ 是不同的,我们得到了一个新的特征值 λˉ\bar \lambdaλˉ 和新的特征向量 xˉ\bar xxˉ。
针对实矩阵,复数的特征值和特征向量总是一对共轭对。
3. 特征值和主元
矩阵的主元和特征值是非常不同的,主元是通过消元得到的,而特征值是通过求解 det(A−λI)=0det(A-\lambda I)=0det(A−λI)=0 得到的。到目前为止,它们唯一的联系就是:所有主元的乘积等于所有特征值的乘积,都等于矩阵的行列式值。
针对对称矩阵,还有一个隐藏的关系:主元的符号和特征值的符号一致,也就是正的主元个数等于正的特征值的个数。
证明
对称矩阵可以被分解为 A=LDLTA=LDL^TA=LDLT 的形式。
当 LLL 变成 III 的时候,LDLTLDL^TLDLT 就变成了 IDITIDI^TIDIT,也就是由 AAA 变成了 DDD。AAA 的特征值为 4 和 -2,DDD 的特征值为 1 和 -8。当 LLL 中左下角的元素从 3 变到 0 的时候, LLL 就变成了 III。在这个过程中,如果特征值符号发生改变的话,那肯定会有一个中间时刻,这时候特征值为 0,也就意味着矩阵是奇异的。但是最后的矩阵 DDD 一直有两个主元,始终是可逆的,从来不可能是奇异的,因此特征值的符号不会发生改变。
特别地,所有的特征值都大于零,也就是所有的主元都大于零,这种情况下,矩阵就称之为是正定的。
4. 重复的特征值
当没有重复特征值的时候,特征向量一定是线性不相关的,这时候矩阵一定可以被对角化。但是一个重复的特征值可能会导致特征向量的缺乏,这有些时候会发生在非对称矩阵上,但是对称矩阵一定会有足够的特征向量来进行对角化。
证明
获取更多精彩,请关注「seniusen」!
线性代数之——对称矩阵及正定性相关推荐
- matlab向量与x正方向的夹角_MIT—线性代数笔记25 对称矩阵和正定性
第25讲 对称矩阵和正定性 Symmetric matrices and positive definiteness 网易公开课open.163.com 进入第三单元学习,主题是正定矩阵及其应用.对 ...
- 线性代数笔记27——对称矩阵及正定性
原文 | https://mp.weixin.qq.com/s/zdQttJfuubyztiVplScbwA 对称矩阵 对称矩阵是最重要的矩阵之一,对于对称矩阵来说,A=AT.矩阵的特殊性也表现在特征 ...
- MIT线性代数笔记二十五讲 对称矩阵和正定性
对称矩阵是最重要的矩阵之一.那么它的特征值和特征向量有什么特别之处吗? 文章目录 1. 对称矩阵 Symmetric matrices 2. 实特征值 Real eigenvalues 3. 正定 ...
- CP.26对称矩阵及正定性
本部分从对称矩阵的特征值.特征向量为出发点,并引出正定矩阵 1.对称矩阵 对称矩阵有如下两个性质: (1)A=AT(1)\textbf{A}\:=\:\textbf{A}^T(1)A=AT (2)有正 ...
- 26对称矩阵及正定性
一.知识概要 本节从对称矩阵的特征值,特征向量入手,介绍对称矩阵在我们之前学习的一些内容上的特殊性质.并借此引出了正定矩阵. 二.对称矩阵 正如我们之前学习的很多特殊矩阵一样(如马尔科夫矩阵),对称矩 ...
- 矩阵论(五):矩阵的正定性
矩阵论专栏:专栏(文章按照顺序排序) 矩阵的正定性是矩阵理论的基础,在机器学习的很多算法中都有它的身影.正定矩阵是很基础的工具,当涉及到诸如协方差矩阵.海森矩阵.不等式时就可能会用到正定性.另外,控制 ...
- 线性代数——矩阵正定性及二次型的矩阵表示
一. 判断矩阵正定性的方法(4种) 1.矩阵所有特征值为正 即λi>0 2.矩阵的所有主元为正数 3.矩阵的顺序主子式均为正数 4.矩阵表示的二次型为正 二.二次型矩阵形式及代数形式的转化 二次 ...
- 线性代数-二次型及其正定性
二次型及其矩阵表示形式 二次型:含有n个变量的二次齐次多项式 二次型矩阵:xTAx,其中A为实对称矩阵 任给一个实二次型,就唯一确定一个实对称矩阵;反之,任给一个实对称矩阵,也可以唯一确认一个实二次型 ...
- 随机模拟三组来自相同或不同分布的随机数据,并计算他们的协方差矩阵,判断其正定性
随机模拟三组来自相同或不同分布的随机数据,并计算他们的协方差矩阵,判断其正定性 随机数据产生 程序实现 结果分析 随机数据产生 随机模拟来自正态分布.指数分布.泊松分布的三组随机数,产生 10 × 3 ...
最新文章
- Android多进程引发的问题
- Build-dep linux 知乎,删除通过apt-get build-dep安装的软件包
- 如果《赛博朋克2077》走进现实,人类如何摆脱AI的支配?
- c# 定位内存快速增长_c#如何避免内存分配瓶颈以提高多线程性能
- CVE-2020-0796复现(poc+exp)
- 不要仅仅依靠单元测试
- C语言: ---gdb查看内存和寄存器内容
- 浅谈mysql数据库引擎
- 大厂程序员辞职创业,赚的还没原来多!
- 老板凭啥提拔你:如何得到老板赏识
- dev多行注释_Shell 实现多行注释的几种常用方法
- 图的遍历(广度优先遍历)- 数据结构和算法61
- could not find or load the Qt platform plugin windows的解决方法
- 中兴B860AV2.1-T非高安 /高安版本-通用线刷固件及教程
- rhel配置DNS分析+实验
- linux启动tomcat权限不足
- 提莫攻击的中毒持续时间
- 数字统计 题解(c++)
- Java实现表格打印翻页_简单又实用的小文章来了----表格分页打印的那些小事(2)...
- 移动APP设计国外资源总汇