矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

文章目录

矩阵分析系统学习笔记
- 特征值界的估计
- 特征值的包含区域
- - Gerschgorin 盖尔圆定理
  - 特征值的隔离

矩阵特征值是矩阵的重要参数之一。从前面的讨论可以看到，把矩阵对角化或者求矩阵的约当标准形、判别矩阵的收敛，以及矩阵函数的性质都与特征值有关。当矩阵的阶数高于五次时，没有求根公式，这个时候如果能够给出特征值的位置或者给出特征值的取值范围，会对解决问题有一定的帮助。

不具体求特征值，而是给出特征值的范围，这就是特征值估计问题。例如讨论矩阵幂级数∑k=0∞CkAk\sum_{k=0}^{\infty}C_{k}A^{k}∑k=0∞CkAk是否收敛，只要知道矩阵AAA的谱半径是否小于幂级数∑k=0∞Ckzk\sum_{k=0}^{\infty}C_{k}z^{k}∑k=0∞Ckzk的收敛半径即可。

在自动控制理论中，系统的稳定性与特征值的实数部分的符号有关，如果实数部分为负，则系统稳定。因此通过矩阵本身的数值来给出特征值的范围就显得很重要。

特征值界的估计

前面讲到范数时曾经有：

ρ(A)≤∣∣A∣∣\rho(A) \leq ||A|| ρ(A)≤∣∣A∣∣

即矩阵的谱半径小于任何一个矩阵的范数，而范数可以通过矩阵本身的数值来计算，不需要解方程。

下面给出特征值的估计。

如果λ\lambdaλ是AAA的特征值，xxx为特征向量，则Ax=λxAx=\lambda xAx=λx，进一步假设xxx是单位向量，则xHx=1x^{H}x=1xHx=1，两边乘以xHx^{H}xH：

xHAx=λxHx=λx^{H}Ax=\lambda x^{H}x =\lambda xHAx=λxHx=λ

即λ\lambdaλ可以由xHAxx^{H}AxxHAx决定，可以通过估计这个函数来估计特征值。

定理7.1：设A∈Cn×nA \in C^{n \times n}A∈Cn×n,x∈Cnx \in C^{n}x∈Cn，且∣∣x∣∣2=1||x||_{2}=1∣∣x∣∣2=1，则：

∣xHAx∣≤∣∣A∣∣m∞|x^{H}Ax| \leq ||A||_{m_{\infty}} ∣xHAx∣≤∣∣A∣∣m∞

推论：由λ=xHAx\lambda=x^{H}Axλ=xHAx，得∣λ∣≤∣∣A∣∣m∞| \lambda | \leq ||A||_{m_{\infty}}∣λ∣≤∣∣A∣∣m∞。
定理7.2 设：

A∈Cn×n,A \in C^{n \times n}, A∈Cn×n,

B=12(A+AH)，C=12(A−AH)B= \frac{1}{2}(A+A^{H})，C= \frac{1}{2}(A-A^{H}) B=21(A+AH)，C=21(A−AH)

则AAA的特征值λ\lambdaλ满足：

∣Reλ∣≤∣∣B∣∣m∞，∣Imλ∣≤∣∣C∣∣m∞|Re \lambda| \leq ||B||_{m_{\infty}}，|Im \lambda | \leq ||C||_{{m_{\infty}}} ∣Reλ∣≤∣∣B∣∣m∞，∣Imλ∣≤∣∣C∣∣m∞

推论：厄米特矩阵的特征值都是实数，反厄米特矩阵的特征值为零或者纯虚数。
定理7.3：(舒尔定理) 设A∈Cn×nA \in C^{n \times n}A∈Cn×n的特征值为λ1\lambda_{1}λ1,λ2\lambda_{2}λ2,⋯\cdots⋯ λn\lambda_{n}λn，则：

∣λ1∣2+∣λ2∣2+⋯∣λn∣2≤∣∣A∣∣F2|\lambda_{1}|^{2}+|\lambda_{2}|^{2}+\cdots |\lambda_{n}|^{2} \leq ||A||_{F}^{2} ∣λ1∣2+∣λ2∣2+⋯∣λn∣2≤∣∣A∣∣F2

且等式成立的充要条件是AAA为正规矩阵。

特征值的包含区域

上一节给出了特征值大小的估计，这一节介绍一些判别矩阵特征值位置的方法。

Gerschgorin 盖尔圆定理

与上一节类似，我们需要用矩阵元素给出特征值的估计。设λ\lambdaλ为A=(aij)n×nA=(a_{ij})_{n \times n}A=(aij)n×n的特征值，x=(x1,x2,⋯,xn)Tx=(x_{1},x_{2},\cdots ,x_{n})^{T}x=(x1,x2,⋯,xn)T为AAA的属于λ\lambdaλ的特征向量，则由Ax=λxAx=\lambda xAx=λx得：

∑j=1naijxj=λxi(i=1,2,⋯,n)\sum_{j=1}^{n}a_{ij}x_{j}=\lambda x_{i} (i=1,2,\cdots , n) j=1∑naijxj=λxi(i=1,2,⋯,n)

xi(λ−aii)=∑j=1,j≠inaijxjx_{i}(\lambda -a_{ii}) =\sum_{j=1,j \neq i}^{n}a_{ij}x_{j} xi(λ−aii)=j=1,j=i∑naijxj

∣λ−aii∣=∣∑aijxjxi∣≤∑∣aij∣∣xjxi∣|\lambda-a_{ii}|=|\sum a_{ij} \frac{x_{j}}{x_{i}}| \leq \sum|a_{ij}| |\frac{x_{j}}{x_{i}}| ∣λ−aii∣=∣∑aijxixj∣≤∑∣aij∣∣xixj∣

如果∣xi∣≥∣xj∣|x_{i}| \geq |x_{j}|∣xi∣≥∣xj∣，则∣xjxi∣≤1|\frac{x_{j}}{x_{i}}| \leq 1∣xixj∣≤1得：

∣λ−aii∣=∑j=1,j≠in∣aij∣|\lambda - a_{ii}| = \sum_{j=1,j \neq i}^{n}|a_{ij}| ∣λ−aii∣=j=1,j=i∑n∣aij∣

上述不等式在几何上是一个圆，即特征值落在一个圆中。

定义设A=(aij)n×nA=(a_{ij})_{n \times n}A=(aij)n×n，记：

Ri=∑j=1,j≠in∣aij∣R_{i}=\sum_{j=1 ,j \neq i}^{n} |a_{ij}| Ri=j=1,j=i∑n∣aij∣

称复平面的圆域：

Gi={z∣∣z−aii∣≤Ri,z∈C}G_{i} = \{z||z-a_{ii}| \leq R_{i} , z \in C\} Gi={z∣∣z−aii∣≤Ri,z∈C}

为AAA的第iii个盖尔圆，称RiR_{i}Ri为盖尔圆的半径，由于：

x=(x1,x2,⋯,xn)x=(x_{1},x_{2},\cdots ,x_{n}) x=(x1,x2,⋯,xn)

的分量中必有一个xix_{i}xi使得∣xi∣=maxj∣xj∣|x_{i}| = max_{j}|x_{j}|∣xi∣=maxj∣xj∣，所以必有一个iii使得：

∣λ−aii∣≤Ri|\lambda - a_{ii}| \leq R_{i} ∣λ−aii∣≤Ri

成立，由此得到：

定理7.4：矩阵A∈Cn×nA \in C^{n \times n}A∈Cn×n的全体特征值都在它的nnn个盖尔圆构成的并集之中。

注意到A∈Cn×nA \in C^{n \times n}A∈Cn×n与ATA^{T}AT的特征值相同，根据定理7.4可得，AAA的特征值也在ATA^{T}AT的nnn个盖尔圆构成的并集之中。称ATA^{T}AT的盖尔圆为AAA的列盖尔圆。

根据盖尔圆理论，对任何矩阵AAA特征值一定满足∣λ−aii∣≤Ri|\lambda -a_{ii}| \leq R_{i}∣λ−aii∣≤Ri。若λ=0\lambda =0λ=0，则∣aii∣≤Ri|a_{ii}| \leq R_{i}∣aii∣≤Ri。

从这里可以看出，若矩阵AAA严格对角占优，即∣aii∣>Ri|a_{ii}| > R_{i}∣aii∣>Ri，则：

λ≠0，∣A∣≠0\lambda \neq 0，|A| \neq 0 λ=0，∣A∣=0

推论：若AAA为实矩阵A∈Rn×nA \in R^{n \times n}A∈Rn×n,且AAA的nnn个盖尔圆是孤立的，则AAA有nnn个互不相同的实特征值。

AAA为实矩阵时，特征方程∣λE−A∣=0|\lambda E -A| = 0∣λE−A∣=0为实代数方程，它的复根一定成对出现，一定是共轭的，即a±iba \pm iba±ib的形式，且∣λ−aii∣|\lambda -a_{ii}|∣λ−aii∣的形式，且∣λ−aii∣≤Ri|\lambda -a_{ii}| \leq R_{i}∣λ−aii∣≤Ri中，aiia_{ii}aii是实数，特征值一定是实数。

特征值的隔离

前面讲述了用盖尔圆分析特征值的方法，当矩阵AAA与BBB相似，即B=C−1ACB =C^{-1}ACB=C−1AC时，AAA与BBB有相同的特征值。利用这一个性质，可以通过改变盖尔圆的大小，分析某个特征值的位置。在这里取比较简单的CCC,可以取成对角矩阵，且对角线元素为正。

C=diag(c1,c2,⋯,cn)C=diag(c_{1},c_{2},\cdots ,c_{n}) C=diag(c1,c2,⋯,cn)

B=CAC−1=(aijcicj)n×nB=CAC^{-1} = (a_{ij} \frac{c_{i}}{c_{j}})_{n\times n} B=CAC−1=(aijcjci)n×n

则AAA与BBB有相同的特征值，通过适当地选取正数c1c_{1}c1，c2c_{2}c2，⋯\cdots⋯，cnc_{n}cn，有可能使每一个盖尔圆包含AAA的一个特征值。选取c1c_{1}c1，c2c_{2}c2，⋯\cdots⋯，cnc_{n}cn的一般原则是，欲使AAA的第iii个盖尔圆缩小，可取ci<1c_{i }<1ci<1，其余取为1，此时BBB的其他盖尔圆适量放大；反之，欲使AAA的第iii个盖尔圆放大，可取ci>1c_{i} > 1ci>1，其余取为1，此时BBB的其余盖尔圆适量缩小。

我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！

矩阵分析 (七) 矩阵特征值的估计相关推荐

矩阵分析：特征值界估计，Hermite特征值，广义特征值
1,特征值界的估计设 , 满足 ,则 . [证明]设 ,则: 设 ,则的任一特征值满足: [证明]假设满足 ,则: , (1) (2) (3) 推论: (实对称)矩阵的特征值都是实数, ...
如何理解矩阵特征值？
李浩 ,FPA蓝色 / EE. 知乎用户.Tavion Fu.雄哼哼等人赞同补充:答主现在用到的多数是对称矩阵或酉矩阵的情况,有思维定势了,写了半天才发现主要讲的是对称矩阵,这答案就当科普用了.特 ...
【数理知识】《数值分析》李庆扬老师-第8章-矩阵特征值计算
第7章回到目录第9章第8章-矩阵特征值计算 8.1 特征值性质和估计 8.1.1 特征值问题及其性质定理1 8.2 幂法及反幂法 8.3.1 豪斯霍尔德 (Householder) 变换 8. ...
【矩阵论】特征值的估计(上下界和盖尔圆)
前言:为什么不直接求特征值而是去估计特征值? 当我们遇到的不是书本上的3阶或4阶矩阵,而是高阶矩阵时(如图像中的256×256),我们再使用特征方程det⁡(λI−A)=0\det(\lambda I ...
《矩阵论》学习笔记（五）：第五章特征值的估计及对称矩阵的极性
第五章特征值的估计及对称矩阵的极性文章目录第五章特征值的估计及对称矩阵的极性一.特征值的估计 1.1. 特征值的界 1.2. 盖尔圆 Gerschgorin 1.3. Ostrowski 二 ...
第8章矩阵特征值问题计算
第8章矩阵特征值问题计算 8.1 引言物理.力学和工程技术中的很多问题在数学上都归结为求矩阵特征值问题.例如,振动问题(大型桥梁或建筑物的振动.机械的振动.电磁振荡等),物理学中某些临界值的确定 ...
矩阵特征值与行列式、迹的关系
矩阵特征值与行列式.迹的关系 from: http://www.cnblogs.com/AndyJee/p/3737592.html 矩阵的特征值之积等于矩阵的行列式矩阵的特征值之和等于矩阵的迹简 ...
2021-01-07 matlab数值分析矩阵特征值与特征向量的计算改进乘幂法反幂法
matlab数值分析矩阵特征值与特征向量的计算 1改进乘幂法 function [t,y]=eigIPower(A,v0,ep) [tv,ti]=max(abs(v0)); lam0=v0(ti) ...
python numpy逆_Python使用numpy计算矩阵特征值、特征向量与逆矩阵
原标题:Python使用numpy计算矩阵特征值.特征向量与逆矩阵 Python扩展库numpy.linalg的eig()函数可以用来计算矩阵的特征值与特征向量,而numpy.linalg.inv() ...
求矩阵特征值的方法和性质
求矩阵特征值的方法 Ax=mx,等价于求m,使得(mE-A)x=0,其中E是单位矩阵,0为零矩阵. |mE-A|=0,求得的m值即为A的特征值.|mE-A| 是一个n次多项式,它的全部根就是n阶方阵A ...

矩阵分析 (七) 矩阵特征值的估计