【特征向量】——从线性代数角度看分解与合成

概念

本文是在读了黎文科老师神奇的矩阵后，做的一些笔记以及对分解和合成的一点思考，如有问题，欢迎交流。
这里附上一些线性代数中的数学概念。

矩阵：描述运动，本质是在一组基描述下的向量(对象)的线性变换{e1,e2,...,en}\{e_1,e_2,...,e_n\}{e1,e2,...,en}
线性无关基：完备性(数量足够)+线性独立(不能相互表示)，可表示任意一个向量
正交归一基：基之间相互正交，模为1
特征向量：对于一个矩阵(线性变换)，特征向量(对象)变换之后方向不变
Ax=λxA\pmb{x}=\lambda \pmb{x}Axxx=λxxx
向量：可以理解为一组基下的坐标(c1,c2,...,cn)(c_1,c_2,...,c_n)(c1,c2,...,cn)
φ=c1e1+c2e2+...+cnen\pmb{\varphi}=c_1\pmb{e_1}+c_2\pmb{e_2}+...+c_n\pmb{e_n}φφφ=c1e1e1e1+c2e2e2e2+...+cnenenen

特征向量与特征值

特征向量的引入是为了选取一组很好的基。

分解向量(本质是以特征向量为基，进行坐标变换)
　我们知道，对于一个线性变换，只要选定一组基，就可以用一个矩阵T1T_1T1来描述这个线性变换。换一组基，就得到另一个不同的矩阵T2T_2T2。如果我们选取特征向量做基的话，空间任意一个向量可用特征向量来表示：
φ=c1p1+c2p2+...+cnpn\pmb{\varphi}=c_1\pmb{p_1}+c_2\pmb{p_2}+...+c_n\pmb{p_n}φφφ=c1p1p1p1+c2p2p2p2+...+cnpnpnpn
　由于线性变换不改变特征向量的方向，故在对向量做线性变换时，形式简单：
Aφ=A(c1p1+c2p2+...+cnpn)=c1λ1p1+c2λ2p2+...+cnλnpnA\pmb{\varphi}=A(c_1\pmb{p_1}+c_2\pmb{p_2}+...+c_n\pmb{p_n})=c_1\lambda_1\pmb{p_1}+c_2\lambda_2\pmb{p_2}+...+c_n\lambda_n\pmb{p_n}Aφφφ=A(c1p1p1p1+c2p2p2p2+...+cnpnpnpn)=c1λ1p1p1p1+c2λ2p2p2p2+...+cnλnpnpnpn
　综上，我们可以看出，如果一个矩阵(线性变换)存在n个特征向量，那么将它们作为正交基对向量进行分解，比直接进行线性变换大大简化地了运算。
分解矩阵
　在对矩阵进行对角化后，可以写成如下的形式：
A=P[λ10⋯00λ2⋯0⋮⋮⋱⋮00⋯λn]PT,P={p1,p2,...,pn}A=P \left[ \begin{matrix} \lambda_1 & 0 & \cdots & 0 \\ 0 &\lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \\ \end{matrix} \right]P^{T},P=\{\pmb{p_1},\pmb{p_2},...,\pmb{p_n}\} A=P⎣⎢⎢⎢⎡λ10⋮00λ2⋮0⋯⋯⋱⋯00⋮λn⎦⎥⎥⎥⎤PT,P={p1p1p1,p2p2p2,...,pnpnpn}
　进一步展开：
A=λ1P1+...+λnPn,Pn=pnpnTA= \lambda_1 P_1+...+\lambda_nP_n,P_n=\pmb{p_n}\pmb{p_n}^{T}A=λ1P1+...+λnPn,Pn=pnpnpnpnpnpnT
　这里的目的是对线性变换进行展开，叫做谱分解，主成分分析里有这东西。

从特征向量看信号与系统

众所周知，信号与系统讨论的系统是线性时不变系统，而线性时不变系统的特征向量就是e指数函数，所以我们选取特征向量(e指数函数)为基，对时域信号进行分解(即获取它在特征向量基底下的坐标)，这就是傅里叶分析。线性时不变系统的特征向量就是e指数函数也是我们采用傅里叶分析的原因，所谓的频域空间就是e指数函数空间。
　下面我们证明一下线性时不变系统的特征向量就是e指数函数，TTT代表系统的作用：
T[ejωt]=g(t)T[e^{j\omega t}]=g(t)T[ejωt]=g(t)g(t)=∫ejωτh(t−τ)dτg(t)=\int e^{j\omega \tau}h(t-\tau){\rm d\tau}g(t)=∫ejωτh(t−τ)dτg(t)=ejωt∫e−jωxh(x)dxg(t)=e^{j\omega t}\int e^{-j\omega x}h(x){\rm dx}g(t)=ejωt∫e−jωxh(x)dxg(t)=H(ω)ejωtg(t)=H(\omega)e^{j\omega t}g(t)=H(ω)ejωtT[ejωt]=H(ω)ejωtT[e^{j\omega t}]=H(\omega)e^{j\omega t}T[ejωt]=H(ω)ejωt
　可以发现，e指数函数经过线性时不变系统系统的作用后方向不变，即为系统的特征向量。
　回到上面的分解向量，两者的本质思想是一样的，唯一的差别在于维度上。所以说，信号中线性-分解-合成时选取傅里叶变换和拉普拉斯变换是有道理的。

拓展

我们可以发现，线性微分方程的特征向量也是e指数函数，这也是我们取其为基，表示解的原因。
用特征函数解的方程是最简洁的，否则，如果用级数的方式解方程，会发现方程的解有无穷多项。在解贝塞尔方程时，我们没有找到特征函数，于是退而求其次才选择级数求解，至少级数具有完备性。
数学中的分解方法有很多，各类的积分变换都对应着一个函数空间，具体要看我们想选取哪一组基去刻画对象，然后得到对象在目标基底下的坐标。

对于泰勒展开，我们选取了多项式为基，由多项式构成的空间就叫多项式空间。对傅里叶变换，我们选取了三角函数为基，由三角函数构成的空间就叫做频率空间。

Reference：
1.神奇的矩阵第二季.黎文科