线性代数-MIT 18.06-5(b)

文章目录

23.微分方程和eAte^{At}eAt
- 微分方程dudt=Au\frac{\mathrm{d}u}{\mathrm{d}t}=Audtdu=Au
- - 稳定性和收敛性
  - 二阶矩阵特征值的判定方法
  - 原理总结
- 指数矩阵eAte^{At}eAt
- - 指数矩阵
  - 稳定性和收敛性
  - 二阶矩阵情形
24.马尔科夫矩阵、傅里叶级数
- 马尔科夫矩阵
- - 定义
  - 推论
  - 证明
  - 马尔科夫矩阵的应用
- 傅里叶级数
- - 投影复习
  - 傅里叶级数
  - 函数正交
  - 系数求解
25.复习二
- 知识点复习
- 例题复习

本文在学习《麻省理工公开课线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MIT-B站视频

笔记部分：总结参考子实

23.微分方程和eAte^{At}eAt

微分方程dudt=Au\frac{\mathrm{d}u}{\mathrm{d}t}=Audtdu=Au

本讲主要讲解解一阶方程（first-order system）、一阶导数（first derivative）、常系数（constant coefficient）线性方程

本讲将进一步涉及矩阵的指数形式。通过解一个例子来详细介绍计算方法。

**例1：**一阶导数常系数线性方程组

有方程组{du1dt=−u1+2u2du2dt=u1−2u2\begin{cases}\frac{\mathrm{d}u_1}{\mathrm{d}t}&=-u_1+2u_2\\\frac{\mathrm{d}u_2}{\mathrm{d}t}&=u_1-2u_2\end{cases}{dtdu1dtdu2=−u1+2u2=u1−2u2，则系数矩阵是A=[−121−2]A=\begin{bmatrix}-1&2\\1&-2\end{bmatrix}A=[−112−2]，设初始条件为在000时刻u(0)=[u1u2]=[10]u(0)=\begin{bmatrix}u_1\\u_2\end{bmatrix}=\begin{bmatrix}1\\0\end{bmatrix}u(0)=[u1u2]=[10]。

这个初始条件的意义可以看做在开始时一切都在u1u_1u1中，但随着时间的推移，将有du2dt>0\frac{\mathrm{d}u_2}{\mathrm{d}t}>0dtdu2>0，因为u1u_1u1项初始为正，u1u_1u1中的事物会流向u2u_2u2。随着时间的发展我们可以追踪流动的变化。
根据上一讲所学的知识，我们知道第一步需要找到特征值与特征向量。A=[−121−2]A=\begin{bmatrix}-1&2\\1&-2\end{bmatrix}A=[−112−2]，很明显这是一个奇异矩阵，所以第一个特征值是λ1=0\lambda_1=0λ1=0，另一个特征向量可以从迹得到tr(A)=−3tr(A)=-3tr(A)=−3。当然我们也可以用一般方法计算∣A−λI∣=∣−1−λ21−2−λ∣=λ2+3λ=0\left|A-\lambda I\right|=\begin{vmatrix}-1-\lambda&2\\1&-2-\lambda\end{vmatrix}=\lambda^2+3\lambda=0∣A−λI∣=∣∣∣∣−1−λ12−2−λ∣∣∣∣=λ2+3λ=0。
注：

1.特征值λ2=−3\lambda_2=-3λ2=−3将会逐渐消失，因为答案中将会有一项为e−3te^{-3t}e−3t，该项会随着时间的推移趋近于000。

2.答案的另一部分将有一项为e0te^{0t}e0t，该项是一个常数，其值为111，并不随时间而改变。
1. 通常含有000特征值的矩阵会随着时间的推移达到稳态。
求特征向量，λ1=0\lambda_1=0λ1=0时，即求AAA的零空间，很明显x1=[21]x_1=\begin{bmatrix}2\\1\end{bmatrix}x1=[21]；

λ2=−3\lambda_2=-3λ2=−3时，求A+3IA+3IA+3I的零空间，[2211]\begin{bmatrix}2&2\\1&1\end{bmatrix}[2121]的零空间为x2=[1−1]x_2=\begin{bmatrix}1\\-1\end{bmatrix}x2=[1−1]。
则方程组的通解为：u(t)=c1eλ1tx1+c2eλ2tx2u(t)=c_1e^{\lambda_1t}x_1+c_2e^{\lambda_2t}x_2u(t)=c1eλ1tx1+c2eλ2tx2，通解的前后两部分都是该方程组的纯解，即方程组的通解就是两个与特征值、特征向量相关的纯解的线性组合。我们来验证一下，比如取u=eλ1tx1u=e^{\lambda_1t}x_1u=eλ1tx1带入dudt=Au\frac{\mathrm{d}u}{\mathrm{d}t}=Audtdu=Au，对时间求导得到λ1eλ1tx1=Aeλ1tx1\lambda_1e^{\lambda_1t}x_1=Ae^{\lambda_1t}x_1λ1eλ1tx1=Aeλ1tx1，化简得λ1x1=Ax1\lambda_1x_1=Ax_1λ1x1=Ax1。

对比上一讲，解uk+1=Auku_{k+1}=Au_kuk+1=Auk时得到uk=c1λkx1+c2λkx2u_k=c_1\lambda^kx_1+c_2\lambda^kx_2uk=c1λkx1+c2λkx2，而解dudt=Au\frac{\mathrm{d}u}{\mathrm{d}t}=Audtdu=Au我们得到u(t)=c1eλ1tx1+c2eλ2tx2u(t)=c_1e^{\lambda_1t}x_1+c_2e^{\lambda_2t}x_2u(t)=c1eλ1tx1+c2eλ2tx2。
继续求c1,c2c_1,c_2c1,c2，u(t)=c1⋅1⋅[21]+c2⋅e−3t⋅[1−1]u(t)=c_1\cdot 1\cdot\begin{bmatrix}2\\1\end{bmatrix}+c_2\cdot e^{-3t}\cdot\begin{bmatrix}1\\-1\end{bmatrix}u(t)=c1⋅1⋅[21]+c2⋅e−3t⋅[1−1]，已知t=0t=0t=0时，[10]=c1[21]+c2[1−1]\begin{bmatrix}1\\0\end{bmatrix}=c_1\begin{bmatrix}2\\1\end{bmatrix}+c_2\begin{bmatrix}1\\-1\end{bmatrix}[10]=c1[21]+c2[1−1]（Sc=u(0)Sc=u(0)Sc=u(0)），所以c1=13,c2=13c_1=\frac{1}{3}, c_2=\frac{1}{3}c1=31,c2=31。
于是我们写出最终结果，u(t)=13[21]+13e−3t[1−1]u(t)=\frac{1}{3}\begin{bmatrix}2\\1\end{bmatrix}+\frac{1}{3}e^{-3t}\begin{bmatrix}1\\-1\end{bmatrix}u(t)=31[21]+31e−3t[1−1]。

稳定性和收敛性

稳定性：这个流动过程从u(0)=[10]u(0)=\begin{bmatrix}1\\0\end{bmatrix}u(0)=[10]开始，初始值111的一部分流入初始值000中，经过无限的时间最终达到稳态u(∞)=[2313]u(\infty)=\begin{bmatrix}\frac{2}{3}\\\frac{1}{3}\end{bmatrix}u(∞)=[3231]。

所以，要使得u(t)→0u(t)\to 0u(t)→0，则需要负的特征值。

但如果特征值为复数呢？如λ=−3+6i\lambda=-3+6iλ=−3+6i，我们来计算∣e(−3+6i)t∣\left|e^{(-3+6i)t}\right|∣∣e(−3+6i)t∣∣，其中的∣e6it∣\left|e^{6it}\right|∣∣e6it∣∣部分为∣cos⁡6t+isin⁡6t∣=1\left|\cos 6t+i\sin 6t\right|=1∣cos6t+isin6t∣=1，因为这部分的模为cos⁡2α+sin⁡2α=1\cos^2\alpha+\sin^2\alpha=1cos2α+sin2α=1，这个虚部就在单位圆上。

所以只有实数部分才是重要的。所以我们可以把前面的结论改为需要实部为负数的特征值。

实部会决定最终结果趋近于000或∞\infty∞，虚部不过是一些小杂音。

收敛态：需要其中一个特征值实部为000，而其他特征值的实部皆小于000。

发散态：如果某个特征值实部大于000。

上面的例子中，如果将AAA变为−A-A−A，特征值也会变号，结果发散。

二阶矩阵特征值的判定方法

再进一步，如何从直接判断任意二阶矩阵的特征值是否均小于零？

条件1：对于二阶矩阵A=[abcd]A=\begin{bmatrix}a&b\\c&d\end{bmatrix}A=[acbd]，矩阵的迹为a+d=λ1+λ2a+d=\lambda_1+\lambda_2a+d=λ1+λ2，如果矩阵稳定，则迹应为负数。

但是这个条件还不够，有反例迹小于000依然发散：[−2001]\begin{bmatrix}-2&0\\0&1\end{bmatrix}[−2001]，迹为−1-1−1但是仍然发散。

条件2：还需要加上一个条件，因为det⁡A=λ1⋅λ2\det A=\lambda_1\cdot\lambda_2detA=λ1⋅λ2，所以还需要行列式为正数。

原理总结

总结：原方程组有两个相互耦合的未知函数，u1,u2u_1, u_2u1,u2相互耦合，而特征值和特征向量的作用就是解耦，也就是对角化（diagonalize）。

回到原方程组dudt=Au\frac{\mathrm{d}u}{\mathrm{d}t}=Audtdu=Au，将uuu表示为特征向量的线性组合u=Svu=Svu=Sv，代入原方程有Sdvdt=ASvS\frac{\mathrm{d}v}{\mathrm{d}t}=ASvSdtdv=ASv，两边同乘以S−1S^{-1}S−1得
dvdt=S−1ASv=Λv\frac{\mathrm{d}v}{\mathrm{d}t}=S^{-1}ASv=\Lambda v dtdv=S−1ASv=Λv
以特征向量为基，将uuu表示为SvSvSv，得到关于vvv的对角化方程组，新方程组不存在耦合，此时
{dv1dt=λ1v1dv2dt=λ2v2⋮⋮dvndt=λnvn\begin{cases}\frac{\mathrm{d}v_1}{\mathrm{d}t}&=\lambda_1v_1\\\frac{\mathrm{d}v_2}{\mathrm{d}t}&=\lambda_2v_2\\\vdots&\vdots\\\frac{\mathrm{d}v_n}{\mathrm{d}t}&=\lambda_nv_n\end{cases} ⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧dtdv1dtdv2⋮dtdvn=λ1v1=λ2v2⋮=λnvn

该方程组各未知函数间没有联系，它们的解的一般形式为v(t)=eΛtv(0)v(t)=e^{\Lambda t}v(0)v(t)=eΛtv(0)，则原方程组的解的一般形式为
u(t)=eAtu(0)=SeΛtS−1u(0)u(t)=e^{At}u(0)=Se^{\Lambda t}S^{-1}u(0) u(t)=eAtu(0)=SeΛtS−1u(0)
这里引入了指数部分为矩阵的形式。

指数矩阵eAte^{At}eAt

指数矩阵

**定义：**指数部分带有矩阵的情况称为指数矩阵（exponential matrix）。

理解指数矩阵的关键在于，将指数形式展开称为幂基数形式，就像ex=1+x22+x36+⋯e^x=1+\frac{x^2}{2}+\frac{x^3}{6}+\cdotsex=1+2x2+6x3+⋯一样

将eAte^{At}eAt展开成幂级数的形式为：
eAt=I+At+(At)22+(At)36+⋯+(At)nn!+⋯e^{At}=I+At+\frac{(At)^2}{2}+\frac{(At)^3}{6}+\cdots+\frac{(At)^n}{n!}+\cdots eAt=I+At+2(At)2+6(At)3+⋯+n!(At)n+⋯

两个极具美感的泰勒级数：ex=∑xnn!e^x=\sum \frac{x^n}{n!}ex=∑n!xn与11−x=∑xn\frac{1}{1-x}=\sum x^n1−x1=∑xn
(I−At)−1=I+At+(At)2+(At)3+⋯(I-At)^{-1}=I+At+(At)^2+(At)^3+\cdots (I−At)−1=I+At+(At)2+(At)3+⋯
这个式子在ttt非常小的时候，后面的高次项近似等于零，所以可以用来近似I−AtI-AtI−At的逆矩阵，通常近似为I+AtI+AtI+At

第一个级数对我们而言比第二个级数好，因为第一个级数总会收敛于某个值，所以exe^xex总会有意义，

而第二个级数需要AAA特征值的绝对值小于111（因为涉及矩阵的幂运算）。我们看到这些泰勒级数的公式对矩阵同样适用。

证明：回到正题，我们需要证明SeΛtS−1=eAtSe^{\Lambda t}S^{-1}=e^{At}SeΛtS−1=eAt，继续使用泰勒级数：

eAt=I+At+(At)22+(At)36+⋯+(At)nn!+⋯eAt=SS−1+SΛS−1t+SΛ2S−12t2+SΛ3S−16t3+⋯+SΛnS−1n!tn+⋯eAt=S(I+Λt+Λ2t22+Λ3t33+⋯+Λntnn+⋯)S−1eAt=SeΛtS−1e^{At}=I+At+\frac{(At)^2}{2}+\frac{(At)^3}{6}+\cdots+\frac{(At)^n}{n!}+\cdots\\ e^{At}=SS^{-1}+S\Lambda S^{-1}t+\frac{S\Lambda^2S^{-1}}{2}t^2+\frac{S\Lambda^3S^{-1}}{6}t^3+\cdots+\frac{S\Lambda^nS^{-1}}{n!}t^n+\cdots\\ e^{At}=S\left(I+\Lambda t+\frac{\Lambda^2t^2}{2}+\frac{\Lambda^3t^3}{3}+\cdots+\frac{\Lambda^nt^n}{n}+\cdots\right)S^{-1}\\ e^{At}=Se^{\Lambda t}S^{-1} eAt=I+At+2(At)2+6(At)3+⋯+n!(At)n+⋯eAt=SS−1+SΛS−1t+2SΛ2S−1t2+6SΛ3S−1t3+⋯+n!SΛnS−1tn+⋯eAt=S(I+Λt+2Λ2t2+3Λ3t3+⋯+nΛntn+⋯)S−1eAt=SeΛtS−1

需要注意的是，eAte^{At}eAt的泰勒级数展开是恒成立的，但这里却需要矩阵可对角化这个前提条件。

3.eΛte^{\Lambda t}eΛt性质

最后，我们来看看什么是eΛte^{\Lambda t}eΛt，我们将eAte^{At}eAt变为对角矩阵就是因为对角矩阵简单、没有耦合，
eΛt=[eλ1t0⋯00eλ2t⋯0⋮⋮⋱⋮00⋯eλnt]e^{\Lambda t}=\begin{bmatrix}e^{\lambda_1t}&0&\cdots&0\\0&e^{\lambda_2t}&\cdots&0\\\vdots&\vdots&\ddots&\vdots\\0&0&\cdots&e^{\lambda_nt}\end{bmatrix} eΛt=⎣⎢⎢⎢⎡eλ1t0⋮00eλ2t⋮0⋯⋯⋱⋯00⋮eλnt⎦⎥⎥⎥⎤

=>有了u(t)=SeΛtS−1u(0)u(t)=Se^{\Lambda t}S^{-1}u(0)u(t)=SeΛtS−1u(0)

稳定性和收敛性

再来看矩阵的稳定性可知，所有特征值的实部均为负数时矩阵收敛，此时对角线上的指数收敛为000。

如果我们画出复平面，则要使微分方程存在稳定解，则特征值存在于复平面的左侧（即实部为负）；
要使矩阵的幂收敛于000，则特征值存在于单位圆内部（即模小于111），这是幂稳定区域。（上一讲的差分方程需要计算矩阵的幂。）

二阶矩阵情形

同差分方程一样，我们来看二阶情况如何计算，有y′′+by′+k=0y''+by'+k=0y′′+by′+k=0。我们也模仿差分方程的情形，构造方程组
{y′′=−by′−kyy′=y′\begin{cases}y''&=-by'-ky\\y'&=y'\end{cases} {y′′y′=−by′−ky=y′
写成矩阵形式有
[y′′y′]=[−b−k10][y′y]\begin{bmatrix}y''\\y'\end{bmatrix}=\begin{bmatrix}-b&-k\\1&0\end{bmatrix}\begin{bmatrix}y'\\y\end{bmatrix} [y′′y′]=[−b1−k0][y′y]

令u′=[y′′y′],u=[y′y]u'=\begin{bmatrix}y''\\y'\end{bmatrix}, \ u=\begin{bmatrix}y'\\y\end{bmatrix}u′=[y′′y′], u=[y′y]。

继续推广

对于555阶微分方程
y′′′′′+by′′′′+cy′′′+dy′′+ey′+f=0y'''''+by''''+cy'''+dy''+ey'+f=0 y′′′′′+by′′′′+cy′′′+dy′′+ey′+f=0
则可以写作
[y′′′′′y′′′′y′′′y′′y′]=[−b−c−d−e−f10000010000010000010][y′′′′y′′′y′′y′y]\begin{bmatrix}y'''''\\y''''\\y'''\\y''\\y'\end{bmatrix}=\begin{bmatrix}-b&-c&-d&-e&-f\\1&0&0&0&0\\0&1&0&0&0\\0&0&1&0&0\\0&0&0&1&0\end{bmatrix}\begin{bmatrix}y''''\\y'''\\y''\\y'\\y\end{bmatrix} ⎣⎢⎢⎢⎢⎡y′′′′′y′′′′y′′′y′′y′⎦⎥⎥⎥⎥⎤=⎣⎢⎢⎢⎢⎡−b1000−c0100−d0010−e0001−f0000⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡y′′′′y′′′y′′y′y⎦⎥⎥⎥⎥⎤

这样就把一个五阶微分方程化为5×55\times 55×5一阶方程组，然后就是求特征值、特征向量的步骤。

24.马尔科夫矩阵、傅里叶级数

马尔科夫矩阵

定义

马尔科夫矩阵（Markov matrix）是指具有以下两个特性的矩阵：

矩阵中的所有元素大于等于000；（因为马尔科夫矩阵与概率有关，而概率是非负的。）
每一列的元素之和为111

推论

对于马尔科夫矩阵，我们关心幂运算过程中的稳态（steady state）。与上一讲不同，指数矩阵关系特征值是否为000，而幂运算要达到稳态需要特征值为111。

根据上面两条性质，我们可以得出两个推论：

马尔科夫矩阵必有特征值为111；
其他的特征值的绝对值皆小于111。

幂运算
uk=Aku0=SΛkS−1u0=SΛkS−1Sc=SΛkc=c1λ1kx1+c2λ2kx2+⋯+cnλnkxnu_k=A^ku_0=S\Lambda^kS^{-1}u_0=S\Lambda^kS^{-1}Sc=S\Lambda^kc=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+\cdots+c_n\lambda_n^kx_n uk=Aku0=SΛkS−1u0=SΛkS−1Sc=SΛkc=c1λ1kx1+c2λ2kx2+⋯+cnλnkxn
从该公式很容易看出幂运算的稳态。比如我们取λ1=1\lambda_1=1λ1=1，其他的特征值绝对值均小于111，于是在经过kkk次迭代，随着时间的推移，其他项都趋近于000，于是在k→∞k\to\inftyk→∞时，有稳态uk=c1x1u_k=c_1x_1uk=c1x1，这也就是初始条件u0u_0u0的第111个分量。

证明

证明推论1：

取
A=[0.10.010.30.20.990.30.700.4]A=\begin{bmatrix}0.1&0.01&0.3\\0.2&0.99&0.3\\0.7&0&0.4\end{bmatrix} A=⎣⎡0.10.20.70.010.9900.30.30.4⎦⎤
则
A−I=[−0.90.010.30.2−0.010.30.70−0.6]A-I=\begin{bmatrix}-0.9&0.01&0.3\\0.2&-0.01&0.3\\0.7&0&-0.6\end{bmatrix} A−I=⎣⎡−0.90.20.70.01−0.0100.30.3−0.6⎦⎤

观察A−IA-IA−I易知其列向量中元素之和均为000，因为马尔科夫矩阵的性质就是各列向量元素之和为111，现在我们从每一列中减去了111，所以这是很自然的结果。而如果列向量中元素和为000，则矩阵的任意行都可以用“零减去其他行之和”表示出来，即该矩阵的行向量线性相关。
用以前学过的子空间的知识描述，当nnn阶方阵各列向量元素之和皆为111时，则有

[11⋮1]\begin{bmatrix}1\\1\\\vdots\\1\end{bmatrix} ⎣⎢⎢⎢⎡11⋮1⎦⎥⎥⎥⎤
在矩阵A−IA-IA−I左零空间中，即(A−I)T(A-I)^T(A−I)T行向量线性相关。
而AAA特征值111所对应的特征向量将在A−IA-IA−I的零空间中，因为Ax=x→(A−I)x=0Ax=x\rightarrow(A-I)x=0Ax=x→(A−I)x=0。

另外，特征值具有这样一个性质：矩阵与其转置的特征值相同。

那么如果det⁡(A−λI)=0\det(A-\lambda I)=0det(A−λI)=0，则有det⁡(A−λI)T=0\det(A-\lambda I)^T=0det(A−λI)T=0

根据矩阵转置的性质有det⁡(AT−λIT)=0\det(A^T-\lambda I^T)=0det(AT−λIT)=0，即det⁡(AT−λI)=0\det(A^T-\lambda I)=0det(AT−λI)=0。这正是ATA^TAT特征值的计算式。
然后计算特征值λ1=1\lambda_1=1λ1=1所对应的特征向量，(A−I)x1=0(A-I)x_1=0(A−I)x1=0，得出x1=[0.6330.7]x_1=\begin{bmatrix}0.6\\33\\0.7\end{bmatrix}x1=⎣⎡0.6330.7⎦⎤，特征向量中的元素皆为正。

马尔科夫矩阵的应用

用麻省和加州这两个州的人口迁移为例：
[ucalumass]k+1[0.90.20.10.8][ucalumass]k\begin{bmatrix}u_{cal}\\u_{mass}\end{bmatrix}_{k+1}\begin{bmatrix}0.9&0.2\\0.1&0.8\end{bmatrix}\begin{bmatrix}u_{cal}\\u_{mass}\end{bmatrix}_k [ucalumass]k+1[0.90.10.20.8][ucalumass]k

这个式子表示每年有1010%10的人口从加州迁往麻省，同时有2020%20的人口从麻省迁往加州。

注意使用马尔科夫矩阵的前提条件是随着时间的推移，矩阵始终不变。

设初始情况

[ucalumass]0=[01000]\begin{bmatrix}u_{cal}\\u_{mass}\end{bmatrix}_0=\begin{bmatrix}0\\1000\end{bmatrix} [ucalumass]0=[01000]

我们先来看第一次迁徙后人口的变化情况：

[ucalumass]1=[0.90.20.10.8][01000]=[200800]\begin{bmatrix}u_{cal}\\u_{mass}\end{bmatrix}_1=\begin{bmatrix}0.9&0.2\\0.1&0.8\end{bmatrix}\begin{bmatrix}0\\1000\end{bmatrix}=\begin{bmatrix}200\\800\end{bmatrix} [ucalumass]1=[0.90.10.20.8][01000]=[200800]

随着时间的推移，会有越来越多的麻省人迁往加州，而同时又会有部分加州人迁往麻省。
计算特征值：我们知道马尔科夫矩阵的一个特征值为λ1=1\lambda_1=1λ1=1，则另一个特征值可以直接从迹算出λ2=0.7\lambda_2=0.7λ2=0.7。

带入λ1=1\lambda_1=1λ1=1求A−IA-IA−I的零空间有

[−0.10.20.1−0.2]\begin{bmatrix}-0.1&0.2\\0.1&-0.2\end{bmatrix} [−0.10.10.2−0.2]

则x1=[21]x_1=\begin{bmatrix}2\\1\end{bmatrix}x1=[21]，此时我们已经可以得出无穷步后稳态下的结果了。
u∞=c1[21]u_{\infty}=c_1\begin{bmatrix}2\\1\end{bmatrix} u∞=c1[21]

且人口总数始终为100010001000，则c1=10003c_1=\frac{1000}{3}c1=31000，稳态时
[ucalumass]∞=[2000310003]\begin{bmatrix}u_{cal}\\u_{mass}\end{bmatrix}_{\infty}=\begin{bmatrix}\frac{2000}{3}\\\frac{1000}{3}\end{bmatrix} [ucalumass]∞=[3200031000]

注意到特征值为111的特征向量元素皆为正。

为了求每一步的结果，我们必须解出所有特征向量。带入λ2=0.7\lambda_2=0.7λ2=0.7求A−0.7IA-0.7IA−0.7I的零空间
[0.20.20.10.1]\begin{bmatrix}0.2&0.2\\0.1&0.1\end{bmatrix} [0.20.10.20.1]

则x2=[−11]x_2=\begin{bmatrix}-1\\1\end{bmatrix}x2=[−11]。

通过u0u_0u0解出c1,c2c_1, c_2c1,c2，已知
uk=c11k[21]+c20.7k[−11]u_k=c_11^k\begin{bmatrix}2\\1\end{bmatrix}+c_20.7^k\begin{bmatrix}-1\\1\end{bmatrix} uk=c11k[21]+c20.7k[−11]
带入k=0k=0k=0得
u0=[01000]=c1[21]+c2[−11]u_0=\begin{bmatrix}0\\1000\end{bmatrix}=c_1\begin{bmatrix}2\\1\end{bmatrix}+c_2\begin{bmatrix}-1\\1\end{bmatrix} u0=[01000]=c1[21]+c2[−11]
解出c1=10003,c2=20003c_1=\frac{1000}{3}, c_2=\frac{2000}{3}c1=31000,c2=32000。

傅里叶级数

投影复习

在介绍傅里叶级数（Fourier se ries）之前，先来回顾一下投影。

设q1,q2,⋯qnq_1,q_2,\cdots q_nq1,q2,⋯qn为一组标准正交基，则向量vvv在该标准正交基上的展开为v=x1q1+x2q2+⋯+xnqnv=x_1q_1+x_2q_2+\cdots+x_nq_nv=x1q1+x2q2+⋯+xnqn，此时我们想要得到各系数xix_ixi的值。比如求x1x_1x1的值，我们自然想要消掉除x1q1x_1q_1x1q1外的其他项，这时只需要等式两边同乘以q1Tq_1^Tq1T，因为的qiq_iqi向量相互正交且长度为111，则qiTqj=0,qi2=1q_i^Tq_j=0, q_i^2=1qiTqj=0,qi2=1所以原式变为q1Tv=x1q_1^Tv=x_1q1Tv=x1。

写为矩阵形式有
[q1q2⋯qn][x1x2⋮xn]=v\Bigg[q_1\ q_2\ \cdots\ q_n\Bigg]\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=v [q1 q2 ⋯ qn]⎣⎢⎢⎢⎡x1x2⋮xn⎦⎥⎥⎥⎤=v

即Qx=vQx=vQx=v。所以有x=Q−1vx=Q^{-1}vx=Q−1v，

标准正交基有QT=Q−1Q^T=Q^{-1}QT=Q−1，所以我们不需要计算逆矩阵可直接得出x=QTvx=Q^Tvx=QTv。此时对于xxx的每一个分量有xi=qiTvx_i=q_i^Tvxi=qiTv。

傅里叶级数

接下来介绍傅里叶级数。先写出傅里叶级数的展开式：

f(x)=a0+a1cos⁡x+b1sin⁡x+a2cos⁡2x+b2sin⁡2x+⋯f(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\sin 2x+\cdots f(x)=a0+a1cosx+b1sinx+a2cos2x+b2sin2x+⋯

傅里叶发现，如同将向量vvv展开（投影）到向量空间的一组标准正交基中，在函数空间中，我们也可以做类似的展开。将函数f(x)f(x)f(x)投影在一系列相互正交的函数中。函数空间中的f(x)f(x)f(x)就是向量空间中的vvv；函数空间中的1,cos⁡x,sin⁡x,cos⁡2x,sin⁡2x,⋯1,\cos x,\sin x,\cos 2x,\sin 2x,\cdots1,cosx,sinx,cos2x,sin2x,⋯就是向量空间中的q1,q2,⋯,qnq_1,q_2,\cdots,q_nq1,q2,⋯,qn；

不同的是，函数空间是无限维的而我们以前接触到的向量空间通常是有限维的。

函数正交

再来介绍何为“函数正交”。

向量正交

对于向量正交我们通常使用两向量内积（点乘）为零判断。我们知道对于向量v,wv,wv,w的内积为vTw=v1w1+v2w2+⋯+vnwn=0v^Tw=v_1w_1+v_2w_2+\cdots+v_nw_n=0vTw=v1w1+v2w2+⋯+vnwn=0，也就是向量的每个分量之积再求和。

函数正交

而对于函数f(x)⋅g(x)f(x)\cdot g(x)f(x)⋅g(x)内积，同样的，我们需要计算两个函数的每个值之积而后求和，由于函数取值是连续的，所以函数内积为：

fTg=∫f(x)g(x)dxf^Tg=\int f(x)g(x)\mathrm{d}xfTg=∫f(x)g(x)dx

在本例中，由于傅里叶级数使用正余弦函数，它们的周期都可以算作2π2\pi2π，所以本例的函数点积可以写作

fTg=∫02πf(x)g(x)dxf^Tg=\int_0^{2\pi}f(x)g(x)\mathrm{d}xfTg=∫02πf(x)g(x)dx。

检验一个内积

∫02πsin⁡xcos⁡xdx=12sin⁡2x∣02π=0\int_0^{2\pi}\sin{x}\cos{x}\mathrm{d}x=\left.\frac{1}{2}\sin^2x\right|_0^{2\pi}=0∫02πsinxcosxdx=21sin2x∣∣02π=0

其余的三角函数族正交性结果可以参考傅里叶级数的“希尔伯特空间的解读”一节。

系数求解

最后我们来看cos⁡x\cos xcosx项的系数是多少（a0a_0a0是f(x)f(x)f(x)的平均值）。同向量空间中的情形一样，我们在等式两边同时做cos⁡x\cos xcosx的内积，原式变∫02πf(x)cos⁡xdx=a1∫02πcos⁡2xdx\int_0^{2\pi}f(x)\cos x\mathrm{d}x=a_1\int_0^{2\pi}\cos^2x\mathrm{d}x∫02πf(x)cosxdx=a1∫02πcos2xdx

因为正交性等式右边仅有cos⁡x\cos xcosx项不为零。进一步化简得

a1π=∫02πf(x)cos⁡xdx→a1=1π∫02πf(x)cos⁡xdxa_1\pi=\int_0^{2\pi}f(x)\cos x\mathrm{d}x\rightarrow a_1=\frac{1}{\pi}\int_0^{2\pi}f(x)\cos x\mathrm{d}xa1π=∫02πf(x)cosxdx→a1=π1∫02πf(x)cosxdx。

类似求解其他系数，于是把函数f(x)f(x)f(x)展开到了函数空间的一组标准正交基上。

25.复习二

知识点复习

正交性，有矩阵Q=[q1q2⋯qn]Q=\Bigg[q_1\ q_2\ \cdots\ q_n\Bigg]Q=[q1 q2 ⋯ qn]，若其列向量相互正交，则该矩阵满足QTQ=IQ^TQ=IQTQ=I。
投影，我们了解了Gram-Schmidt正交化法，核心思想是求法向量，即从原向量中减去投影向量E=b−P,P=Ax=ATbATA⋅AE=b-P, P=Ax=\frac{A^Tb}{A^TA}\cdot AE=b−P,P=Ax=ATAATb⋅A。
行列式，根据行列式的前三条性质，我们拓展出了性质4-10。

我们继续推导出了一个利用代数余子式求行列式的公式。
又利用代数余子式推导出了一个求逆矩阵的公式。

特征值与特征向量的意义：Ax=λxAx=\lambda xAx=λx，进而了解了通过det⁡(A−λI)=0\det(A-\lambda I)=0det(A−λI)=0求特征值、特征向量的方法。

有了特征值与特征向量，我们掌握了通过公式AS=ΛSAS=\Lambda SAS=ΛS对角化矩阵，同时掌握了求矩阵的幂Ak=SΛkS−1A^k=S\Lambda^kS^{-1}Ak=SΛkS−1。

例题复习

求a=[212]a=\begin{bmatrix}2\\1\\2\end{bmatrix}a=⎣⎡212⎦⎤的投影矩阵PPP

解：由a⊥(b−p)→AT(b−Ax^)=0a\bot(b-p)\rightarrow A^T(b-A\hat x)=0a⊥(b−p)→AT(b−Ax^)=0得到x^=(ATA)−1ATb\hat x=\left(A^TA\right)^{-1}A^Tbx^=(ATA)−1ATb，求得p=Ax^=A(ATA)−1ATb=Pbp=A\hat x=A\left(A^TA\right)^{-1}A^Tb=Pbp=Ax^=A(ATA)−1ATb=Pb最终得到
P=A(ATA)−1AT‾=aaaTaTa=19[424212424]\underline{P=A\left(A^TA\right)^{-1}A^T}\stackrel{a}=\frac{aa^T}{a^Ta}=\frac{1}{9}\begin{bmatrix}4&2&4\\2&1&2\\4&2&4\end{bmatrix} P=A(ATA)−1AT=aaTaaaT=91⎣⎡424212424⎦⎤
- 求PPP矩阵的特征值：
观察矩阵易知矩阵奇异，且为秩一矩阵，则其零空间为222维，所以由Px=0xPx=0xPx=0x得出矩阵的两个特征向量为λ1=λ2=0\lambda_1=\lambda_2=0λ1=λ2=0；

而从矩阵的迹得知trace(P)=1=λ1+λ2+λ3=0+0+1trace(P)=1=\lambda_1+\lambda_2+\lambda_3=0+0+1trace(P)=1=λ1+λ2+λ3=0+0+1，则第三个特征向量为λ3=1\lambda_3=1λ3=1。
- 求λ3=1\lambda_3=1λ3=1的特征向量：
由Px=xPx=xPx=x我们知道经其意义为，xxx过矩阵PPP变换后不变，又有PPP是向量aaa的投影矩阵，所以任何向量经过PPP变换都会落在aaa的列空间中，则只有已经在aaa的列空间中的向量经过PPP的变换后保持不变，即其特征向量为x=a=[212]x=a=\begin{bmatrix}2\\1\\2\end{bmatrix}x=a=⎣⎡212⎦⎤，也就是Pa=aPa=aPa=a。
- 有差分方程uk+1=Puk,u0=[990]u_{k+1}=Pu_k,\ u_0=\begin{bmatrix}9\\9\\0\end{bmatrix}uk+1=Puk, u0=⎣⎡990⎦⎤，求解uku_kuk：
一般方法是解出特征值、特征向量，这里因为矩阵很特殊（投影矩阵）。

首先观察u1=Pu0u_1=Pu_0u1=Pu0，式子相当于将u0u_0u0投影在了aaa的列空间中，计算得
u1=aaTu0aTa=3a=[636]u_1=a\frac{a^Tu_0}{a^Ta}=3a=\begin{bmatrix}6\\3\\6\end{bmatrix} u1=aaTaaTu0=3a=⎣⎡636⎦⎤

这里的333相当于做投影时的系数x^\hat xx^，其意义为u1u_1u1在aaa上且距离u0u_0u0最近。

再来看看u2=Pu1u_2=Pu_1u2=Pu1，这个式子将u1u_1u1再次投影到aaa的列空间中，但是此时的u1u_1u1已经在该列空间中了，再次投影仍不变，所以有
uk=Pku0=Pu0=[636]u_k=P^ku_0=Pu_0=\begin{bmatrix}6\\3\\6\end{bmatrix} uk=Pku0=Pu0=⎣⎡636⎦⎤

上面的解法利用了投影矩阵的特殊性质，如果在一般情况下，我们需要使用AS=SΛ→A=SΛS−1→uk+1=Auk=Ak+1u0,u0=Sc→uk+1=SΛk+1S−1Sc=SΛk+1cAS=S\Lambda\rightarrow A=S\Lambda S^{-1} \rightarrow u_{k+1}=Au_k=A^{k+1}u_0, u_0=Sc\rightarrow u_{k+1}=S\Lambda^{k+1}S^{-1}Sc=S\Lambda^{k+1}cAS=SΛ→A=SΛS−1→uk+1=Auk=Ak+1u0,u0=Sc→uk+1=SΛk+1S−1Sc=SΛk+1c

最终得到公式Aku0=c1λ1kx1+c2λ2kx2+⋯+cnλnkxnA^ku_0=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+\cdots+c_n\lambda_n^kx_nAku0=c1λ1kx1+c2λ2kx2+⋯+cnλnkxn。

题中PPP的特殊性在于它的两个“零特征值”及一个“一特征值”使得式子变为Aku0=c3x3A^ku_0=c_3x_3Aku0=c3x3，所以得到了上面结构特殊的解。
将点(1,4),(2,5),(3,8)(1,4),\ (2,5),\ (3,8)(1,4), (2,5), (3,8)拟合到一条过零点的直线上

解：设直线为y=Dty=Dty=Dt，写成矩阵形式为
[123]D=[458]\begin{bmatrix}1\\2\\3\end{bmatrix}D=\begin{bmatrix}4\\5\\8\end{bmatrix} ⎣⎡123⎦⎤D=⎣⎡458⎦⎤
即AD=bAD=bAD=b，很明显DDD不存在。利用公式ATAD^=ATbA^TA\hat D=A^TbATAD^=ATb得到14D=38,D^=381414D=38,\ \hat D=\frac{38}{14}14D=38, D^=1438，即最佳直线为y=3814ty=\frac{38}{14}ty=1438t。这个近似的意义是将bbb投影在了AAA的列空间中。
求a1=[123]a2=[111]a_1=\begin{bmatrix}1\\2\\3\end{bmatrix}\ a_2=\begin{bmatrix}1\\1\\1\end{bmatrix}a1=⎣⎡123⎦⎤ a2=⎣⎡111⎦⎤的正交向量

解：找到平面A=[a1,a2]A=\Bigg[a_1,a_2\Bigg]A=[a1,a2]的正交基，使用Gram-Schmidt法，以a1a_1a1为基准，正交化a2a_2a2，也就是将a2a_2a2中平行于a1a_1a1的分量去除，即
a2−xa1=a2−a1Ta2a1Ta1a1=[111]−614[123]a_2-xa_1=a_2-\frac{a_1^Ta_2}{a_1^Ta_1}a_1=\begin{bmatrix}1\\1\\1\end{bmatrix}-\frac{6}{14}\begin{bmatrix}1\\2\\3\end{bmatrix} a2−xa1=a2−a1Ta1a1Ta2a1=⎣⎡111⎦⎤−146⎣⎡123⎦⎤
有4×44\times 44×4矩阵AAA，其特征值为λ1,λ2,λ3,λ4\lambda_1,\lambda_2,\lambda_3,\lambda_4λ1,λ2,λ3,λ4，则矩阵可逆的条件是什么

解：矩阵可逆，则零空间中只有零向量，即Ax=0xAx=0xAx=0x没有非零解，则零不是矩阵的特征值。

det⁡A−1\det A^{-1}detA−1是什么：det⁡A−1=1det⁡A\det A^{-1}=\frac{1}{\det A}detA−1=detA1，而det⁡A=λ1λ2λ3λ4\det A=\lambda_1\lambda_2\lambda_3\lambda_4detA=λ1λ2λ3λ4，所以有det⁡A−1=1λ1λ2λ3λ4\det A^{-1}=\frac{1}{\lambda_1\lambda_2\lambda_3\lambda_4}detA−1=λ1λ2λ3λ41。

trace(A+I)trace(A+I)trace(A+I)的迹是什么：我们知道trace(A)=a11+a22+a33+a44=λ1+λ2+λ3+λ4trace(A)=a_{11}+a_{22}+a_{33}+a_{44}=\lambda_1+\lambda_2+\lambda_3+\lambda_4trace(A)=a11+a22+a33+a44=λ1+λ2+λ3+λ4，所以有trace(A+I)=a11+1+a22+1+a33+1+a44+1=λ1+λ2+λ3+λ4+4trace(A+I)=a_{11}+1+a_{22}+1+a_{33}+1+a_{44}+1=\lambda_1+\lambda_2+\lambda_3+\lambda_4+4trace(A+I)=a11+1+a22+1+a33+1+a44+1=λ1+λ2+λ3+λ4+4。
有矩阵A4=[1100111001110011]A_4=\begin{bmatrix}1&1&0&0\\1&1&1&0\\0&1&1&1\\0&0&1&1\end{bmatrix}A4=⎣⎢⎢⎡1100111001110011⎦⎥⎥⎤，求Dn=?Dn−1+?Dn−2D_n=?D_{n-1}+?D_{n-2}Dn=?Dn−1+?Dn−2

解：求递归式的系数，使用代数余子式将矩阵安第一行展开得
det⁡A4=1⋅∣110111011∣−1⋅∣110011011∣=1⋅∣110111011∣−1⋅∣1111∣=det⁡A3−det⁡A2\det A_4=1\cdot\begin{vmatrix}1&1&0\\1&1&1\\0&1&1\end{vmatrix}-1\cdot\begin{vmatrix}1&1&0\\0&1&1\\0&1&1\end{vmatrix}=1\cdot\begin{vmatrix}1&1&0\\1&1&1\\0&1&1\end{vmatrix}-1\cdot\begin{vmatrix}1&1\\1&1\end{vmatrix}=\det A_3-\det A_2 detA4=1⋅∣∣∣∣∣∣110111011∣∣∣∣∣∣−1⋅∣∣∣∣∣∣100111011∣∣∣∣∣∣=1⋅∣∣∣∣∣∣110111011∣∣∣∣∣∣−1⋅∣∣∣∣1111∣∣∣∣=detA3−detA2

可以看出有规律Dn=Dn−1−Dn−2,D1=1,D2=0D_n=D_{n-1}-D_{n-2}, D_1=1, D_2=0Dn=Dn−1−Dn−2,D1=1,D2=0。

使用我们在差分方程中的知识构建方程组
{Dn=Dn−1−Dn−2Dn−1=Dn−1\begin{cases}D_n&=D_{n-1}-D_{n-2}\\D_{n-1}&=D_{n-1}\end{cases} {DnDn−1=Dn−1−Dn−2=Dn−1
用矩阵表达有
[DnDn−1]=[1−110][Dn−1Dn−2]\begin{bmatrix}D_n\\D_{n-1}\end{bmatrix}=\begin{bmatrix}1&-1\\1&0\end{bmatrix}\begin{bmatrix}D_{n-1}\\D_{n-2}\end{bmatrix} [DnDn−1]=[11−10][Dn−1Dn−2]
计算系数矩阵AcA_cAc的特征值
∣1−λ11−λ∣=λ2−λ+1=0\begin{vmatrix}1-\lambda&1\\1&-\lambda\end{vmatrix}=\lambda^2-\lambda+1=0 ∣∣∣∣1−λ11−λ∣∣∣∣=λ2−λ+1=0
解得λ1=1+3i2,λ2=1−3i2\lambda_1=\frac{1+\sqrt{3}i}{2},\lambda_2=\frac{1-\sqrt{3}i}{2}λ1=21+3i,λ2=21−3i，特征值为一对共轭复数。
- 要判断递归式是否收敛，需要计算特征值的模，即实部平方与虚部平方之和14+34=1\frac{1}{4}+\frac{3}{4}=141+43=1。它们是位于单位圆eiθe^{i\theta}eiθ上的点，即cos⁡θ+isin⁡θ\cos\theta+i\sin\thetacosθ+isinθ，从本例中可以计算出θ=60∘\theta=60^\circθ=60∘，也就是可以将特征值写作λ1=eiπ/3,λ2=e−iπ/3\lambda_1=e^{i\pi/3},\lambda_2=e^{-i\pi/3}λ1=eiπ/3,λ2=e−iπ/3。注意，从复平面单位圆上可以看出，这些特征值的六次方将等于一：e2πi=e2πi=1e^{2\pi i}=e^{2\pi i}=1e2πi=e2πi=1。
- 继续深入观察这一特性对矩阵的影响，λ16=λ6=1\lambda_1^6=\lambda^6=1λ16=λ6=1，则对系数矩阵有Ac6=IA_c^6=IAc6=I。则系数矩阵AcA_cAc服从周期变化，既不发散也不收敛。
有这样一类矩阵A4=[0100102002030030]A_4=\begin{bmatrix}0&1&0&0\\1&0&2&0\\0&2&0&3\\0&0&3&0\end{bmatrix}A4=⎣⎢⎢⎡0100102002030030⎦⎥⎥⎤，求投影到A3A_3A3列空间的投影矩阵

解：

法1：有A3=[010102020]A_3=\begin{bmatrix}0&1&0\\1&0&2\\0&2&0\end{bmatrix}A3=⎣⎡010102020⎦⎤，按照通常的方法求P=A(ATA)ATP=A\left(A^TA\right)A^TP=A(ATA)AT即可，但是这样很麻烦。

法2：可以考察这个矩阵是否可逆，因为如果可逆的话，R4\mathbb{R}^4R4空间中的任何向量都会位于A4A_4A4的列空间，其投影不变，则投影矩阵为单位矩阵III。所以按行展开求行列式det⁡A4=−1⋅−1⋅−3⋅−3=9\det A_4=-1\cdot-1\cdot-3\cdot-3=9detA4=−1⋅−1⋅−3⋅−3=9，所以矩阵可逆，则P=IP=IP=I。

求A3A_3A3的特征值及特征向量：∣A3−λI∣=∣−λ101−λ202−λ∣=−λ3+5λ=0\left|A_3-\lambda I\right|=\begin{vmatrix}-\lambda&1&0\\1&-\lambda&2\\0&2&-\lambda\end{vmatrix}=-\lambda^3+5\lambda=0∣A3−λI∣=∣∣∣∣∣∣−λ101−λ202−λ∣∣∣∣∣∣=−λ3+5λ=0，解得λ1=0,λ2=5,λ3=−5\lambda_1=0,\lambda_2=\sqrt 5,\lambda_3=-\sqrt 5λ1=0,λ2=5,λ3=−5。

猜测这一类矩阵的规律：奇数阶奇异，偶数阶可逆。