矩阵用jordan解决initial-value问题_矩阵与数值计算（6）—

前言

矩阵函数是以矩阵为变量且取值为矩阵的一类函数，矩阵函数通常是利用收敛的矩阵幂级数的和来定义。

一、矩阵幂级数的收敛

求解矩阵幂级数的思路主要利用初等函数的泰勒展开，将矩阵A带入泰勒展开式即可求解得到答案。

矩阵幂级数的一般形式为

$\sum_{k=0}^\infty a_kA^k$ 。

求解矩阵函数的问题是：

判断矩阵幂级数是否收敛，如果收敛，求收敛矩阵。
解析函数的幂级数展开形式是什么样子的

针对这两个问题，分别展开描述。

判断矩阵幂级数收敛有下述结论：

设

$\sum_{k=0}^{\infty}a_kt^k$ 为收敛半径为

$r$ 的幂级数，

$A$ 为n阶方阵，则

（1）

$\rho(A)<r$ 时，矩阵幂级数

$\sum_{k=0}^{\infty}a_kA^k$ 绝对收敛；

（2）

$\rho(A)>r$ 时，矩阵幂级数

$\sum_{k=0}^{\infty}a_kA^k$ 发散。

证明过程：

幂级数收敛结论证明

我们将上面的结论推广一下

设

$\sum_{k=0}^{\infty}a_k(z-z_0)^k$ 为收敛半径为

$r$ 的幂级数，

$A$ 为

$n$ 阶方阵，如果

$A$ 的特征值均落在收敛圆内，即

$|\lambda-z_0|<r$ ，其中

$\lambda$ 为

$A$ 的任意特征值，则矩阵幂级数

$\sum_{k=0}^{\infty}a_k(A-z_0I)^k$ 绝对收敛；若有某个

$\lambda_{i_{0}}$ 使得

$|\lambda_{i_0}-z_0|>r$ ，则幂级数

$\sum_{k=0}^{\infty}a_k(A-z_0I)^k$ 发散。

根据幂级数与解析函数的关系：

幂函数的和函数是收敛圆内的解析函数。
一个圆内的解析函数可以展开成收敛的幂级数。

幂级数与解析函数

对于几种初等函数其幂级数和矩阵幂级数的转换关系如下，

注意：矩阵A的特征值一定要落在收敛圆内，即谱半径小于1或正无穷。

显而易见的是，我们不喜欢上图右侧的计算方式，计算一个

$A^2$ 的计算复杂度都是

$n^3$ 级别的尤其还有A的更高幂，为了节省计算资源和计算方便，使用Jordan分解来计算幂级数。

二、Jordan分解求解幂级数

利用Jordan分解求矩阵f(A)的具体表达式，

$A = TJT^{-1}$ 。

对于多项式函数来说

那么自然，对于初等函数来说

$f(A) = Tf(J)T^{-1}$ 。那么如何求解f(J)呢？

将f作用到每个Jordan块上，最后将每个Jordan块的计算结果拼接到一起，得到最终结果，即

$f(J) = diag(f(J_1),f(J_2),...,f(J_k))$ 。

在描述更为具体的计算过程之前，我们先归纳一下利用Jordan分解求矩阵函数f(A)的具体表达式：

$f(z) = \sum_{k=0}^{\infty}a_k(z-z_0I)^k$ 为收敛半径为

$r$ 的幂级数。
$A$ 为

$n$ 阶方阵，

$A = TJT^{-1}$ 为其Jordan分解，

$J = diag(J_1,J_2,...,J_s)$ 。
当
$A$ 的特征值均落在收敛圆内，则矩阵幂级数

$\sum_{k=0}^{\infty}a_k(A-z_0I)^k$ 绝对收敛，并且和矩阵为

$f(A) = Tdiag(f(J_1),f(J_2),...,f(J_s))T^{-1}$ 。

显然关键的计算路径是

下面展示如何实践上面的计算路径，

随后将所有与矩阵

$J,J^2,...,J^k,...$ 相加得到如下结果，

我们挑选其中一项来进行分析，

分析出如上的结论。

那么我们最终得到如下的计算Jordan块的公式，

将其进行推广，还可以得到两个类似求解公式，

这样我们就得到了利用Jordan分解计算矩阵函数的完整方式，下面总结一下计算矩阵函数值的基本计算步骤：

计算Jordan分解

$A = TJT^{-1}=Tdiag(J_1,J_2,...,J_s)T^{-1}$ 。
求
$f(A) = Tdiag(f(J_1),f(J_2),...,f(J_s))T^{-1}$ 。

为了形象展示计算过程，我们用下面的例题作为演示，

显然，上述方式计算量还是很大，我们非常不喜欢计算量大的计算方式，于是想到了Jordan分解时Hamilton-Cayley定理的待定系数法。

三、有限待定系数法求解矩阵函数

这里的有限待定系数法和之前Jordan分解章节的内容基本一致，可以参考对应的内容学习基本的待定系数法步骤。这里不再介绍待定系数法，直接给出利用待定系数法计算矩阵函数的步骤。

计算

$A$ 的特征多项式

$\psi(\lambda) = det(A-\lambda I)$ ，

$f(\lambda t) = p(\lambda ,t)\psi(\lambda)+q(\lambda,t)$ 。
定义
$q(\lambda, t) = b_{n-1}(t)\lambda^{n-1}+...+b_{1}(t)\lambda+b_0(t)$ ，利用导数信息确定含参系数

$b_{n-1}(t),...,b_1(t),b_0$ 。
计算
$f(At) = q(A,t)$

具体计算步骤，参考下面的例题

四、矩阵函数等式

下面给出一些常用的矩阵函数的等式

尤其要注意红框内的结论都需要AB可交换的基本前提。

还有几条重要结论一定要铭记

1.对于任何n阶方阵，

$e^A$ 总是可逆矩阵

$e^Ae^{-A} = e^{-A}e^{A} = e^0 = I_n$

2.sinA和cosA不一定可逆。比如

$\left[ \begin{array}{cc} \pi &0\\ 0 &\frac{\pi}{2} \end{array} \right]$ 。

3.矩阵A不可逆，不代表cosA一定不可逆，例如

$\left[ \begin{array}{cc} 0 &0\\ 0 &\pi \end{array} \right]$ 。

总结

矩阵幂级数对于矩阵函数的求解意义非凡，了解这部分内容，就能很好的应对矩阵函数的求解问题。下部分将讲述矩阵微积分，矩阵微积分也是很重要的内容，个人直接感受是，矩阵微积分直接使用在深度学习的BP过程中，涉及到雅可比矩阵和海森矩阵，学会计算矩阵微分对于深度学习反向传播算法梯度计算的理解会进一步加深。