Toeplitz matrix 与 Circulant matrix

之所以专门定义两个新的概念，在于它们特殊的形式，带来的特别的形式。

1. Toeplitz matrix

对角为常数；

n×nn\times n 的矩阵 AA 是 Toepliz 矩阵当且仅当，对于 Ai,jA_{i,j} 有：

Ai,j=Ai+1,j+1=ai−j

A_{i,j}=A_{i+1,j+1}=a_{i-j}

⎡⎣⎢⎢⎢⎢⎢⎢afghibafghcbafgdcbafedcba⎤⎦⎥⎥⎥⎥⎥⎥

\begin{bmatrix} a & b & c & d & e \\ f & a & b & c & d \\ g & f & a & b & c \\ h & g & f & a & b \\ i & h & g & f & a \end{bmatrix}.

i−ji-j 表示行号减去列号，对于 n×nn\times n 的 Toeplize 矩阵共 2n−12n-1 个不同的值，即 a1−n,a2−n,…,a−1,0,a1,…,an−1a_{1-n}, a_{2-n}, \ldots, a_{-1}, 0, a_1, \ldots, a_{n-1}。

⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢a0a1a2⋮⋮an−1a−1a0a1⋱…a−2a−1⋱⋱⋱……⋱⋱⋱a1a2…⋱a−1a0a1a−(n−1)⋮⋮a−2a−1a0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

\begin{bmatrix}a_{0} & a_{-1} & a_{-2} & \ldots & \ldots & a_{-(n-1)} \\a_{1} & a_0 & a_{-1} & \ddots & & \vdots \\a_{2} & a_{1} & \ddots & \ddots & \ddots & \vdots \\ \vdots & \ddots & \ddots & \ddots & a_{-1} & a_{-2}\\\vdots & & \ddots & a_{1} & a_{0} & a_{-1} \\ a_{n-1} & \ldots & \ldots & a_{2} & a_{1} & a_{0} \end{bmatrix}

2. Toeplize 矩阵与卷积和傅里叶变换到关系

长度为 nn 的信号 xx，与长度为 mm 的卷积核 hh，二者之间的卷积可通过矩阵乘法的方式计算：

y=h∗x=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢h1h2h3⋮hm−1hm00⋮00h1h2h3⋮hm−1hm0⋮0……………⋮……⋮00⋮0h1h2⋮hm−2hm−1hm…0⋮00h1h2⋮hm−2hm−1hm⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢⎢⎢⎢x1x2x3⋮xn⎤⎦⎥⎥⎥⎥⎥⎥⎥

y = h \ast x = \begin{bmatrix}h_1 & 0 & \ldots & 0 & 0 \\h_2 & h_1 & \ldots & \vdots & \vdots \\h_3 & h_2 & \ldots & 0 & 0 \\\vdots & h_3 & \ldots & h_1 & 0 \\h_{m-1} & \vdots & \ldots & h_2 & h_1 \\h_m & h_{m-1} & \vdots & \vdots & h_2 \\0 & h_m & \ldots & h_{m-2} & \vdots \\0 & 0 & \ldots & h_{m-1} & h_{m-2} \\\vdots & \vdots & \vdots & h_m & h_{m-1} \\0 & 0 & 0 & \ldots & h_m \end{bmatrix} \begin{bmatrix}x_1 \\x_2 \\x_3 \\\vdots \\x_n \end{bmatrix}

同样地根据卷积的性质，也有：

yT=[h1h2h3…hm−1hm]⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢x100⋮00x2x10⋮……x3x2x1⋮00…x3x2⋮00xn…x3⋮x100xn………x100xn⋮xn−2…000⋮xn−1xn−2…………xnxn−10000⋮xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥.

y^T =\begin{bmatrix}h_1 & h_2 & h_3 & \ldots & h_{m-1} & h_m\end{bmatrix}\begin{bmatrix}x_1 & x_2 & x_3 & \ldots & x_n & 0 & 0 & 0& \ldots & 0 \\0 & x_1 & x_2 & x_3 & \ldots & x_n & 0 & 0 & \ldots & 0 \\0 & 0 & x_1 & x_2 & x_3 & \ldots & x_n & 0 & \ldots & 0 \\\vdots & \vdots & \vdots & \vdots & \vdots & \ldots & \vdots & \vdots & \ldots & 0 \\0 & \ldots & 0 & 0 & x_1 & \ldots & x_{n-2} & x_{n-1} & x_n & \vdots \\0 & \ldots & 0 & 0 & 0 & x_1 & \ldots & x_{n-2} & x_{n-1} & x_n\end{bmatrix}.

由左边的 Toeplize 矩阵可知，Toeplize 矩阵不必是方阵；下面来看该矩阵的维度信息，如下图所示：

上面在 wikipedia 中复制过来的矩阵信息其实是当 n<mn 时的情形，且 n=m−1n=m-1。

3. Circulant matrix

是一种特殊的 Toeplitz 矩阵。

如下为一个 Circulant matrix 的基本形式：

C=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢c0c1⋮cn−2cn−1cn−1c0c1cn−2…cn−1c0⋱…c2⋱⋱c1c1c2⋮cn−1c0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥.

C= \begin{bmatrix} c_0 & c_{n-1} & \dots & c_{2} & c_{1} \\ c_{1} & c_0 & c_{n-1} & & c_{2} \\ \vdots & c_{1}& c_0 & \ddots & \vdots \\ c_{n-2} & & \ddots & \ddots & c_{n-1} \\ c_{n-1} & c_{n-2} & \dots & c_{1} & c_0 \\ \end{bmatrix}.

在 Toeplize 的基础上，Circulant 进一步的要求是每一个行向量，是前一个行向量的循环右移一个元素。