文章目录

前言
一、非一致方程的最小范数最小二乘解
二、广义逆矩阵的阶数递推计算
- 1. 左伪逆矩阵的阶数递推
- 2. 右伪逆矩阵的阶数递推
三、超定二维超越方程的求解

前言

本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.

一、非一致方程的最小范数最小二乘解

我们在之前广义逆矩阵一节中讲到了一致方程的最小范数解和非一致方程的最小二乘解. 但是我们要注意, 最小二乘解非唯一, 我们要在其中找到一个范数最小的解, 我们将其称为非一致方程的最小范数最小二乘解 ( minimun norm least squares solution ), 我们也称其为半范数 ( seminorm ) 最小二乘解

定义 1: 对于非一致方程 Am×nxn×1=ym×1A_{m \times n} x_{n \times 1} = y_{m \times 1}Am×nxn×1=ym×1 , 如果矩阵 GGG 满足条件:

∥Gy∥n≤∥x^∥n,其中∀x^∈{x^:∥Ax^−y∥m≤∥Az−y∥m∀y∈Rm,z∈R}(1)\lVert Gy \rVert _n \leq \lVert \hat{x} \rVert _n ,其中 \forall \hat{x} \in \lbrace \hat{x}: \lVert A\hat{x}-y \rVert _m \leq \lVert Az-y \rVert _m \quad \forall y \in R^m, z \in R \rbrace \tag{1} ∥Gy∥n≤∥x^∥n,其中∀x^∈{x^:∥Ax^−y∥m≤∥Az−y∥m∀y∈Rm,z∈R}(1)

式子中, ∥⋅∥n\lVert \cdot \rVert_n∥⋅∥n 和 ∥⋅∥m\lVert \cdot \rVert_m∥⋅∥m 分别是在 RnR^nRn 和 RmR^mRm 空间的范数 (半范数); 花括号 {⋅}\{ \cdot \}{⋅} 表示 x^\hat{x}x^ 是非一直方程 Ax=yAx=yAx=y 的最小二乘解, 而 ∥Gy∥n≤∥x^∥n\lVert Gy \rVert_n \leq \lVert \hat{x} \rVert_n∥Gy∥n≤∥x^∥n 表示 GyGyGy 是在所有的最小二乘解中具有最小范数的那个解.

定理 1: 矩阵 GGG 使得 GyGyGy 是非一致方程 Ax=yAx=yAx=y 的最小范数最小二乘解, 当且仅当 GGG 满足条件:

AGA=A,(AG)♯=AG,GAG=G,(GA)♯=GA(2)AGA = A, \quad (AG)^{\sharp} = AG, \quad GAG = G, \quad (GA)^{\sharp} = GA \tag{2} AGA=A,(AG)♯=AG,GAG=G,(GA)♯=GA(2)

式子中, A♯A^{\sharp}A♯ 是 AAA 的伴随矩阵.

该定理也可以等价表述为: 矩阵 GGG 使得 GyGyGy 是非一致方程 Ax=yAx = yAx=y 的最小范数最小二乘解, 当且仅当 GGG 是 AAA 的 Moore−Penrose\mathrm{Moore-Penrose}Moore−Penrose 逆矩阵.

二、广义逆矩阵的阶数递推计算

系统辨识? 想必又是信号处理那方面的内容. 确实看起来有点打脑壳, 也不知道它的目的是什么. 就直接提出左、右伪逆矩阵的阶数递推计算方法.

1. 左伪逆矩阵的阶数递推

考虑 n×mn \times mn×m 矩阵 FmF_mFm, 并设 F†=(FmHFm)−1FmHF^{\dagger}=(F_m^{\mathrm{H}}F_m)^{-1}F_m^{\mathrm{H}}F†=(FmHFm)−1FmH 是 FmF_mFm 的左伪逆矩阵.

定理 2: 令

Fm=[Fm−1fm](3)F_m = \begin{bmatrix} F_{m-1}& f_m \end{bmatrix} \tag{3} Fm=[Fm−1fm](3)

式子中, fmf_mfm 是矩阵 FmF_mFm 的第 mmm 列, 且 rank(Fm)=m\mathrm{rank}(F_m)=mrank(Fm)=m, 则计算 Fm†F_m^{\dagger}Fm† 的递推公式由下可得:

Fm†=[Fm−1†−Fm−1†fmemHΔm−1emHΔm−1](4)F_m^{\dagger} = \begin{bmatrix} F_{m-1}^{\dagger} - F_{m-1}^{\dagger}f_me_m^{\mathrm{H}}\Delta_m^{-1}\\ e_m^{\mathrm{H}}\Delta_m^{-1} \end{bmatrix} \tag{4} Fm†=[Fm−1†−Fm−1†fmemHΔm−1emHΔm−1](4)

式子中,

em=[In−Fm−1Fm−1†]fm(5)e_m = [I_n - F_{m-1}F_{m-1}^{\dagger}] f_m \tag{5} em=[In−Fm−1Fm−1†]fm(5)

Δm−1=[fmHem]−1(6)\Delta_m^{-1} = [f_m^{\mathrm{H}}e_m]^{-1} \tag{6} Δm−1=[fmHem]−1(6)

且初始值为

F1†=f1H/(f1Hf1)(7)F_1^{\dagger} = f_1^{\mathrm{H}}/(f_1^{\mathrm{H}}f_1) \tag{7} F1†=f1H/(f1Hf1)(7)

2. 右伪逆矩阵的阶数递推

考虑矩阵 Fm∈Cn×m,n<mF_m \in C^{n \times m}, \ n < mFm∈Cn×m, n<m.

定理 3: 记 Fm=[Fm−1,fm]F_m = [F_{m-1}, f_m]Fm=[Fm−1,fm], 则右伪逆矩阵 Fm†=FmH(FmFmH)−1F_m^{\dagger}=F_m^{\mathrm{H}}(F_mF_m^{\mathrm{H}})^{-1}Fm†=FmH(FmFmH)−1 具有以下递推公式:

Fm†=[Fm−1†−ΔmFm−1†fmcmΔmcmH](8)F_m^{\dagger} = \begin{bmatrix} F_{m-1}^{\dagger} - \Delta_mF_{m-1}^{\dagger}f_mc_m\\ \Delta_m c_m^{\mathrm{H}} \end{bmatrix} \tag{8} Fm†=[Fm−1†−ΔmFm−1†fmcmΔmcmH](8)

式中, cmH=fmH(In−Fm−1Fm−1†),Δm=cmHfmc_m^{\mathrm{H}} = f_m^{\mathrm{H}}(I_n - F_{m-1}F_{m-1}^{\dagger}), \ \Delta_m = c_m^{\mathrm{H}}f_mcmH=fmH(In−Fm−1Fm−1†), Δm=cmHfm. 递推的初始值为 F1†=f1H/(f1Hf1)F_1^{\dagger} = f_1^{\mathrm{H}}/(f_1^{\mathrm{H}}f_1)F1†=f1H/(f1Hf1).

三、超定二维超越方程的求解

这部分就真的是完全看不懂. 从二维信号处理中的一个基本问题: 辨识二维实自回归 —— 移动平均 (ARMA\mathrm{ARMA}ARMA) 模型的移动平均 (MA\mathrm{MA}MA) 参数.

关于 ARMA\mathrm{ARMA}ARMA 常用作经济计量和工程预测. 本质上还是统计学, 和机器学习内核是一样的.

令 ARMA(p1,p2;q1,q2)\mathrm{ARMA}(p_1,p_2;q_1,q_2)ARMA(p1,p2;q1,q2) 模型为

∑i=0p1∑j=0p2aijx(n1−i,n2−j)=∑i=0q1∑j=0q2bije(n1−i,n2−j)(9)\sum_{i=0}^{p_1}\sum_{j=0}^{p_2}a_{ij}x(n_1 - i, n_2 - j) = \sum_{i=0}^{q_1}\sum_{j=0}^{q_2}b_{ij}e(n_1 - i, n_2 - j) \tag{9} i=0∑p1j=0∑p2aijx(n1−i,n2−j)=i=0∑q1j=0∑q2bije(n1−i,n2−j)(9)

不失一般性, 假定 a00=1,q1≤p1,q2≤p2a_{00} = 1, q_1 \le p_1, q_2 \le p_2a00=1,q1≤p1,q2≤p2, 且不可观测的实输入激励 e(n1,n2)e(n_1,n_2)e(n1,n2) 为二维正态白噪声, 其均值为零, 方差等于 σ2\sigma^2σ2. 二维 ARMA\mathrm{ARMA}ARMA 过程 {x(n1,x2)}\{ x(n_1,x_2) \}{x(n1,x2)} 的功率谱密度由下式给出:

P(ω1,ω2)=B(z1,z2)B(z1−1,z2−1)A(z1,z2)A(z1−1,z2−1)σ2∣z1=eiω1,z2=ejω2(10)P(\omega_1,\omega_2) = \frac{B(z_1,z_2)B(z_1^{-1},z_2^{-1})}{A(z_1,z_2)A(z_1^{-1},z_2^{-1})}\sigma^2 \bigg|_{z_1=e^{i\omega_1},z_2=e^{j\omega_2}} \tag{10} P(ω1,ω2)=A(z1,z2)A(z1−1,z2−1)B(z1,z2)B(z1−1,z2−1)σ2∣∣∣∣z1=eiω1,z2=ejω2(10)

式中

A(z1,z2)=∑i=0p1∑j=0p2aijz1iz2j,B=(z1,z2)∑i=0q1∑j=0q2bijz1iz2jA(z_1,z_2) = \sum_{i=0}^{p_1}\sum_{j=0}^{p_2}a_{ij}z_1^iz_2^j, \quad B=(z_1,z_2) \sum_{i=0}^{q_1}\sum_{j=0}^{q_2}b_{ij}z_1^iz_2^j A(z1,z2)=i=0∑p1j=0∑p2aijz1iz2j,B=(z1,z2)i=0∑q1j=0∑q2bijz1iz2j

注意, 多项式 B(z1,z2)B(z1−1,z2−1)B(z_1,z_2)B(z_1^{-1},z_2^{-1})B(z1,z2)B(z1−1,z2−1) 中的 z1kz2mz_1^kz_2^mz1kz2m 和 z1−kz2−mz_1^{-k}z_2^{-m}z1−kz2−m 项的系数相同, z1kz2−mz_1^kz_2^{-m}z1kz2−m 和 z1−kz2mz_1^{-k}z_2^mz1−kz2m 的系数相同. 所以可以将式子 (10) 的分子写作

B(z1,z2)B(z1−1,z2−1)σ2=C(z1,z2)+D(z1,z2−1)+D(z1−1,z2)+C(z1−1,z2−1)(11)B(z_1,z_2)B(z_1^{-1},z_2^{-1})\sigma^2=C(z_1,z_2) + D(z_1,z_2^{-1}) + D(z_1^{-1},z_2) + C(z_1^{-1},z_2^{-1}) \tag{11} B(z1,z2)B(z1−1,z2−1)σ2=C(z1,z2)+D(z1,z2−1)+D(z1−1,z2)+C(z1−1,z2−1)(11)

式中

C(z1,z2)=∑i=0q1∑j=0q2cijz1iz2j,D=(z1,z2−1)∑i=0q1∑j=0q2dijz1iz2−jC(z_1,z_2) = \sum_{i=0}^{q_1}\sum_{j=0}^{q_2}c_{ij}z_1^iz_2^j, \quad D=(z_1,z_2^{-1}) \sum_{i=0}^{q_1}\sum_{j=0}^{q_2}d_{ij}z_1^iz_2^{-j} C(z1,z2)=i=0∑q1j=0∑q2cijz1iz2j,D=(z1,z2−1)i=0∑q1j=0∑q2dijz1iz2−j

比较式 (11) 两边相同幂次项的系数, 立即得

c00=σ22∑i=0q1∑j=0q2bij2(12)c_{00}=\frac{\sigma^2}{2}\sum_{i=0}^{q_1}\sum_{j=0}^{q_2}b_{ij}^2 \tag{12} c00=2σ2i=0∑q1j=0∑q2bij2(12)

ckm=σ2∑i=0q1∑j=0q2bijbi+k,j+m,k=0,1,…,q1,m=0,1,…,q2,(k,m)≠(0,0)(13)c_{km}=\sigma^2\sum_{i=0}^{q_1}\sum_{j=0}^{q_2}b_{ij}b_{i+k,j+m}, \quad k = 0,1,\dots,q_1, \ m = 0,1,\dots,q_2, (k,m) \neq (0,0) \tag{13} ckm=σ2i=0∑q1j=0∑q2bijbi+k,j+m,k=0,1,…,q1, m=0,1,…,q2,(k,m)=(0,0)(13)

dkm=σ2∑i=0q1∑j=0q2bijbi−k,j+m,k=0,1,…,q1,m=1,2,…,q2(14)d_{km}=\sigma^2\sum_{i=0}^{q_1}\sum_{j=0}^{q_2}b_{ij}b_{i-k,j+m}, \quad k = 0,1,\dots,q_1, \ m = 1,2,\dots,q_2 \tag{14} dkm=σ2i=0∑q1j=0∑q2bijbi−k,j+m,k=0,1,…,q1, m=1,2,…,q2(14)

上述方程称为超定二维超越方程. 二维 ARMA\mathrm{ARMA}ARMA 模型的 MA\mathrm{MA}MA 参数辨识问题的提法是: 已知二维 MA\mathrm{MA}MA 谱参数 ckmc_{km}ckm 和 dkmd_{km}dkm, 求解超定二维超越方程式 (12) ~ (13), 即得到二维 MA\mathrm{MA}MA 参数 bijb_{ij}bij.

定义估计误差

f0,0=∑i=0q1∑j=0q2bij2−2c0,0(15)f_{0,0} = \sum_{i=0}^{q_1}\sum_{j=0}^{q_2}b_{ij}^2 - 2c_{0,0} \tag{15} f0,0=i=0∑q1j=0∑q2bij2−2c0,0(15)

fk,m=∑i=0q1−k∑j=0q2−mbi,jbi+k,j+m−ck,mk=0,1,…,q1,m=0,1,…,q2,(k,m)≠(0,0)(16)f_{k,m} = \sum_{i=0}^{q_1-k}\sum_{j=0}^{q_2-m}b_{i,j}b_{i+k,j+m} - c_{k,m} \quad k = 0,1,\dots,q_1, \ m = 0,1,\dots,q_2, (k,m) \neq (0,0) \tag{16} fk,m=i=0∑q1−kj=0∑q2−mbi,jbi+k,j+m−ck,mk=0,1,…,q1, m=0,1,…,q2,(k,m)=(0,0)(16)

fk,m=∑i=0q1−k∑j=0q2−mbi,jbi+k,j+m−dk,mk=1,2,…,q1,m=1,2,…,q2,(k,m)(17)f_{k,m} = \sum_{i=0}^{q_1-k}\sum_{j=0}^{q_2-m}b_{i,j}b_{i+k,j+m} - d_{k,m} \quad k = 1,2,\dots,q_1, \ m = 1,2,\dots,q_2, (k,m) \tag{17} fk,m=i=0∑q1−kj=0∑q2−mbi,jbi+k,j+m−dk,mk=1,2,…,q1, m=1,2,…,q2,(k,m)(17)

记

f=[f0,0,…,fq1,q2,fq1+1,q2+1,…,f2q1,2q2]Tb=[b0,0,b0,1…,b0,q2…,bq1,0,bq1,1…,bq1,q2]T\begin{aligned} f &= [f_{0,0} \ , \dots,f_{q_1,q_2} \ , f_{q_1+1,q_2+1} \ , \dots, f_{2q_1,2q_2}]^{\mathrm{T}} \\ b &= [b_{0,0} \ , b_{0,1} \, \dots, b_{0,q_2} \ \dots \ , b_{q_1,0} \ , b_{q_1,1} \dots, b_{q_1,q_2}]^{\mathrm{T}} \end{aligned} fb=[f0,0 ,…,fq1,q2 ,fq1+1,q2+1 ,…,f2q1,2q2]T=[b0,0 ,b0,1…,b0,q2 … ,bq1,0 ,bq1,1…,bq1,q2]T

则梯度矩阵为

F=∂f∂bT=[∂f0,0∂b0,0…∂f0,0∂b0,q2…∂f0,0∂bq1,0…∂f0,0∂bq1,q2⋮⋮⋮⋮∂fq1,q2∂b0,0…∂fq1,q2∂b0,q2…∂fq1,q2∂bq1,0…∂fq1,q2∂bq1,q2∂fq1+1,q2+1∂b0,0…∂fq1+1,q2+1∂b0,q2…∂fq1+1,q2+1∂bq1,0…∂fq1+1,q2+1∂bq1,q2⋮⋮⋮⋮∂f2q1,2q2∂b0,0…∂f2q1,2q2∂b0,q2…∂f2q1,2q2∂bq1,0…∂f2q1,2q2∂bq1,q2](18)F = \frac{\partial f}{\partial b^{\mathrm{T}}}=\begin{bmatrix} \frac{\partial f_{0,0}}{\partial b_{0,0}}& \dots & \frac{\partial f_{0,0}}{\partial b_{0,q_2}} & \dots& \frac{\partial f_{0,0}}{\partial b_{q_1,0}}& \dots & \frac{\partial f_{0,0}}{\partial b_{q_1,q_2}}\\ \vdots& & \vdots& & \vdots& & \vdots\\ \frac{\partial f_{q_1,q_2}}{\partial b_{0,0}}& \dots & \frac{\partial f_{q_1,q_2}}{\partial b_{0,q_2}} & \dots& \frac{\partial f_{q_1,q_2}}{\partial b_{q_1,0}}& \dots & \frac{\partial f_{q_1,q_2}}{\partial b_{q_1,q_2}}\\ \frac{\partial f_{q_1+1,q_2+1}}{\partial b_{0,0}}& \dots & \frac{\partial f_{q_1+1,q_2+1}}{\partial b_{0,q_2}} & \dots& \frac{\partial f_{q_1+1,q_2+1}}{\partial b_{q_1,0}}& \dots & \frac{\partial f_{q_1+1,q_2+1}}{\partial b_{q_1,q_2}}\\ \vdots& & \vdots& & \vdots& & \vdots\\ \frac{\partial f_{2q_1,2q_2}}{\partial b_{0,0}}& \dots & \frac{\partial f_{2q_1,2q_2}}{\partial b_{0,q_2}} & \dots& \frac{\partial f_{2q_1,2q_2}}{\partial b_{q_1,0}}& \dots & \frac{\partial f_{2q_1,2q_2}}{\partial b_{q_1,q_2}}\\ \end{bmatrix} \tag{18} F=∂bT∂f=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡∂b0,0∂f0,0⋮∂b0,0∂fq1,q2∂b0,0∂fq1+1,q2+1⋮∂b0,0∂f2q1,2q2…………∂b0,q2∂f0,0⋮∂b0,q2∂fq1,q2∂b0,q2∂fq1+1,q2+1⋮∂b0,q2∂f2q1,2q2…………∂bq1,0∂f0,0⋮∂bq1,0∂fq1,q2∂bq1,0∂fq1+1,q2+1⋮∂bq1,0∂f2q1,2q2…………∂bq1,q2∂f0,0⋮∂bq1,q2∂fq1,q2∂bq1,q2∂fq1+1,q2+1⋮∂bq1,q2∂f2q1,2q2⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤(18)

定义矩阵

Bi=[bi,0…bi,q2−1bi,q2bi,1…bi,q20⋮⋮⋮bi,q2…00](19)B_i = \begin{bmatrix} b_{i,0}& \dots& b_{i,q_2-1}& b_{i,q_2}\\ b_{i,1}& \dots& b_{i,q_2}& 0\\ \vdots& &\vdots & \vdots\\ b_{i,q_2}& \dots& 0& 0 \end{bmatrix} \tag{19} Bi=⎣⎢⎢⎢⎡bi,0bi,1⋮bi,q2………bi,q2−1bi,q2⋮0bi,q20⋮0⎦⎥⎥⎥⎤(19)

Biˉ=[bi,0bi,1…bi,q20bi,0…bi,q2−1⋮⋮⋮0…0bi,0](20)\bar{B_i} = \begin{bmatrix} b_{i,0}& b_{i,1}& \dots& b_{i,q_2}\\ 0& b_{i,0}& \dots& b_{i,q_2-1}\\ \vdots& &\vdots & \vdots\\ 0& \dots& 0& b_{i,0} \end{bmatrix} \tag{20} Biˉ=⎣⎢⎢⎢⎡bi,00⋮0bi,1bi,0………⋮0bi,q2bi,q2−1⋮bi,0⎦⎥⎥⎥⎤(20)

和

Ai=[0bi,0bi,1…bi,q2−100bi,0…bi,q2−2⋮⋮⋮⋮0…00bi,0](21)A_i = \begin{bmatrix} 0& b_{i,0}& b_{i,1}& \dots & b_{i,q_2-1}\\ 0& 0& b_{i,0}& \dots & b_{i,q_2-2}\\ \vdots& &\vdots & \vdots & \vdots\\ 0& \dots& 0& 0 & b_{i,0} \end{bmatrix} \tag{21} Ai=⎣⎢⎢⎢⎡00⋮0bi,00…bi,1bi,0⋮0……⋮0bi,q2−1bi,q2−2⋮bi,0⎦⎥⎥⎥⎤(21)

Aiˉ=[bi,1…bi,q2−1bi,q20bi,2…bi,q200⋮⋮⋮⋮bi,q20…00](22)\bar{A_i} = \begin{bmatrix} b_{i,1}& \dots& b_{i,q_2-1}& b_{i,q_2} & 0\\ b_{i,2}& \dots& b_{i,q_2}& 0 & 0\\ \vdots& &\vdots & \vdots & \vdots\\ b_{i,q_2}& 0& \dots& 0 & 0 \end{bmatrix} \tag{22} Aiˉ=⎣⎢⎢⎢⎡bi,1bi,2⋮bi,q2……0bi,q2−1bi,q2⋮…bi,q20⋮000⋮0⎦⎥⎥⎥⎤(22)

矩阵 FFF 具有下列形式:

F=[B0…Bq1−1Bq1B1…Bq1O⋮⋮⋮Bq1…OOA1…Aq1OA2…OO⋮⋮⋮Aq1…OO]+[B0ˉB1ˉ…Bq1ˉOB0ˉ…Bq1−1ˉ⋮⋮⋮OO…B0ˉOA0ˉ…Aq1−1ˉOO…Aq1−2ˉ⋮⋮⋮OOOA0ˉ](23)F=\begin{bmatrix} B_0& \dots& B_{q_1-1}& B_{q_1}\\ B_1& \dots& B_{q_1}& O\\ \vdots& & \vdots& \vdots\\ B_{q_1}& \dots& O& O\\ A_1& \dots& A_{q_1}& O\\ A_2& \dots& O& O\\ \vdots& & \vdots& \vdots\\ A_{q_1}& \dots& O & O \end{bmatrix} + \begin{bmatrix} \bar{B_0}& \bar{B_1}& \dots& \bar{B_{q_1}}\\ O& \bar{B_0}& \dots& \bar{B_{q_1-1}}\\ \vdots& \vdots& & \vdots\\ O& O& \dots& \bar{B_0}\\ O& \bar{A_0}& \dots& \bar{A_{q_1-1}}\\ O& O& \dots& \bar{A_{q_1-2}}\\ \vdots& \vdots& & \vdots\\ O& O& O & \bar{A_0} \end{bmatrix} \tag{23} F=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡B0B1⋮Bq1A1A2⋮Aq1………………Bq1−1Bq1⋮OAq1O⋮OBq1O⋮OOO⋮O⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤+⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡B0ˉO⋮OOO⋮OB1ˉB0ˉ⋮OA0ˉO⋮O……………OBq1ˉBq1−1ˉ⋮B0ˉAq1−1ˉAq1−2ˉ⋮A0ˉ⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤(23)

我们就能求解, 若第 iii 步迭代估计的 MA\mathrm{MA}MA 参数向量记为 b(i)b^{(i)}b(i), 则第 (i+1)(i+1)(i+1) 步的估计 b(i+1)b^{(i+1)}b(i+1) 由下式给出:

b(i+1)=b(i)−F†f(24)b^{(i+1)} = b^{(i)} - F^{\dagger}f \tag{24} b(i+1)=b(i)−F†f(24)

式子中, F†F^{\dagger}F† 是矩阵 FFF 的广义逆矩阵.

算法 1: (二维 MA\mathrm{MA}MA 参数估计)

Step1 : 取初始值 b0,0=2c0,0b_{0,0} = \sqrt{2c_{0,0}}b0,0=2c0,0 和 bi,j=0,(i,j)≠(0,0)b_{i,j}=0, \ (i,j) \neq (0,0)bi,j=0, (i,j)=(0,0)
Step2 : 利用式子 (15)~(17) 计算拟合误差 fk,mf_{k,m}fk,m, 然后利用式子 (23) 构造矩阵 FFF
Step3 : 根据式子 (24) 更新二维 MA\mathrm{MA}MA 参数向量估计 b(i+1)b^{(i+1)}b(i+1)
Step4 : 返回 Step2, 并重复以上步骤, 知道所有 MA\mathrm{MA}MA 参数估计值 bk,mb_{k,m}bk,m 都收敛为止. 例如, 当

∣bkm(i+1)−bkm(i)bkm(i+1)≤0.05∣(25)\bigg| \frac{b_{km}^{(i+1)}-b_{km}^{(i)}}{b_{km}^{(i+1)}} \le 0.05 \bigg| \tag{25} ∣∣∣∣bkm(i+1)bkm(i+1)−bkm(i)≤0.05∣∣∣∣(25)

对所有 k=0,1,…,q1,m=0,1,…,q2k = 0,1,\dots,q_1, m=0,1,\dots,q_2k=0,1,…,q1,m=0,1,…,q2 成立时, 即认可参数估计已经收敛.

矩阵分析与应用-1.9-Moore-Penrose逆矩阵-Section3相关推荐

Moore–Penrose伪逆
设A∈Cm×n\mathbf{A}\in\mathbb{C}^{m\times n}A∈Cm×n,若存在n×mn\times mn×m的矩阵G\mathbf{G}G,同时满足 (1)AGA=A\mat ...
矩阵分析与应用-6.2~6.3-奇异值分解-Section2
文章目录前言一.奇异值的性质汇总 1. 奇异值服从的等式关系 2. 奇异值服从的不等式关系二.秩亏缺最小二乘解 1. 低秩矩阵逼近 2. 有效秩 3. S V D \mathrm{SVD} SV ...
matlab卷积矩阵绝对值,MATLAB矩阵分析和计算
MATLAB矩阵分析和计算编辑锁定讨论上传视频本词条缺少概述图,补充相关内容使词条更完整,还能快速升级,赶紧来编辑吧! <MATLAB矩阵分析和计算>是清华大学出版社出版的一本图 ...
【数理知识】《矩阵论》方保镕老师-第1章-矩阵的几何理论
无无无回到目录下一章第1章-矩阵的几何理论 1.1 线性空间上的线性算子与矩阵 1.1.1 线性空间 1.1.2 线性算子及其矩阵 1.2 内积空间上的等积变换 1.2.1 内积空间 1. 内积 ...
matlab中bitget函数用法_Matlab函数大全
目录 1.时间日期函数................................ ................................ ....................... ...
超限学习机(ELM)
今年毕设做的就是和极限学习机有关的东西,当时老师让我看一篇表征转换机(ACM)的英文文章,我在文中看到了一句话说是表征转换机是基于极限学习机的,所以我后来的毕设论文就是直接用极限学习机来实现了. 一. ...
Re: 从0开始的DMD学习
文章目录 DMD理论1 理论叙述离散特征分解最小化定义DMD DMD算法取得X的奇异值分解计算A 特征分解重构特征分解的A 预测误差代码实现 DMD理论2 DMD理论3 我的计算结果 ...
Chapter 7 (Symmetric Matrices and Quadratic Forms): The Singular Value Decomposition (奇异值分解, SVD)
目录奇异值奇异值的定义非零奇异值 The Singular Value Decomposition (SVD) 奇异值分解一些性质几何解释紧奇异值分解与截断奇异值分解奇异值分解与矩阵近似 ...
rnns_告别rnns欢迎tcns
rnns Disclaimer: this article assumes that readers possess preliminary knowledge behind the model in ...

矩阵分析与应用-1.9-Moore-Penrose逆矩阵-Section3