第四章自适应滤波

[待补充]

文章目录

第四章自适应滤波
- 4.1自适应滤波器的基本概念
- 4.2 自适应滤波器的结构
- 4.3 LMS 自适应滤波器
- - 4.3.1 最陡下降法原理
  - 4.3.2 LMS 算法的收敛性质
- 4.4

4.1自适应滤波器的基本概念

基本概念：

根据信号环境特性用递推（自适应）算法，自动调整滤波器的脉冲响应，使自适应滤波的输出尽可能接近期望输出。在平稳环境中，迭代次数充分大时，自适应算法给出的结果在某种统计意义上收敛于维纳解，在非平稳环境中，自适应算法具有一定的跟踪输入数据统计特性（慢）变化的能力。

4.2 自适应滤波器的结构

空间采样

输入：X(n)=[x0(n)x1(n)⋮xN−1(n)]权向量：W(n)=[w0(n)w1(n)⋮wN−1(n)]输出：y(n)=XT(n)W(n)输入：X(n)= \left[ \begin{matrix} x_{0}(n) \\ x_{1}(n) \\ \vdots \\ x_{N-1}(n) \\ \end{matrix} \right] \qquad 权向量：W(n)= \left[ \begin{matrix} w_{0}(n) \\ w_{1}(n) \\ \vdots \\ w_{N-1}(n) \\ \end{matrix} \right] \\ 输出：y(n)=X^T(n)W(n) 输入：X(n)=⎣⎢⎢⎢⎡x0(n)x1(n)⋮xN−1(n)⎦⎥⎥⎥⎤权向量：W(n)=⎣⎢⎢⎢⎡w0(n)w1(n)⋮wN−1(n)⎦⎥⎥⎥⎤输出：y(n)=XT(n)W(n)

这里的 xi(n)x_i(n)xi(n) 可以看作空间不同位置采集到信号。

时间采样

输入：X(n)=[x(n)x(n−1)⋮x(n−N+1)]权向量：W(n)=[w0(n)w1(n)⋮wN−1(n)]输出：y(n)=XT(n)W(n)输入：X(n)= \left[ \begin{matrix} x(n) \\ x(n-1) \\ \vdots \\ x(n-N+1) \\ \end{matrix} \right] \qquad 权向量：W(n)= \left[ \begin{matrix} w_{0}(n) \\ w_{1}(n) \\ \vdots \\ w_{N-1}(n) \\ \end{matrix} \right] \\ 输出：y(n)=X^T(n)W(n) 输入：X(n)=⎣⎢⎢⎢⎡x(n)x(n−1)⋮x(n−N+1)⎦⎥⎥⎥⎤权向量：W(n)=⎣⎢⎢⎢⎡w0(n)w1(n)⋮wN−1(n)⎦⎥⎥⎥⎤输出：y(n)=XT(n)W(n)

这里的 x(n−i)x(n-i)x(n−i) 可以看作同一信号经过延迟单位采集到的信号。

空时采样

空时采样是在每个空间采样的分支上加入时间采样。

下面将主要介绍两种自适应算法

随机梯度法（LMS）
最小二乘法（RLS）

4.3 LMS 自适应滤波器

LMS 自适应滤波器和维纳滤波器一样，也是以均方误差最小（即 E(ej2)=E[(dj−yj)2]E(e_j^2)=E[(d_j-y_j)^2]E(ej2)=E[(dj−yj)2] 最小）作为其最佳滤波准则的。下面我们推到最小均方误差与自适应滤波的权系数 WWW 之间的关系。
yj=XjTW=WTXjej=dj−yj=dj−WTXjy_j=X_j^TW=W^TX_j \\ e_j=d_j-y_j=d_j-W^TX_j yj=XjTW=WTXjej=dj−yj=dj−WTXj
所以
E[ej2]=E[(dj−yj)2]=E[dj2]−2E[djXjT]W+WTE[XjXjT]WE[e_j^2]=E[(d_j-y_j)^2]=E[d_j^2]-2E[d_jX_j^T]W+W^TE[X_jX_j^T]W E[ej2]=E[(dj−yj)2]=E[dj2]−2E[djXjT]W+WTE[XjXjT]W
令
P=E[djXj]=E[djx1j,djx2j,⋯,djxNj]T=dj与Xj的互相关矢量R=E[XjXjT]=E[x1jx1jx1jx2j⋯⋯x2jx1jx2jx2j⋯⋯⋯⋯⋯⋯⋮⋮⋯xNjxNj]=输入Xj的自相关矩阵\begin{aligned} P&=E[d_jX_j]=E[d_jx_{1j},d_jx_{2j},\cdots,d_jx_{Nj}]^T \\ &=d_j与X_j的互相关矢量 \end{aligned} \\ \begin{aligned} R&=E[X_jX_j^T]=E \left[ \begin{matrix} x_{1j}x_{1j} &x_{1j}x_{2j} &\cdots &\cdots \\ x_{2j}x_{1j} &x_{2j}x_{2j} &\cdots &\cdots \\ \cdots &\cdots &\cdots &\cdots \\ \vdots &\vdots &\cdots &x_{Nj}x_{Nj} \\ \end{matrix} \right] \\ &=输入X_j的自相关矩阵 \end{aligned} P=E[djXj]=E[djx1j,djx2j,⋯,djxNj]T=dj与Xj的互相关矢量R=E[XjXjT]=E⎣⎢⎢⎢⎡x1jx1jx2jx1j⋯⋮x1jx2jx2jx2j⋯⋮⋯⋯⋯⋯⋯⋯⋯xNjxNj⎦⎥⎥⎥⎤=输入Xj的自相关矩阵
于是均方误差可以改写为
E[ej2]=E[dj2]−2PTW+WTRWE[e_j^2]=E[d_j^2]-2P^TW+W^TRW E[ej2]=E[dj2]−2PTW+WTRW
对于平稳输入，上式的 E[ej2]E[e_j^2]E[ej2] 是权向量 WWW 的二次型函数，因此 E[ej2]E[e_j^2]E[ej2] ~ WWW 是一个凹形超抛物体曲面，它有唯一的极小点。均方误差的梯度可以对上式求导得。
∇j={∂E[ej2]∂w1,∂E[ej2]∂w2,⋯,∂E[ej2]∂wN}=−2P+2RW\nabla_j= \left \{ \frac{\partial E[e_j^2]}{\partial w_1}, \frac{\partial E[e_j^2]}{\partial w_2},\cdots, \frac{\partial E[e_j^2]}{\partial w_N} \right \} =-2P+2RW ∇j={∂w1∂E[ej2],∂w2∂E[ej2],⋯,∂wN∂E[ej2]}=−2P+2RW

若 ∇j=0\nabla_j=0∇j=0 就可以得到最佳权向量 woptw_{opt}wopt ，即
−2P+2RW=0W=Wopt=R−1P-2P+2RW=0 \\ W=W_{opt}=R^{-1}P −2P+2RW=0W=Wopt=R−1P
最小均方误差为
(E[ej2])min=E[dj2]−WoptTP(E[e_j^2])_{min}=E[d_j^2]-W_{opt}^TP (E[ej2])min=E[dj2]−WoptTP

自适应滤波与维纳滤波相比差别在于它加了一个识别控制环节，将输出的 yjy_jyj 与所希望的值 djd_jdj 比较，看是否一样，如果有误差，则用 eje_jej 去控制 WWW ，使 WWW 逐步逼近 E[ej2]=(E[ej2])minE[e_j^2]=(E[e_j^2])_{min}E[ej2]=(E[ej2])min 。因此关键在于怎么简便地寻找 WoptW_{opt}Wopt ，LMS 算法则是常用的主要算法之一。

分析：WoptW_{opt}Wopt 是可以准确地求出来地，但是在权地数目 NNN 很大或者输入数据率很高时，用这种方法直接求解在计算上会遇到很大困难，它不仅需要计算 N×NN\times NN×N 矩阵的逆，而且还需要测量或估计 N(N+1)/2N(N+1)/2N(N+1)/2 这么多个自相关或互相关函数才能得到 PPP 和 RRR 的各矩阵元素。不仅如此，当输入量的统计特性发生某种变化后，还必须重新作相应的计算。

4.3.1 最陡下降法原理

这里我们使用 J(w)J(w)J(w) （ J(w)=E[ej2]J(w)=E[e_j^2]J(w)=E[ej2] ）代价函数来描述均方误差。
J(w+Δw)=J(w)+(Δw)T∇J(w)+12(Δw)T∇2J(Δw)J(w+\Delta w)=J(w)+(\Delta w)^T\nabla J(w)+\frac{1}{2}(\Delta w)^T\nabla^2 J(\Delta w) J(w+Δw)=J(w)+(Δw)T∇J(w)+21(Δw)T∇2J(Δw)
要使
J(w+Δw)<J(w)，显然应使(Δw)T∇J(w)<0J(w+\Delta w) < J(w) ，显然应使(\Delta w)^T\nabla J(w) < 0 J(w+Δw)<J(w)，显然应使(Δw)T∇J(w)<0
因为 J(w+Δw)J(w+\Delta w)J(w+Δw) 的第三项显然是正定的。(Δw)T∇J(w)(\Delta w)^T\nabla J(w)(Δw)T∇J(w) 表示的是两个向量的内积，我们换种方式来表示有
(Δw)T∇J(w)=∣Δw∣⋅∣∇J(w)∣⋅cosθ(\Delta w)^T\nabla J(w)=|\Delta w|\cdot|\nabla J(w)|\cdot cos\theta (Δw)T∇J(w)=∣Δw∣⋅∣∇J(w)∣⋅cosθ
θ\thetaθ 为两向量的夹角，cosθcos\thetacosθ 的取值范围为 -1~1 所以当 Δw=−k∇J(w)\Delta w=-k\nabla J(w)Δw=−k∇J(w) ，即 Δw\Delta wΔw 与 ∇J(w)\nabla J(w)∇J(w) 方向相反时 (Δw)T∇J(w)(\Delta w)^T\nabla J(w)(Δw)T∇J(w) 下降得越快。基于上面得分析，我们设计 W(n)W(n)W(n) 的修正方案
Wj+1=Wj−μ∇J(w)W_{j+1}=W_j-\mu\nabla J(w) Wj+1=Wj−μ∇J(w)
μ>0\mu>0μ>0 称为步长参数，可以控制算法的收敛速度和稳定性。

收敛速度：一般来说步长越大下降的速度越快，收敛速度越快

稳定性：但是超过一定限度，步长过大会导致系统震荡甚至发散，无法收敛。

当 WWW 为多维时，梯度 ∇J\nabla J∇J 可以用列矩阵表示
∇J=[∂J∂W1,∂J∂W2,⋯,∂J∂WN]W=Wj=[∂E[ej2]∂w1,∂E[ej2]∂w2,⋯,∂E[ej2]∂wN]T\nabla J= \left [ \frac{\partial J}{\partial W_1}, \frac{\partial J}{\partial W_2},\cdots, \frac{\partial J}{\partial W_N} \right ]_{W=W_j}= \left [ \frac{\partial E[e_j^2]}{\partial w_1}, \frac{\partial E[e_j^2]}{\partial w_2},\cdots, \frac{\partial E[e_j^2]}{\partial w_N} \right ]^T ∇J=[∂W1∂J,∂W2∂J,⋯,∂WN∂J]W=Wj=[∂w1∂E[ej2],∂w2∂E[ej2],⋯,∂wN∂E[ej2]]T

将上式的求导与期望次序对换，得
∇J=2E[ej(∂ej∂w1,∂ej∂w2,⋯,∂ej∂wN)T]\nabla J= 2E \left [ e_j \left( \frac{\partial e_j}{\partial w_1}, \frac{\partial e_j}{\partial w_2},\cdots, \frac{\partial e_j}{\partial w_N} \right )^T \right ] ∇J=2E[ej(∂w1∂ej,∂w2∂ej,⋯,∂wN∂ej)T]
根据
ej=dj−WTXje_j=d_j-W^TX_j ej=dj−WTXj
将有
(∂ej∂w1,∂ej∂w2,⋯,∂ej∂wN)T=−Xj\left( \frac{\partial e_j}{\partial w_1}, \frac{\partial e_j}{\partial w_2},\cdots, \frac{\partial e_j}{\partial w_N} \right )^T =-X_j (∂w1∂ej,∂w2∂ej,⋯,∂wN∂ej)T=−Xj
令 ∇J=0\nabla J = 0∇J=0 ，即 E[ejXi]=0E[e_jX_i]=0E[ejXi]=0 时， W=WoptW=W_{opt}W=Wopt 以及 E[ej2]=E[ej2]minE[e_j^2]=E[e_j^2]_{min}E[ej2]=E[ej2]min 与维纳滤波的理论是一致的。上面，我们假定在自适应滤波的递推过程中，每次迭代所需要的梯度向量是可精确测量的。而实际应用中，为了便于用实时系统实现，往往仅取单个误差样本的平方 eje_jej 的梯度作为均方误差梯度的估计，并以 ∇J^\nabla\widehat{J}∇J 表示这个估计，于是有
∇J^=[∂ej2∂w1,∂ej2∂w2,⋯,∂ej2∂wN]T=2ej[∂ej∂w1,∂ej∂w2,⋯,∂ej∂wN]T∇J^=−2ejXj\nabla\widehat{J}= \left [ \frac{\partial e_j^2}{\partial w_1}, \frac{\partial e_j^2}{\partial w_2},\cdots, \frac{\partial e_j^2}{\partial w_N} \right ]^T =2 e_j\left [ \frac{\partial e_j}{\partial w_1}, \frac{\partial e_j}{\partial w_2},\cdots, \frac{\partial e_j}{\partial w_N} \right ]^T \\ \nabla\widehat{J}=-2e_jX_j ∇J=[∂w1∂ej2,∂w2∂ej2,⋯,∂wN∂ej2]T=2ej[∂w1∂ej,∂w2∂ej,⋯,∂wN∂ej]T∇J=−2ejXj
与上式比较，有 E[∇J^]=∇J=2E[ejXj]E[\nabla\widehat{J}] = \nabla J=2E[e_jX_j]E[∇J]=∇J=2E[ejXj] ，即 ∇J^\nabla\widehat{J}∇J 的期望值等于其真实值，故这种对 ∇J\nabla J∇J 的估计是无偏估计，即 ∇J\nabla J∇J 的估计值 ∇J^\nabla\widehat{J}∇J 是用 [ejXj][e_jX_j][ejXj] 的瞬时值代替它的期望值 E[ejXj]E[e_jX_j]E[ejXj] 得到的，于是有
Wj+1=Wj−μ∇J^=Wj+2μejXjW_{j+1}=W_j-\mu\nabla\widehat{J}=W_j+2\mu e_jX_j Wj+1=Wj−μ∇J=Wj+2μejXj
其中 ej=dj−WTXje_j=d_j-W^TX_jej=dj−WTXj ，这种算法称为维德罗 — 霍夫最小均方（Widrow-Hoff LMS）算法，这种算法对于每一个输入样本只需要进行两个乘法和两个加法的运算，省略了期望的计算大大缩减计算量。

4.3.2 LMS 算法的收敛性质

上一节提到 μ\muμ 是一个很关键的参数，影响算法的收敛速度和稳定性，那么如何确定参数 μ\muμ 的值是一个值得探讨的问题。下面我们将讨论这个问题。

假设在两次递推之间有充分大的时间间隔，即认为二次输入信号 XjX_{j}Xj 与 Xj+1X_{j+1}Xj+1 是不相关的，即
E[XjXj+1T]=0,当l≠0E[X_jX_{j+1^T}]=0,\quad 当l \neq 0 E[XjXj+1T]=0,当l=0
同时，由于 WjW_jWj 仅是输入 Xj−1,Xj−2,⋯,X0X_{j-1},X_{j-2},\cdots,X_{0}Xj−1,Xj−2,⋯,X0 的函数，故 WjW_jWj 与 XjX_jXj 也不相关
Wj+1=Wj+2μ[ejXj]=Wj+2μ{Xj[dj−XjTWj]}W_{j+1}=W_j+2\mu[e_jX_j]=W_j+2\mu\{X_j[d_j-X_j^TW_j]\} Wj+1=Wj+2μ[ejXj]=Wj+2μ{Xj[dj−XjTWj]}
因为 WjW_jWj 是随机变量，我们必须利用它的集合平均，即
E[Wj+1]=E[Wj]+2μE[djXj]−2μE[XjXjTWj]E[W_{j+1}]=E[W_j]+2\mu E[d_jX_j]-2\mu E[X_jX_j^TW_j] E[Wj+1]=E[Wj]+2μE[djXj]−2μE[XjXjTWj]
考虑到 WjW_jWj 与 XjX_jXj 也不相关，令 P=E[djXj],R=E[XjXjT]P=E[d_jX_j],R=E[X_jX_j^T]P=E[djXj],R=E[XjXjT] 有
E[Wj+1]=[I−2μR]E[Wj]+2μPE[W_{j+1}]=[I-2\mu R]E[W_j]+2\mu P E[Wj+1]=[I−2μR]E[Wj]+2μP
递推起来有
E[Wj+1]=[I−2μR]j+1E[W0]+2μ∑i=0j[I−2μR]iPE[W_{j+1}]=[I-2\mu R]^{j+1}E[W_0]+2\mu\sum_{i=0}^j [I-2\mu R]^{i}P E[Wj+1]=[I−2μR]j+1E[W0]+2μi=0∑j[I−2μR]iP
这里自相关矩阵 RRR 是实对称阵，我们可以写出其特征值分解式 R=QΛQTR=Q\Lambda Q^TR=QΛQT ，QQQ 是自相关矩阵 RRR 的正交矩阵，并有 QQT=I,QT=QQQ^T=I,Q^T=QQQT=I,QT=Q ，Λ\LambdaΛ 是由 RRR 的特征值组成的对角矩阵
Λ=[λ1λ20⋮0λN]\Lambda= \left [ \begin{matrix} \lambda_1 &\quad &\quad &\quad \\ \quad &\lambda_2 &\quad &0 \\ \quad &\quad &\vdots &\quad \\ 0 &\quad &\quad &\lambda_N \\ \end{matrix} \right ] Λ=⎣⎢⎢⎢⎡λ10λ2⋮0λN⎦⎥⎥⎥⎤

继续简化上式
E[Wj+1]=[I−2μR]j+1E[W0]+2μ∑i=0j[I−2μR]iP=[I−2μQΛQ−1]j+1E[W0]+2μ∑i=0j[I−2μQΛQ−1]iP\begin{aligned} E[W_{j+1}]&=[I-2\mu R]^{j+1}E[W_0]+2\mu\sum_{i=0}^j [I-2\mu R]^{i}P \\ &=[I-2\mu Q\Lambda Q^{-1}]^{j+1}E[W_0] +2\mu\sum_{i=0}^j [I-2\mu Q\Lambda Q^{-1}]^{i}P \end{aligned} \\ E[Wj+1]=[I−2μR]j+1E[W0]+2μi=0∑j[I−2μR]iP=[I−2μQΛQ−1]j+1E[W0]+2μi=0∑j[I−2μQΛQ−1]iP
另外，因为
[][I−2μQΛQ−1]j=(QQ−1−2μQΛQ−1)j=[Q(I−2μΛ)Q−1]j=Q(I−2μΛ)jQ−1\begin{aligned}[] [I-2\mu Q\Lambda Q^{-1}]^{j}&=(QQ^{-1}-2\mu Q\Lambda Q^{-1})^j \\ &=[Q(I-2\mu\Lambda)Q^{-1}]^j \\ &=Q(I-2\mu\Lambda)^jQ^{-1} \end{aligned} [][I−2μQΛQ−1]j=(QQ−1−2μQΛQ−1)j=[Q(I−2μΛ)Q−1]j=Q(I−2μΛ)jQ−1
所以有
E[Wj+1]=Q[1−2μΛ]j+1Q−1E[W0]+2μQ∑i=0j[I−2μΛ]iQ−1PE[W_{j+1}]=Q[1-2\mu\Lambda]^{j+1}Q^{-1}E[W_0] +2\mu Q\sum_{i=0}^j [I-2\mu\Lambda]^iQ^{-1}P E[Wj+1]=Q[1−2μΛ]j+1Q−1E[W0]+2μQi=0∑j[I−2μΛ]iQ−1P
为了使上式收敛，必须满足 ∣1−2μλmax∣<1|1-2\mu\lambda_{max}|<1∣1−2μλmax∣<1 ，即 0<μ<1λmax0<\mu<\frac{1}{\lambda_{max}}0<μ<λmax1 ，当 j→∞j\rightarrow \inftyj→∞ 时，算法法收敛，这时第一项为零
lim⁡j→∞E[Wj+1]=2μQlim⁡j→∞∑i=0j[I−2μΛ]iQ−1P\lim\limits_{j\rightarrow\infty}E[W_{j+1}]=2\mu Q\lim\limits_{j\rightarrow\infty}\sum_{i=0}^j [I-2\mu\Lambda]^iQ^{-1}P j→∞limE[Wj+1]=2μQj→∞limi=0∑j[I−2μΛ]iQ−1P
有无限级数可知
lim⁡j→∞∑i=0j[I−2μΛ]i=1I−(I−2μΛ)=12μΛ−1\lim\limits_{j\rightarrow\infty}\sum_{i=0}^j [I-2\mu\Lambda]^i=\frac{1}{I-(I-2\mu\Lambda)}=\frac{1}{2\mu}\Lambda^{-1} j→∞limi=0∑j[I−2μΛ]i=I−(I−2μΛ)1=2μ1Λ−1
所以
lim⁡j→∞E[Wj+1]=2μQ[12μΛ−1]Q−1P=R−1P=Wopt\lim\limits_{j\rightarrow\infty}E[W_{j+1}] =2\mu Q[\frac{1}{2\mu}\Lambda^{-1}]Q^{-1}P =R^{-1}P =W_{opt} j→∞limE[Wj+1]=2μQ[2μ1Λ−1]Q−1P=R−1P=Wopt
通常 λmax\lambda_{max}λmax 是我们预先不知道的，而 tr[R]=∑iE[Xi2]=∑iλitr[R]=\sum_iE[X_i^2]=\sum_i\lambda_itr[R]=∑iE[Xi2]=∑iλi 是我们容易知道的，且 RRR 是正定的，所以 μ\muμ 的取值也可以保守取为 0<μ<1tr[R]0<\mu<\frac{1}{tr[R]}0<μ<tr[R]1 ，上式中的 ∑iE[Xi2]\sum_iE[X_i^2]∑iE[Xi2] 为信号的总输入功率，一般是已知的。

学习曲线

一般我们把代价函数的 J(Wj)J(W_j)J(Wj) 与迭代次数 jjj 的曲线 J(Wj)J(W_j)J(Wj) ~ jjj 叫做学习曲线，即任意一个初始权向量 W0W_0W0 通过一次次递归都能趋近于 WoptW_{opt}Wopt 。一般曲线会呈现为指数形式，因为在一维情况下，ΔW=2μXj2ΔWj\Delta W=2\mu X_j^2\Delta W_jΔW=2μXj2ΔWj ，即 ΔW\Delta WΔW 正比于 ΔWj\Delta W_jΔWj 。

下面我们对代价函数进行 “简化”

首先我们对 WWW 先平移再旋转

平移： W~=W−Wopt\widetilde{W}=W-W_{opt}W=W−Wopt

旋转： V=QTW~V=Q^T\widetilde{W}V=QTW

J(Wj)=Jmin(W)−2PTW+WTRW−WoptTP=Jmin(W)+(W−Wopt)TR(W−Wopt)=Jmin(W)+VjTΛVj\begin{aligned} J(W_j)&=J_{min}(W)-2P^TW+W^TRW-W_{opt}^TP \\ &=J_{min}(W)+(W-W_{opt})^TR(W-W_{opt}) \\ &=J_{min}(W)+V_j^T\Lambda V_j \end{aligned} J(Wj)=Jmin(W)−2PTW+WTRW−WoptTP=Jmin(W)+(W−Wopt)TR(W−Wopt)=Jmin(W)+VjTΛVj

J(W)J(W)J(W) 对 WWW 微分
∇J=−2P+2RW=−2RWopt+2RW=2RW~\begin{aligned} \nabla J&=-2P+2RW \\ &=-2RW_{opt}+2RW\\ &=2R\widetilde{W} \end{aligned} ∇J=−2P+2RW=−2RWopt+2RW=2RW
WWW 的递推公式
Wj+1=Wj−μ∇JWj+1−Wopt=Wj−Wopt−μ∇JW~j+1=W~j−2μRW~jQ−1W~j+1=Q−1Q[I−2μΛ]Q−1W~jVj+1=[I−2μΛ]VjVj=[I−2μΛ]jV0W_{j+1}=W_j-\mu \nabla J \\ W_{j+1}-W_{opt}=W_j-W_{opt}-\mu \nabla J \\ \widetilde{W}_{j+1}=\widetilde{W}_{j}-2\mu R\widetilde{W}_{j} \\ Q^{-1}\widetilde{W}_{j+1}=Q^{-1}Q[I-2\mu\Lambda]Q^{-1}\widetilde{W}_{j}\\ V_{j+1}=[I-2\mu\Lambda]V_{j} \\ V_{j}=[I-2\mu\Lambda]^jV_{0} Wj+1=Wj−μ∇JWj+1−Wopt=Wj−Wopt−μ∇JWj+1=Wj−2μRWjQ−1Wj+1=Q−1Q[I−2μΛ]Q−1WjVj+1=[I−2μΛ]VjVj=[I−2μΛ]jV0
所以
J(Wj)=Jmin(W)+V0TΛ[I−2μΛ]2jV0J(W_j)=J_{min}(W)+V_0^T\Lambda[I-2\mu\Lambda]^{2j}V_0 J(Wj)=Jmin(W)+V0TΛ[I−2μΛ]2jV0
每一次迭代，等式右边第二项衰减 [I−2μΛ]2j[I-2\mu\Lambda]^{2j}[I−2μΛ]2j 倍，当 j→∞j\rightarrow\inftyj→∞ ，J(W)=Jmin(W)J(W)=J_{min}(W)J(W)=Jmin(W) 。

4.4 第四章自适应滤波笔记相关推荐

控制系统仿真与CAD-薛定宇-第四章matlab学习笔记
控制系统仿真与CAD-薛定宇-第四章matlab学习笔记 04-02传递函数模型 tfdata() 传递函数属性法 04-07典型系统连接计算 pretty 用法 04-08方框图简化 04-09代数 ...
工程导论第四章创造力读书笔记
阅读工程导论第四章笔记工程师是一个需要创造力的职业,创造力对于工程师来说是不可或缺的一种能力. 而工程的实现不仅需要个人的创造力,还要群体的创造力,个人的创造力来自于个人的专业素养和生活经历,而 ...
系统集成项目管理工程师（软考中级）—— 第十四章项目成本管理笔记分享
前言现在分享一些笔记给大家,希望能够帮助大家并顺利通过软考. 幕布地址:第十四章项目成本管理 - 幕布概述成本概念过程 1.制定成本管理计划口一制定了项目成本结构.估算.预算和控制的标准 2 ...
第四章：小朱笔记hadoop之源码分析-conf分析
第三章:小朱笔记hadoop之conf分析一.Configurable void setConf(Configuration conf); //获取配置信息的方法: Configur ...
第四章网络安全学习笔记（超详细）
---------------------------网络安全---------------------------- 万字长文,小编自己手打,如有勘误,敬请谅解! 网安笔记 ------------ ...
第四章存货详细笔记
文章目录存货概述存货购进的核算(仅以材料采购业务为例) 生产成本的核算存货发出的核算(以材料发出.库存商品发出为例) 存货概述一.存货的概念及其确认 (一)存货的概念企业在日常经营过程中持有 ...
计算机网络第四章-网络层复习笔记
各类地址的范围第一位(类别位)是0 ,A类: 前二位(类别位)是10,B类: 前三位(类别位)是110,C类. 4.2.3 IP地址与硬件地址它们的区别在IP层看数据报的传输时,路由器的转发只看 ...
DAMA-第四章（数据架构）
一.前言本文是<DAMA数据管理知识体系指南>第四章的读书笔记,对数据管理中的数据架构构建进行讲解阐述.按照CDMP考试认证的内容占比为6%,虽然占比不高,但是却是较为关键的内容,对大家 ...
C++ Primer Plus习题及答案-第十四章
习题选自:C++ Primer Plus(第六版) 内容仅供参考,如有错误,欢迎指正 ! 第十四章- 代码重用笔记复习题 1. 以A栏的类为基类时,B栏的类采用公有派生还是私有派生更合适 A B c ...

第四章自适应滤波笔记