一、维纳滤波器基本理论

1、自适应横向滤波器

wi∗w_i^*wi∗：滤波器权系数
w=[w0,w1,⋯,wM−1]w=[w_0,w_1,\cdots,w_{M-1}]w=[w0,w1,⋯,wM−1]：滤波器权向量
d(n)d(n)d(n)：期望响应
d^(n)=∑i=0M−1wi∗u(n−i)=wHu(n)=uT(n)w∗\hat{d}(n)=\sum_{i=0}^{M-1}w_i^*u(n-i)=w^Hu(n)=u^T(n)w^*d^(n)=∑i=0M−1wi∗u(n−i)=wHu(n)=uT(n)w∗：对期望响应的估计
e(n)=d(n)−d^(n)e(n)=d(n)-\hat{d}(n)e(n)=d(n)−d^(n)：估计误差

2、均方误差准则

e(n)=d(n)−d^(n)=d(n)−wHu(n)=d(n)−uT(n)w∗J(w)=E{∣e(n)∣2}=E{e(n)e∗(n)}=E{∣d(n)∣2}−E{d(n)uH(n)}w−wHE{u(n)d∗(n)}+wHE{u(n)uH(n)}w=σd2−pHw−wHp+wHRwe(n)=d(n)-\hat{d}(n)=d(n)-w^Hu(n)=d(n)-u^T(n)w^*\\J(w)=E\{|e(n)|^2\}=E\{e(n)e^*(n)\}\\=E\{|d(n)|^2\}-E\{d(n)u^H(n)\}w-w^HE\{u(n)d^*(n)\}+w^HE\{u(n)u^H(n)\}w\\=\sigma_d^2-p^Hw-w^Hp+w^HRwe(n)=d(n)−d^(n)=d(n)−wHu(n)=d(n)−uT(n)w∗J(w)=E{∣e(n)∣2}=E{e(n)e∗(n)}=E{∣d(n)∣2}−E{d(n)uH(n)}w−wHE{u(n)d∗(n)}+wHE{u(n)uH(n)}w=σd2−pHw−wHp+wHRw

\quadJ(w)J(w)J(w)是凸函数，且开口向上。

3、维纳-霍夫方程

\quad如何求得最优权向量呢？因为J(w)J(w)J(w)是凸函数，因此对J(w)J(w)J(w)求导为0的结果就是答案。ΔJ(w)=−2p+2Rw=0Rw0=p因为R非奇异，最优权向量w0=R−1p\Delta J(w)=-2p+2Rw=0\\Rw_0=p\\因为R非奇异，最优权向量w_0=R^{-1}pΔJ(w)=−2p+2Rw=0Rw0=p因为R非奇异，最优权向量w0=R−1p
\quad这就是最小均方误差准则——使误差的平均功率最小。

4、正交原理

Rw0=p→Rw0−p=0E{u(n)uH(n)}w0−E{u(n)d∗(n)}=0E{u(n)[uH(n)w0−d∗(n)]}=0E{u(n)eo∗(n)}=0→E{u(n−i)eo∗(n)}=0Rw_0=p \rightarrow Rw_0-p=0\\E\{u(n)u^H(n)\}w_0-E\{u(n)d^*(n)\}=0\\E\{u(n)[u^H(n)w_0-d^*(n)]\}=0\\E\{u(n)e^*_o(n)\}=0\rightarrow E\{u(n-i)e^*_o(n)\}=0Rw0=p→Rw0−p=0E{u(n)uH(n)}w0−E{u(n)d∗(n)}=0E{u(n)[uH(n)w0−d∗(n)]}=0E{u(n)eo∗(n)}=0→E{u(n−i)eo∗(n)}=0

估计误差e0(n)e_0(n)e0(n)与所有抽头的输入信号u(n−i)u(n-i)u(n−i)相互正交
E{d^0(n)eo∗(n)}=woHE{u(n)eo∗(n)}=0E\{\hat{d}_0(n)e^*_o(n)\}=w_o^HE\{u(n)e^*_o(n)\}=0E{d^0(n)eo∗(n)}=woHE{u(n)eo∗(n)}=0，所以d^0与e0(n)\hat{d}_0与e_0(n)d^0与e0(n)也相互正交

5、最小均方误差

当Rw0=p时Jmin=σd2−pHw0=σd2−w0HRw0=σd2−w0HE{u(n)uH(n)}w0=σd2−w0HE{[w0Hu(n)][w0Hu(n)]∗}当Rw_0=p时J_{min}=\sigma_d^2-p^Hw_0=\sigma_d^2-w_0^HRw_0\\=\sigma_d^2-w_0^HE\{u(n)u^H(n)\}w_0=\sigma_d^2-w_0^HE\{[w_0^Hu(n)][w_0^Hu(n)]^*\}当Rw0=p时Jmin=σd2−pHw0=σd2−w0HRw0=σd2−w0HE{u(n)uH(n)}w0=σd2−w0HE{[w0Hu(n)][w0Hu(n)]∗}
\quadJmin=σd2−E{∣d^(n)∣2}=σd2−σd^2J_{min}=\sigma_d^2-E\{|\hat{d}(n)|^2\}=\sigma_d^2-\sigma_{\hat{d}}^2Jmin=σd2−E{∣d^(n)∣2}=σd2−σd^2，最小均方误差就是期望响应的平均功率与最优滤波器输出的估计信号的平均功率之差。

二、维纳滤波求解——最陡下降法

\quad利用维纳霍夫方程求解需要计算矩阵RRR的逆，计算量大。沿着J(w)J(w)J(w)的负梯度方向调整www可以寻到最优权向量。w(n+1)=w(n)+Δw,Δw=−12μΔJ(w(n))ΔJ(w(n))=−2p+2Rww(n+1)=w(n)+μ[p−Rw(n)]w(n+1)=w(n)+\Delta w,\Delta w=-\frac{1}{2}\mu \Delta J(w(n))\\ \Delta J(w(n))=-2p+2Rw\\ w(n+1)=w(n)+\mu[p-Rw(n)]w(n+1)=w(n)+Δw,Δw=−21μΔJ(w(n))ΔJ(w(n))=−2p+2Rww(n+1)=w(n)+μ[p−Rw(n)]
\quad如果步长因子满足0<μ<2λmax,λmax为R的最大特征值0<\mu < \frac{2}{\lambda_{max}},\lambda_{max}为R的最大特征值0<μ<λmax2,λmax为R的最大特征值，那么最陡下降法会逐步逼近极小值。
\quad如果步长满足上述式子，则均方误差J(n)J(n)J(n)关于时间nnn是一个单调递减函数，且limn→∞J(n)=Jminlim_{n\rightarrow \infty} J(n)=J_{min}limn→∞J(n)=Jmin。

三、随机梯度算法LMS

\quad梯度下降算法缺点在于当P,RP,RP,R确定时，迭代过程和结果就确定了；与输入信号变换无关，不具有自适应性。
\quad在LMS中，用n时刻的瞬时估计值R^=u(n)uH(n),p^=u(n)d∗(n)\hat{R}=u(n)u^H(n),\hat{p}=u(n)d^*(n)R^=u(n)uH(n),p^=u(n)d∗(n)代替统计量R,pR,pR,p，则可得Δ^J(n)=−2p^+2R^w(n)=−2u(n)e∗(n)\hat{\Delta}J(n)=-2\hat{p}+2\hat{R}w(n)=-2u(n)e^*(n)Δ^J(n)=−2p^+2R^w(n)=−2u(n)e∗(n)

LMS算法

1.初始化n=0；权向量w^(0)=0；估计误差e(0)=d(0)−d^(0)=d(0)=0；输入向量u(0)=[u(0),u(−1),⋯,u(−M+1)]T=[u(0),0,⋯,0]Tn=0；权向量\hat{w}(0)=0；估计误差e(0)=d(0)-\hat{d}(0)=d(0)=0；输入向量u(0)=[u(0),u(-1),\cdots,u(-M+1)]^T=[u(0),0,\cdots,0]^Tn=0；权向量w^(0)=0；估计误差e(0)=d(0)−d^(0)=d(0)=0；输入向量u(0)=[u(0),u(−1),⋯,u(−M+1)]T=[u(0),0,⋯,0]T
2.对n=0,1,2,⋯n=0,1,2,\cdotsn=0,1,2,⋯，权向量更新w^(n+1)=w^(n)+μu(n)e∗(n)；期望信号估计d^(n+1)=w^H(n+1)u(n+1)；估计误差e(n+1)=d(n+1)−d^(n+1)权向量更新\hat{w}(n+1)=\hat{w}(n)+\mu u(n)e^*(n)；期望信号估计\hat{d}(n+1)=\hat{w}^H(n+1)u(n+1)；估计误差e(n+1)=d(n+1)-\hat{d}(n+1)权向量更新w^(n+1)=w^(n)+μu(n)e∗(n)；期望信号估计d^(n+1)=w^H(n+1)u(n+1)；估计误差e(n+1)=d(n+1)−d^(n+1)
3.令n=n+1，转到步骤2

\quadLMS算法的收敛条件与普通梯度下降相同，即0<μ<2λmax,λmax为R的最大特征值0<\mu < \frac{2}{\lambda_{max}},\lambda_{max}为R的最大特征值0<μ<λmax2,λmax为R的最大特征值。
\quadLMS算法的统计特性

均值E{J^(∞)}=Jmin(1+μ∑i=1Mλi2−μ∑i=1Mλi)E\{\hat{J}(\infty)\}=J_{min}(1+\frac{\mu \sum_{i=1}^M\lambda_i}{2-\mu \sum_{i=1}^M\lambda_i})E{J^(∞)}=Jmin(1+2−μ∑i=1Mλiμ∑i=1Mλi)，其中λi\lambda_iλi是自相关矩阵RRR的全部特征值
μ\muμ满足不等式0<μ<2∑i=1Mλi=2输入总功率0<\mu < \frac{2}{\sum_{i=1}^M\lambda_i}=\frac{2}{输入总功率}0<μ<∑i=1Mλi2=输入总功率2，r(0)r(0)r(0)即为输入信号u(n)u(n)u(n)的总功率
剩余均方误差Jex(∞)=E{J^(∞)}−JminJ_{ex}(\infty)=E\{\hat{J}(\infty)\}-J_{min}Jex(∞)=E{J^(∞)}−Jmin
失调参数M=Jex(∞)Jmin=μ∑i=1Mλi2−μ∑i=1MλiM=\frac{J_{ex}(\infty)}{J_{min}}=\frac{\mu \sum_{i=1}^M\lambda_i}{2-\mu \sum_{i=1}^M\lambda_i}M=JminJex(∞)=2−μ∑i=1Mλiμ∑i=1Mλi
平均时间常数表征LMS算法的平均收敛速度τav=12μλav\tau_{av}=\frac{1}{2\mu \lambda_{av}}τav=2μλav1，λav\lambda_{av}λav为自相关矩阵R的特征值的平均值。
收敛速度不仅与步长有关，还与相关矩阵的特征值有关。定义X(R)=λmaxλminX(R)=\frac{\lambda_{max}}{\lambda_{min}}X(R)=λminλmax，当X(R)X(R)X(R)非常大时，称R是病态的，其值越大，SD和LMS算法收敛速度越慢。

\quad如果μ\muμ增大，收敛速度增大，但稳态性能MMM变差。一般使用变步长，先大后小。

变步长LMS算法

\quad步长μ(n)\mu (n)μ(n)随着e(n)e(n)e(n)的变化而变换：μ(n+1)=αμ(n)+λ∣e(n)∣2\mu(n+1)=\alpha \mu(n)+\lambda|e(n)|^2μ(n+1)=αμ(n)+λ∣e(n)∣2

归一化LMS算法

\quad可以有效避免LMS算法噪声放大的问题：w^(n+1)=w^(n)+μ∣u(n)∣2u(n)e∗(n)\hat{w}(n+1)=\hat{w}(n)+\frac{\mu}{|u(n)|^2} u(n)e^*(n)w^(n+1)=w^(n)+∣u(n)∣2μu(n)e∗(n)

泄露LMS算法

\quad为了提升计算时的数值稳定性：w^(n+1)=(1−μα)w^(n)+μu(n)e∗(n),0<α<1/μ\hat{w}(n+1)=(1-\mu\alpha)\hat{w}(n)+\mu u(n)e^*(n),0<\alpha <1/\muw^(n+1)=(1−μα)w^(n)+μu(n)e∗(n),0<α<1/μ

四、多级维纳滤波

\quad对任意的非奇异变换矩阵T1∈CM∗MT_1\in C^{M*M}T1∈CM∗M作用于观测向量u0(n)u_0(n)u0(n)，有z1=T1u0(n)z_1=T_1u_0(n)z1=T1u0(n)。对观测数据u0(n)u_0(n)u0(n)进行可逆的满秩变换，不会改变维纳滤波器的估计输出和最小均方误差。

u1(n)=B1u0(n),d1(n)=h1Hu0(n)u_1(n)=B_1u_0(n),d_1(n)=h_1^Hu_0(n)u1(n)=B1u0(n),d1(n)=h1Hu0(n)
R1=E{u1(n)u1H(n)}=B1R0B1HR_1=E\{u_1(n)u_1^H(n)\}=B_1R_0B_1^HR1=E{u1(n)u1H(n)}=B1R0B1H
p1=E{u1(n)d1∗(n)}=B1R0h1p_1=E\{u_1(n)d^*_1(n)\}=B_1R_0h_1p1=E{u1(n)d1∗(n)}=B1R0h1
R1w2=p1(维纳霍夫方程)R_1w2=p_1(维纳霍夫方程)R1w2=p1(维纳霍夫方程)
σd12=E{∣d1(n)∣2}=h1HR0h1\sigma_{d1}^2=E\{|d_1(n)|^2\}=h_1^HR_0h_1σd12=E{∣d1(n)∣2}=h1HR0h1
δ1=h1Hp0=∣∣p0∣∣\delta_1=h_1^Hp_0=||p_0||δ1=h1Hp0=∣∣p0∣∣
w1=δ1σd12−p1HR1−1p1w_1=\frac{\delta_1}{\sigma_{d1}^2-p_1^HR_1^{-1}p_1}w1=σd12−p1HR1−1p1δ1
最小均方误差σd12−p1HR1−1p1\sigma_{d1}^2-p_1^HR_1^{-1}p_1σd12−p1HR1−1p1

基于输入信号统计特性的权值计算步骤

构造阻塞矩阵

\quad我们需要根据hm=[θ1,⋯,θM−m+1]h_m=[\theta_1,\cdots,\theta_{M-m+1}]hm=[θ1,⋯,θM−m+1]构造阻塞矩阵BmB_mBm，使得Bmhm=0B_mh_m=0Bmhm=0，下图是一种构造：

基于观测数据的权值递推算法

\quad基于观测数据统计特性的多级维纳滤波器权值递推中需要计算逆矩阵Rm−1R_m^{-1}Rm−1，这里给出无需计算逆矩阵的递推法。

现代数字信号处理——维纳滤波原理及自适应算法相关推荐

DSP:数字信号处理的原理及应用
什么是DSP?DSP一般有两种解释: 1.Digital Signal Processing,数字信号处理技术,简称DSP.是一门涉及许多学科而又广泛应用于许多领域的新兴学科.数字信号处理是围绕着数字 ...
随机数字信号处理实验报告二——自适应滤波MATLAB
完整的实验报告下载链接https://download.csdn.net/download/LIsaWinLee/14884404 一.实验原理自适应滤波器由参数可调的数字滤波器和自适应算法两部分组 ...
现代数字信号处理总结上
第2章离散时间平稳随机过程导语本博客全部参考于UESTC电工学院何子述老师讲义复习而得,如有转载请保留此句! 2.1 随机过程基本概念实随机过程:离散时间随机过程x (n)的每个样本函数都是实 ...
matlab pburg,现代数字信号处理——AR模型
1. AR模型概念观 AR模型是一种线性预测,即已知N个数据,可由模型推出第N点前面或后面的数据(设推出P点),所以其本质类似于插值,其目的都是为了增加有效数据,只是AR模型是由N点递推,而插值是由两 ...
国内外数字信号处理经典教材
经典数字信号处理图书的个人评述:外版书(一) 数字信号处理是电子与信息专业的骨干课程,其应用非常广泛.这方面的图书正可谓是浩如烟海,有的侧重理论推导,有的侧重工程应用,有的侧重软件实现,真可谓是百花齐 ...
数字信号处理与数字信号处理器
数字信号处理与数字信号处理器数字信号处理(Digital Signal Processing, DSP)与数字信号处理器(Digital Signal Processor,DSP)两者的缩写都是DS ...
经典数字信号处理图书的个人评述【转】
在一网站上得到如下的很好的内容,故存放在此,以方便以后查看... http://emuch.net/html/201206/4595181.html 经典数字信号处理图书的个人评述数 ...
VLSI数字信号处理系统——第一章数字信号处理系统导论
VLSI数字信号处理系统--第一章数字信号处理系统导论作者:夏风喃喃参考:VLSI数字信号处理系统:设计与实现 (美)Keshab K.Parhi/著文章目录 VLSI数字信号处理系统--第一章 ...
经典数字信号处理图书的个人评述
经典数字信号处理图书的个人评述数字信号处理是电子与信息专业的骨干课程,其应用非常广泛.这方面的图书正可谓是浩如烟海,有的侧重理论推导,有的侧重工程应用,有的侧重软件实现,真可谓是百花 ...
数字滤波算法在数字信号处理应用中使用微控制器
提示:数字滤波算法在数字信号处理应用中使用微控制器文章目录 1.介绍 1.1. 关键点 2. 数字FIR滤波器 2.1. 数字滤波器算法 2.1.1. IIR滤波器算法 2.1.2. FIR滤波器 ...

现代数字信号处理——维纳滤波原理及自适应算法