自适应信号处理理论数学角度综述

3.1.1 适应滤波基础知识

3.1.1.1自适应算法的三个基本要素

3.1.1.1.1 最小化算法

通过自适应参数集迭代使得目标函数最小化的方法

步长或者修正项旨在使目标函数最小化。

2.1.

2.1.1.

2.1.1.1.

3.1.1.1.1.1 牛顿方法

寻找目标函数二阶近似的最小值。牛顿方法要求在任意点存在一阶和二阶导数，并且其函数值也存在。

3.1.1.1.1.2 准牛顿方法

通过递推计算来估计黑塞矩阵的逆矩阵，使得目标函数最小化。通常采用矩阵引理计算黑塞矩阵的逆、用估计值代替梯度向量。

3.1.1.1.1.3 最陡下降方法

这一方法沿着与目标函数梯度方向相反的方向，搜索目标函数极小值点。

三个方法区别

	特点
牛顿方法	利用梯度和相关矩阵的真实值
准牛顿方法	利用梯度和相关矩阵的估计值
最陡下降方法	只利用梯度的真实值，不利用相关矩阵

3.1.1.1.2 目标函数形式

通过目标函数的变化能反应出我们距离理论最优化的差距，是输入信号，参考信号和输出信号的函数，目标函数的定义会对梯度向量和黑塞矩阵的计算复杂度产生影响。最广泛采用的目标函数形式为：

l 均方误差MSE：

l 最小二乘LS（平稳环境）：

l 加权最小二乘WLS（慢变化环境）：

l 瞬时平方值ISW（容易实现）：

从严格意义上讲，均方误差MSE知识理论值，因为它要求对信号进行无穷次测量。

3.1.1.1.3 误差信号

确定这些要素的基本原则：

	原则
最小化算法	尽量选择具有较快收敛速度和较低计算复杂度的算法，二者不可得兼
目标函数	根据应用环境的稳定、非稳定、对计算复杂度和收敛特性要求，选取不同的目标函数
误差信号	根据计算复杂度、收敛特性、鲁棒性要求以及是否对IIR滤波器的偏解和多解产生影响

3.1.1.2 收敛因子μ

收敛因子控制着整个自适应过程的稳定性、收敛速度以及残留误差的某些特征。

自适应滤波器的收敛速度在很大程度上取决于步长因子．当步长参数较大时，滤波器收敛到稳态需要迭代次数较少，但滤波效果比步长较小时差，而且均方误差的稳态值随着步长的变大而增大；但是当步长参数较小时，收敛速度则会降低，因此只有选择合适的步长参数，才能使该滤波器的性能稳定。

收敛因子选择范围：

或

其中为输入信号自相关矩阵R的最大特征值，为输入功率之和。

3.1.1.3 应用

3.1.1.3.1 系统辨识

期望信号是未知系统受某个宽带信号激励时产生的输出，在大多数情况下，输入是白噪声信号。该宽带信号同时也作为自适应滤波器的输入。当输出MSE最小时，自适应滤波器代表了未知系统的模型。如果没有测量噪声和信道噪声，则MSE为零。

实际应用中，测量噪声是无法避免的，如果它与输入信号无关，则自适应滤波器系数的期望值将与未知系统冲激响应的样值已知。显然输出误差将为测量噪声，可以发现，测量噪声在估计未知系统参数时引入了方差。

应用：多径通信信道的建模，控制系统，地震探测，以及通信过程中的回音消除。

3.1.1.3.2 信道均衡

将受信号和环境失真影响的厨师发射信号作为自适应滤波器的输入信号，而期望信号是原始信号的时延形式。通常情况下输入信号的时延在接收端是可以得到的，其形式是采用标准的训练信号。当MSE达到最小时，表明自适应滤波器代表了信道的逆模型。

下式中，W和H分别为自适应滤波器和未知系统的传输函数

可以发现，如果H是IIR传输函数，其分子和分母是非平凡多项式，则W也将为一个IIR传输函数；如果H为全极点模型，则W为FIR传递函数；如果H为全零点模型，则W是全极点传输函数。

3.1.1.3.3 信号增强

信号x(k)受到噪声n1的污染，而与噪声相关的信号n2是可以得到（测量）的，如果将n2作为自适应滤波器的输入，而受到噪声污染的信号作为期望信号，当滤波器收敛以后，其输出误差就是信号的增强。

误差信号：

MSE：

应用：礼堂中语音回拨消除，听力辅助，心电图中的电源线干扰的消除。

3.1.1.3.4 信号预测

期望信号是自适应滤波器输入信号的前向或后向形式，当滤波器收敛以后，则自适应滤波器就代表了输入信号的模型，可以作为输入信号的预测模型。使MSE最小化就可以得到一个N抽头系数的FIR滤波器。

滤波器输出即为预测信号，

误差e为

N是小于等于k的正整数。

应用：语音线性预测编码，自适应线谱增强，抑制宽带信号中的窄带信号。

3.1.1.4 维纳滤波器

以自适应FIR滤波器（横向滤波器）为例，展示求解过程

目标函数：

滤波器输出：

目标函数可重写为

其中为期望信号与输入信号之间的互相关向量，为输入信号的相关矩阵。目标函数是抽头权值系数的二次函数，如果p和R已知则可以直接解出w，R即为之前提到的黑塞矩阵。

将对求导，可得与滤波器抽头系数相关的MSE函数的梯度向量：

通过使梯度向量为0，并假设R是非奇异矩阵，则可通过下式计算出使目标函数最小的最有抽头加权系数，即维纳解：

注：复数情况下，转置T为Hermitian转置，即共轭转置。

3.1.2 最小均方算法（LMS）

3.1.2.1 LMS基础知识

LMS是一种搜索算法，它通过对目标函数进行适当修改，以便简化梯度向量的计算，是自适应滤波理论中应用最广泛的算法。

主要特性：计算复杂度低，平稳环境中易收敛，能够无偏收敛到维纳解，利用有限精度实现算法的稳定特性。

LMS与最佳滤波器（维纳滤波器）的区别在于，通常LMS利用R和p的瞬时估计值和来估计梯度向量，即：

得到梯度的估计值为

从平均意义上讲，LMS梯度方向具有接近理想梯度方向的趋势，因为上式的期望即为，因此可说是的无偏瞬时估计。在遍历性环境中，可用大量输入和参考信号数据计算，则平均方向趋近于。

得到的梯度算法就是最小均方算法LMS，其更新方程为：

3.1.2.2 基于LMS准则的算法

许多自适应滤波算法是根据上一节的传统LMS导出的，这些算法目标在于降低计算复杂度或者缩短收敛时间。比如：

3.1.2.2.1 量化误差算法

利用短字长或者一个简单的2的幂，降低LMS算法的计算复杂度。

上式中Q代表量化运算，量化函数是一个取离散值，有界，非下降的函数。

3.1.2.2.2 变换域LMS算法

在变换域（频率域）算法中，对输入信号进行变换，其目的在于使变换后的信号相关矩阵的特征值扩展小于输入信号相关矩阵的特征值扩展。通过采用一个正交（酉）变换，使输入信号向量x变换为一个更加合适的向量s，对变换后更好的信号应用LMS算法可以得到更快的收敛速度。

变换域的输入信号自相关矩阵：

变换域的输入信号和期望信号互相关矩阵：

因此最优系数向量为：

3.1.2.2.3 归一化LMS算法

归一化LMS算法提高了LMS算法的收敛速度而不利用输入信号相关矩阵的估计值，利用一个可变收敛因子使瞬时误差最小化，该收敛因子通常会使得收敛时间缩短但也增加了失调量。通过令瞬时平方误差的变化量对可变步长μk的二阶导为0，推导出系数的更新方程：

其中，是为了避免当很小时出现很大的步长。

3.1.2.2.4 LMS-牛顿算法（LMSN）

牛顿算法中，需要对环境信号的二阶统计量进行估计，避免了当输入信号相关性强时收敛速度慢的问题，其收敛速度的提升是通过增加计算复杂度实现的。

这里提一下LMSNewton和RLS的区别，从直观上看我们可以发现这二者很像，都是用矩阵引理求相关矩阵的逆的估计。所以LMSN既可以被看作是使用输入信号的自相关矩阵和梯度向量的带噪估计值的LMS也可以被看作是当

时的确定性最小二乘（LS）算法。

实际中，任何具有高阶参数模型的连续函数都可以在某个给定点k，用截尾Taylor级数表示如下：

可知，当时，即满足下式时，MSE在（k+1）时刻达到最小

由于我们只能得到矩阵R和梯度向量的估计值，可以将这些估计值用于牛顿更新公式中，并为了避免采用有噪估计值而导致算法发散，引入了收敛因子μ，即得到如下类似牛顿方法：

对于平稳输入信号而言，R的无偏估计为：

但这并不是R的实际估计值，因为当k很大时，由于估计算法的无限记忆性，输入信号统计量的任何变化都将被忽略。通过下面的加权求和方法，可以得到自相关矩阵的另一种估计形式：

α是一个很小的因子，通常在范围内取值，因为这个取值范围可以在当前和过去输入信号信息之间较好地进行平衡。上面第二个等号后的求和号前的α是为了保证R的估计值无偏。

所以LMS-牛顿算法的系数更新方程如下：

3.1.2.2.5 仿射投影（affined projection）算法

输入信号相关时，可以重复利用过去的数据信号，以便提高自适应滤波算法的收敛速度，即数据重用。重用算法付出的代价是增加了算法的失调量（误差积累），也是通过引入收敛因子来使最终失调量和收敛速度之间取得平衡。

数据重用表现为将最后L+1个输入信号向量写成如下矩阵形式：

由此得到的k次迭代后的部分重用结果：

仿射投影算法的目标是，在

的条件下，使系数误差

最小化。其思想是使得下一个系数向量和当前系数向量尽可能保持接近（最小距离原理），同时迫使后验误差等于0。利用拉格朗日乘子法将约束最优化问题转化成无约束最优化问题，则最小化的无约束函数为：

其中是（L+1）维拉格朗日乘子列向量。

将对求梯度，并令其为0，将结果带入约束条件求出拉格朗日乘子向量，并引入收敛因子对收敛速度和最终失调量进行折中，得到AP算法更新方程：

其中是为了避免矩阵求逆过程中的数值问题。

3.1.3 递归最小二乘算法（RLS）

3.1.3.1 RLS基础知识

最小二乘算法旨在使期望信号与模型滤波器输出之差的平方和达到最小。当每次迭代中接收到输入信号的新采样值时，可以采用递归形式求解最小二乘问题，得到RLS算法。在RLS算法中，即使输入信号相关矩阵的特征值扩展比较大，也能实现快速收敛，在时变环境中具有极好的性能。（代价是增加计算复杂度和存在稳定性问题）。RLS将输入信号视为确定性的，而LMS及基于LMS的算法则将输入信号视为随机信号。

在LMS及基于LMS的算法中，我们利用的是先验误差；而在RLS算法中，采用表示后验误差，而e表示先验误差。

对于最小二乘算法，我们期待最小化的目标函数是确定性的，并且由下式给出：

可以看到，每一个误差是由期望信号和采用最新系数得到的滤波器输出之差所组成的。在上式对求微分并令结果为零

可以得到最优系数向量的表示式：

其中称为输入信号确定性相关矩阵，称为输入信号和期望信号之间的确定性互相关向量。其中，可由矩阵求逆引理来计算。

为了递归求解LS，我们把权值向量的更新写成前后两次的权值向量和两次之间的修正量的形式：

再将互相关向量和自相关矩阵写成递归形式

由Woodbury矩阵等式：

可以得到输入信号自相关矩阵的递归形式

定义相关矩阵的逆矩阵为：

其中为增益向量

可以通过下面的变换和建立联系

至此可以写出完整的RLS递归套路：

其中，

是先验误差。

假设矩阵X(k)和d(k)分别包含输入信号向量x和期望信号向量d的所有信息，其定义如下：

通过如上矩阵，可将最小二乘解替换，得如下正则方程：

该式意味着加权误差向量

是的零空间，即加权误差向量与所有行向量正交。

当k趋于无穷大时，如果信号时遍历性随机过程，则最小二乘解趋近于维纳解。

3.1.3.2 自适应格型最小二乘滤波器LRLS（Lattice Recursive Least Squares filter）

格型结构可以采用模块化实现，并且需要的算术运算量很低，人们将格型递归最小二乘（LRLS）作为RLS问题的快速实现算法。

LRLS是通过同时求解前向和后向线性预测问题导出的，格型方法能同时给出从1~N之间所用中间级预测解和总自适应滤波器（联合过程估计）的解。因此自适应滤波器的阶数可以增加或减少而不对低阶解产生影响。因此LRLS不仅需要时间递归方程，也需要阶数更新方程。

前向预测情况下，输入信号向量将采样值作为最新数据

后向预测情况下，指标i定义了希望预测的过去采样值，并且输入信号向量将作为最新数据

格型滤波器的一些参数：

前向反射系数

后向反射系数

瞬时后验前向预测误差

瞬时后验后向预测误差

后向预测最小化目标函数

前向预测最小化目标函数

先验误差和后验误差的转换因子