运动目标检测——研究方向与难点

运动目标检测算法的研究

1 帧间差分法

帧间差分法是用来检测固定摄像头下的运动物体。该方法利用图像序列中相邻帧的像素值之间的相关性，先将图像序列中相邻两帧进行相减，然后对得到差值图像进行阈值判断，进而提取动态前景。设I_t(i, j)代表t时刻的图像，B_t(i, j)为t时刻的背景图像，T为分割阈值，那么

该算法优点是计算简单，适用于简单场景以及光线变化的场景，但是该算法过于简单导致检测结果精度不高，在连续两帧的图像中，运动物体容易造成内部空洞现象，同时还会出现伪目标点，导致检测出的目标要比实际目标大一圈。

2 背景减除法

背景减除是先在不同的应用场景中建立背景，然后检测出场景中的运动目标的方法，也被叫做背景建模。获取背景模型的最简单方法是直接捕获一副不包含任何移动物体的“干净”的背景图像。然而，在实际环境中，这样“干净”的背景是很难被捕捉到的。实际情况中，摄像机捕捉到的每一帧视频往往都是在变化的，如：变化的光照、运动目标被引入背景或从背景中删除等。考虑到鲁棒性和适应性的问题，研究者们提出了许多不同的背景建模方法。下图展示了背景减除的基本步骤：

图2-4 背景减除流程

Fig.2-4 The The process of background subtraction

其中，N表示用来进行背景初始化的帧数，B(t)和I(t)分别表示t时刻的背景图像和当然图像。

一般而言，背景减除都包含了以下步骤：

（1）背景初始化

背景初始化是指从视频开始的前N帧图像中“训练”出不包含任何运动目标的背景图像的过程。与背景更新不同的是，背景初始化仅仅完成从视频第一帧到第N帧的背景建立工作。通常，使用一些相对“干净”的视频帧（不包含运动前景）来“训练”出高质量的背景。然而，实际环境中，视频帧往往包含了很多干扰的运动前景。

（2）背景更新

随着时间的推移，往往会发生光照变化、运动的物体停在背景中，而这些变化都会使背景发生变化。所以，背景更新是至关重要的。不同的算法都有着不同的背景更新方法，但这一步骤通常涉及到以下几个问题：

I、更新机制

目前，有全更新、选择更新，以及模糊自适更新三种背景更新方法。全更新是指更新所有的像素，如下式所示：

其中，α是学习率，B_t和I_t分别表示背景帧和当前视频帧。这种方法的主要缺点是，前帧的前景将会被更新到背景模型中，这就导致了背景模型更新的不准确。为了解决此问题，一些学者就提出了自适应更新，即针对当前帧的背景和前景区域，采用不同的更新机制，如下所示：

通常，希望背景像素更多的参与到背景模型中，而前景像素采用较慢的更新机制，所以设置 α 值较大，β 值较小。特别的，当 β=0的时候，就是去除掉前景元素，只对背景元素进行更新。这样就在一定程度上能够加快背景更新的速率，然而，这种更新机制也存在一定的问题。当前景和背景的提取发生错误时，就可能更新为一个错误的背景模型。模糊自适应更新机制由于考虑到前景和背景提取的不确定性，所以能够较好的解决这一问题，但是缺点是计算量较大。

II、学习率

学习率决定了背景模型变化的快慢，可以是固定的数字，或者动态的数字。

III、更新频率

传统的背景更新是对每一帧都进行背景更新，但背景往往并没有任何显著的变化，所以，有些学者提出了有选择性地进行背景更新的方法。

（3）目标检测。

目标检测就是利用背景模型，将当前帧的像素标注为背景或前景的过程。对于不同的算法，其采用的检测方法也各有不同。

此外，所有背景减除法都涉及特征尺寸选择和特征类型选择的问题。特征尺寸的选择有三种情况：像素、块和集群；而特征类型的选择通常也有三种情况：颜色特征、纹理特征和帧特征等。常用的颜色特征是像素点的灰度值或RGB值，它们是场景中视觉信息的最直观反映，但是两者都极易受到光照变化的影响，所以，在光线变化的环境中，基于灰度值和RGB值的运动目标检测方法都会产生大量的误检。针对颜色特征的不足，研究人员又提出了纹理特征以及帧特征等，并应用到背景减除法上，有效克服了光线变化场景中的问题。显然，选择不同的特征尺寸和特征类型，那么，在特殊情况下（如：光照变化，动态背景等）背景和前景的提取的方式也就不同。

背景减除法优点是：检测的准确性比较高，实时性较好，并且鲁棒性也较好；但是在实际复杂多变的环境中，很难找到理想的背景模型极其更新机制。所以，在近十几年里，众多学者研究出很多背景减除算法。在本文的第三章，将详细介绍各种背景减除算法，并通过实验进行比较分析。

3 光流法

在非固定摄像头下的视频中，背景也是动态改变的，这种情况下对运动目标的检测就不能采用以上两种方法，而是采用光流法。由于光流包含了目标运动的信息，所以，光流场近似于运动场。通常，视频序列中背景的光流是一致，与运动目标的光流不同，因此，根据光流的不同就可以提取运动目标和背景区域。

如果在t时刻图像点(x,y)的亮度值为I(x,y,t)，而光流w=(u,v)在x与y轴的分量u和v的表达式如下式（2-4）所示，那么，经dt时间后图像点运动到(x+dx, y+dy)，当dt趋向于0时，I值是不变，可得到式（2-5）。

为了定解光流(u, v)，必须给式（2-6）附加其他约束方程。由于从不同角度引入了不同约束条件，所以，光流的计算方法也是多种多样的，有微分法、区域匹配法等。其中最经典的两种算法为HS（Horn-Schunck）算法与LK（Lucas-Kanade）算法。

光流法的优点是：针对运动的摄像头下的视频，也可以对运动目标与背景的进行提取。但是，在实际应用中，当复杂性与多变性的外界环境不满足光流场的约束条件时，就不能正确的求解出光流场；此外，光流法的算法复杂度高，用于运动检测实时性差。

4 面临的问题与难点

目前，虽然有大量的运动目标检测算法，但由于实际环境的复杂多变，所以这些算法并不都是十分的健壮。本文参考了Toyama等人的文献[28]，将实际环境中的特殊情况^[41-44]归纳总结为以下几个方面：

（1）模型初始化问题：在背景初始化训练时期，由于还没有获得高质量的背景模型，故常常导致运动目标的误检；

（2）伪装现象：一些运动目标可能与背景极其相似，从而导致运动目标无法正确地与背景区分开；

（3）光照变化：分为光线的突变和渐变。背景模型要能够适应白天室外环境中光线的逐渐变化；相应的，背景模型也能够适应突然打开灯光的室内环境。总之，光线的变化将强烈影响背景模型，极有可能导致错误的检测；

（4）前景空洞现象：当运动目标有大量颜色一致的区域时，这些区域的内在变化可能将导致检测不准确，使得前景的一些内部区域被错误判断为背景；

（5）动态背景：最常见的就是树叶的抖动，当然还有水面涟漪、小目标抖动；

（6）突然停滞的运动目标：有些运动物体进入场景后，停在了场景中。显然，这种情况下的运动目标应该被识别为背景；

（7）阴影：能够检测出运动目标的阴影以及背景区域原有的阴影；

（8）噪声干扰：这种情况基本上属于由网络摄像头传输或压缩后的视频图像而引起的数据质量不高；

（9）相机抖动：在一些条件下，风会引起摄像机的抖动；

（10）相机自调节：目前，很多摄像头都具有自动控制的功能，如光照控制、白平衡以及放大缩小等功能。

以上分析了很多种特殊情况，其中，最主要的影响是动态背景和光照变化。