目标跟踪理论方法小结

一、引言：在需要监控的环境里，如何能够判断出进入特定区域的目标，并且能够跟踪目标的轨迹。分为两种情况：一是静态背景下的目标跟踪；二是动态背景下的目标跟踪。

二、静态背景下的目标跟踪方法
1、单目标：目标跟踪还可以分为单目标的跟踪和多目标的跟踪。单目标的静态背景下的目标跟踪指的是摄像头是固定在某一方位，其所观察的视野也是静止的。通常采用背景差分法，即先对背景进行建模，然后从视频流中读取图像（我们称之为前景图像），将前景图像与背景图像做差，就可以得到进入视野的目标物体。对于目标的描述，通常用目标连通区域的像素数目的多少来表达目标的大小，或者用目标区域的高宽比等。目标的位置信息可采用投影的方式来定位。
2、多目标：静态环境下的多目标跟踪，需要确定每个目标的特征，位置，运动方向，速度等信息。
3、预处理：由于获得的图像总会有着噪声，需要对图像做一些预处理，如高斯平滑，均值滤波，或者进行一些灰度拉伸等图像增强的操作。

三、动态背景下的目标跟踪
摄像头在云台控制下的旋转，会使得他所采集的图像时可在变化，所以，对于整个目标跟踪过程来说，背景是变化，目标也是在整个过程中运动的，所以跟踪起来较有难度。
目前课题组提出的方案是：跟踪过程：在摄像头不同偏角情况下取得若干背景图片，建立背景图片库――>摄像头保持固定时，取得当前帧图片，与图片库中的背景图像匹配，背景差分(灰度差分？)，获得目标――>目标特征提取――>实时获得当前帧图片，采用跟踪算法动态跟踪目标。
提取特征是一个难点，课题组提出多颜色空间分析的方法。根据彩色图像在不同的颜色空间里表征同一物体呈现出的同态性，可以把目标物体在不同的颜色空间里进行分解，并将这些关键特征信息进行融合，从而找出判别目标的本质特征。
跟踪过程中采用的各种方法说明：

1）在0－360度不同偏角时，获得背景图片，可进行混合高斯背景建模，建立图片库，以俯仰角和偏转角不同标志每张背景图片，以备匹配使用；

2）背景差分获得目标后，对差分图像需要进行平滑、去噪等处理，去除干扰因素；

3）对目标采用多颜色空间（HSV、YUV）特征提取，对不同颜色空间的特征相与（AND），得到目标特征，以更好的在当前帧图片中找到目标；

4）实时得到的当前帧图片，进行混合高斯建模，排除树叶摇动等引起的背景变化；

5）跟踪算法可采用多子块匹配方法、camshift方法等。

四、相关理论介绍
近几年来，一种名为CamShift的跟踪算法凭借其在实时性和鲁棒性方面良好的表现，正受到越来越多的关注。现阶段CamShift算法已经广泛应用到感知用户界面中的人脸跟踪中，以及一些半自动的运动目标跟踪。一方面，CamShift算法应该属于基于区域的方法，它利用区域内的颜色信息对目标进行跟踪；另一方面，CamShift算法却是一种非参数技巧,它是通过聚类的方式搜寻运动目标的。
简单的说，CamShift算法利用目标的颜色特征在视频图像中找到运动目标所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜索窗口，重复这个过程就可以实现对目标的连续跟踪。在每次搜寻前将搜索窗口的初始值设置为运动目标当前的位置和大小，由于搜索窗口就在运动目标可能出现的区域附近进行搜寻，这样就可以节省大量的搜寻时间，使CamShift算法具有了良好的实时性。同时，CamShift算法是通过颜色匹配找到运动目标，在目标运动的过程中，颜色信息变化不大，所以CamShift算法具有良好的鲁棒性。由于RGB颜色空间对光照亮度变化比较敏感，为了减少光照亮度变化对跟踪效果的影响，CamShift 算法将图像由RGB 颜色空间转化到HSV 颜色空间进行后续处理。
CamShift 的算法流程如图3.4 所示。首先选择初始搜索窗口，使窗口恰好包含整个跟踪目标，然后对窗口中每个像素的H上的值采样，从而得到目标的色彩直方图，将该直方图保存下来作为目标的色彩直方图模型。在跟踪过程中，对视频图像处理区域中的每一个像素，通过查询目标的色彩直方图模型，可以得到该像素为目标像素的概率，图像处理区域之外的其他区域作为概率为0的区域。经上述处理，视频图像转换为目标色彩概率分布图，也称为目标颜色投影图。为便于显示，将投影图转化为8位的灰度投影图，概率为1 的像素值设为255，概率为0的像素值为0，其他像素也转换为相应的灰度值。所以，灰度投影图中越亮的像素表明该像素为目标像素的可能性越大。
图中虚线标示的部分是CamShift算法的核心部分，主要目标是在视频图像中找到运动目标所在的位置,这一部分被称为Mean Shift算法。由于Mean Shift是CamShift的核心，所以正确理解MeanShift就成了理解CamShift算法的关键，下面就重点讨论Mean Shift算法。

2、混合高斯模型
背景中当树叶在摇动时，它会反复地覆盖某像素点然后又离开，此像素点的值会发生剧烈变化，为有效地提取感兴趣的运动目标，应该把摇动的树叶也看作背景。这时任何一个单峰分布都无法描述该像素点的背景，因为使用单峰分布就表示己经假定像素点的背景在除了少量噪声以外是静止的，单模态模型无法描述复杂的背景。在现有效果较好的背景模型中有些为像素点建立了多峰分布模型(如混合高斯模型)，有些对期望的背景图像进行预测，这些算法的成功之处在于定义了合适的像素级稳态(Stationarity )准则，满足此准则的像素值就认为是背景，在运动目标检测时予以忽略。对于特定的应用场景，要想对特定算法的弱点与优势进行评价，必须明确这种像素级稳态准则。
对于混乱的复杂背景，不能使用单高斯模型估计背景，考虑到背景像素值的分布是多峰的，可以根据单模态的思想方法，用多个单模态的集合来描述复杂场景中像素点值的变化，混合高斯模型正是用多个单高斯函数来描述多模态的场景背景。

混合高斯模型的基本思想是:对每一个像素点，定义K个状态来表示其所呈现的颜色，K值一般取3-5之间(取决于计算机内存及对算法的速度要求)，K值越大，处理波动能力越强，相应所需的处理时间也就越长。K个状态中每个状态用一个高斯函数表示，这些状态一部分表示背景的像素值其余部分则表示运动前景的像素值。

http://hi.baidu.com/new8sun/blog/item/6e1cfe5d45e3d04afaf2c078.html

计算机视觉目标检测跟踪标准测试视频下载

andrew31在ilovematlab论坛中分享的网址链接：

1. PETS2001的测试视频

http://www.filewatcher.com/b/ftp/ftp.cs.rdg.ac.uk/pub/PETS2001.0.0.html

可以得到5个DATASET，有训练和测试视频：

2. 阴影检测（Shadow Detection）测试视频及CVPR-ATON 阴影检测相关论文

http://cvrr.ucsd.edu/aton/shadow/

3. IBM人类视觉研究中心监视系统性能评价提供的视频

http://www.research.ibm.com/peoplevision/performanceevaluation.html

原文：http://blog.163.com/jw_67/blog/static/136199256201039104624436/

在视频中获取移动目标，这涉及到图像分割，背景消除和阴影去除，主要思想，是去除背景，获取前景。这里一般把近似不动的物体默认为背景，而运动的物体为前景。除了采用分类器训练以外，还有一些很常见的算法。这里我参考一些论文和朋友总结把这些算法归类，如果要相应论文的，可以联系我，希望对有用到的朋友一点帮助。

一，通过模板的图像分割：

1. 将边缘点聚类成线

2. Hough变换

3. RANSAC

二，背景消除：

1．基于像素方法

a 帧差法(frame differencing)

b 均值-阈值方法(mean-threshold method)

c 混合高斯模型(Gaussian mixture model)

d 非参数模型(non-parametric)

2．基于区域方法

a LBP纹理(LBP-texture)

b 共生矩阵(co-occurrence matrices)

c 协方差矩阵(covariance matrices)

d 直方图方法(accumulated histogram)

3．其他方法

向量分解法(eigenspace decomposition)

西安电子科技大学张瑞娟的一篇硕士论文“图像配准理论及算法研究”，我收获很大，所以我也总结一些对我有用的算法，将来便于查找应用。

我做的目标追踪这一块，虽然和图像配准不是一个方向，但是前期工作都是一样的，首先都需要物体检测，特征检测和匹配。这里我总结一些对我有用的，也希望对和我一样研究方向的人有帮助。这里图像配准可以换成物体匹配的。

1，图像配准要素结合：特征空间，搜索空间，搜索策略，近似性度量

2，图像配准方法：

2.1基于灰度信息的方法，

交叉相关（互相关）方法，相关系数度量，序贯相似检测算法，信息理论的交换信息相似性准则

2.2基于变换域的方法

相位相关法，Walsh Transform变换

2.3基于特征的方法

常用的图像特征有：特征点（包括角点、高曲率点等）、直线段、边缘（Robert、高斯-拉普拉斯LoG、Canny、Gabor滤波等边缘检测算子）或轮廓、闭合区域、特征结构以及统计特征如矩不变量等

注：像素灰度信息的互相关算法相比，特征提取包含了高层信号信息，所以该类算法对光照、噪声等的抗干扰能力强。

3，常用的空间变换模型

刚体变换（平移、旋转与缩放的组合）、仿射变换、透射变换、投影变换、非线性变换

4，常用的相似性测度

4.1距离测度

均方根误差，差绝对值和误差，兰氏距离，Mahalanobis距离，绝对差，Hausdorff距离等

4.2角度度量法（概率测度）。

4.3 相关度量法

5，配准算法的评价标准

配准时间、配准率、算法复杂度、算法的可移植性、算法的适用性、图像数据对算法的影响等（这里虽然不是目标追踪的评价标准，但是我们可以借鉴这些评价算法的标准）