基于 Mean-shift的稳健性可视跟踪研究

杨杰，彭宁嵩
(上海交通大学图象处理与模式识别研究所上海 200030)
摘要：可视跟踪就是利用图像处理、模式识别的方法发现视频序列中与指定目标图像最相似的部分，
在兼顾实时性的基础上提高跟踪算法的稳健性一直是可视跟踪研究中的前沿和热点。本文提出利用
目标历史模型和当前匹配位置处得到的观测模型对目标核函数直方图进行 Kalman滤波，从而对模型
进行及时更新。首次提出把滤波残差作为样本进行假设检验，将其结果作为模型是否需要更新的准
则。论证了 Mean-shift 框架下跟踪变尺度目标的充分条件，提出了“后向跟踪－形心配准”的核窗
宽自动选取算法。实验验证了所提方法的有效性。
关键词：可视跟踪； Mean-shift 理论；核函数直方图；视频图象处理

1．引言
可视跟踪(visual tracking)，即在视频序列中对感兴趣的目标进行有效的跟踪一直都是计算机视觉
领域中的一个典型问题。如何对目标模型进行高效的模式匹配以及如何有效地适应目标自身的运动
变化、排除场景干扰是一个优秀的跟踪系统必须解决的两个关键问题。这两个问题反映到跟踪算法
的性能上就是实时性和稳健性。从跟踪的效果来看，可视跟踪可以被分为基于分割的跟踪和基于视
窗的跟踪(Blob Tracking)两大类。前者也被称作视频对象分割。它要求跟踪目标图像的整个边界，这
在许多基于内容的视频编码、视频分析中有着重要的意义。由于要细致地分割出视频序列中的目标
边界，跟踪算法大多采用基于图像分割、光流等方法。这样一来，算法对系统资源的消耗是非常巨
大的难以满足实时性的要求。另外，图像分割算法必须借助先验知识才能得到优异的效果，因此应
用领域狭窄、对人的参与要求较高。本文主要研究基于视窗的可视跟踪。这一类算法不要求对目标
进行细致的分割，只要求通过矩形或者椭圆形跟踪窗体包围、锁定所要跟踪的目标图像。当前的可
视跟踪算法可以大致被分为两类：“基于目标建模、定位”的跟踪算法和基于“滤波、数据关联”
的跟踪算法。前者由下至上处理目标的外观变化。后者采用由上至下方法对运动目标进行跟踪、对
场景知识进行学习、对跟踪过程中的各种假设位置进行评估。
基于“目标建模、定位”的跟踪算法一般由三个部分组成：目标的建模、相似度度量、匹配算
法。在可视跟踪中为了高效率地在当前帧中寻找对应于目标图像的模式往往需要采用基于梯度的匹
配算法。这类方法的关键就是获得相似度函数在当前帧中的概率密度分布。一旦得到了此概率密度
分布，就可以根据其梯度的变化方向求得匹配搜索的最佳路径，从而提高匹配的效率，满足跟踪算
法对实时性的要求。仿照 Parzen 核密度估计的思想方法，我们可以根据样本估计概率密度的梯度。
基本思路是先用无参估计获取概率密度分布，然后对其进行微分以便得到梯度信息。利用 mean-shift
迭代，可以方便、快捷地得到密度函数梯度的变化方向，从而快速得使核函数中心收敛到梯度为零
的位置。Comaniciu 等人不但证明了 mean-shift 迭代的收敛性，而且发现了迭代轨迹光滑的特性。为
了根据样本数据自适应选择核函数窗宽，Comaniciu 又深入分析研究了正态分布条件下归一化的
mean-shift 矢量幅值与核函数窗宽的关系从而提出了基于样本数据驱动的窗宽选择算法。另外，他还
提出了可变窗宽的 mean-shift 算子（VBDF），并将其成功地应用到了来多模式数据融合的各种应用
中。Mean-shift 作为一种高效的模式匹配算法，由于不需要进行全局搜索，已经被成功的应用在了
对实时性要求较高的可视跟踪领域
Mean-shift目标跟踪算法[1; 2]在以下几个方面有着明显的优势：
（1) 该算法是一种对输入参数要求不高的跟踪算法。通常情况下目标一旦被确定(手动或者自动
本研究得到科技部国际合作重点项目（2004DFB02100）和上海市科委重点项目（03DZ14015）资助。
_________________________________________________________________________________________ http:\\www.paper.edu.cn方式)后核函数窗宽也就给定了。此后的整个跟踪过程均无需额外的参数输入。
（2) 由于采用核函数直方图对目标进行建模，因此跟踪算法对目标的边缘遮挡、一定程度的形变
等干扰因素不敏感，鲁棒性较强。
（3) 由于算法是基于建模、匹配策略的跟踪方法，因而对全局运动不敏感。
（4) 该算法明显的优势在于其快速的模式匹配，具有良好的实时性。
Mean-shift目标跟踪算法的不足之处在于：
（1) 缺乏必要的模型更新方法。当进行长时间跟踪时，目标常因存在外观变化导致模型不能很好刻
画当前的目标特征。另外，当目标存在严重遮挡等干扰时，会造成相似度度量的失败从而丢失目标。
（2) 核函数直方图会造成对灰度目标、弱纹理目标的特征刻画不丰富，因此算法在跟踪这类目标时
效果不理想，尤其在跟踪红外目标的时候几乎不能正常工作。
（3) 在整个跟踪过程中核函数的窗宽保持不变，即跟踪窗宽的大小保持不变。这样，当目标存在有
尺度变化的时候会导致尺度定位不准确甚至造成目标的丢失。
针对(1)中模型更新的不足，我们将在第 2 节给出一种稳健的模型更新算法。第 3 节中我们将对
于核函数窗宽的自动选取进行深入的研究，并在第 4 章给出解决方案。

2．Mean-shift 跟踪中目标模型的更新
在跟踪过程中对目标模型进行正确的更新是提高算法稳健性的关键所在。文献[3]提出了一种在
mean-shift框架下的核函数窗宽自适应机制，但只能处理目标的尺度变化。在基于模板匹配的跟踪方
法中，文献[4]提出了利用Kalman滤波的方法对模板中象素亮度进行滤波更新的方法。然而，这种方
法在进行滤波的时候有如下假设：目标模板中的每个象素被分配给一个滤波器且每个滤波器只负责
对指定象素的亮度进行滤波。显然由于滤波器数量恒定无法适应目标的尺度变化。我们提出了基于
核直方图Kalman 滤波的模型更新策略。同时，通过利用对历史滤波残差数据做假设检验给出了模型
更新的准则函数，有效地解决了过更新问题。在Kalman滤波的过程中，我们采用自适应参数估计的
方法使整个跟踪系统无需参数输入。实验表明该方法能够在目标受到遮挡、光照变化、目标外观以
及部分尺度变化等因素影响下对目标进行稳健、实时有效的跟踪。
对于每一帧图像，我们都可以利用mean-shift跟踪算法在收敛点处得到一个核函数直方图。我们
称其为“观测模型”。对于当前帧在mean-shift匹配时采用的目标模型我们称为“当前模型”。Kalman
滤波器在这两个模型中进行优化，输出一个滤波后的模型，我们称其为“候选模型”。在核函数直方
图中，既然每个分量是独立的，我们可以分别用独立的滤波器对每个分量进行滤波更新。因此无论
目标尺度如何进行变化，滤波器数量都是恒定的。与基于目标模板亮度滤波[4]比较，我们的方法对
目标的尺度变化不敏感。同时，恒定数量的滤波器也使得算法的时间复杂度恒定，不随目标尺度的
增大而增大。
用 Kalman 滤波公式进行滤波需要知道下列参数：初始状态方差 ,状态噪声方差和观测噪声
方差。我们利用滤波残差来整定这些参数。
0 qb
2 σv
文献[4]给出了Kalman滤波器在跟踪模板象素亮度时的状态更新方法。该方法采用比较滤波残差
与K帧间的平均滤波残差差值的方法判定是否要对状态进行更新。这种方法对阈值敏感，容易造成误
差太大以至于偏离对观测噪声是高斯噪声的假设。另一方面，为了确保避免某些象素点将一直成为
外点，采用计数的方法强制对可能是外点的象素亮度进行更新。这样很容易造成目标的过更新，导
致跟踪失败。我们将主要利用假设检验的方法给出目标模型更新的准则函数用以判定目标是否存在
被遮挡或者场景是否发生了剧烈的光照变化，从而确定是否采纳目标“候选模型”进行更新操作。
另外，Bhattacharyya系数也被用做模型更新的准则进行研究。
图1 是整个跟踪系统的框图。
________________________________________________________________________________________ 中国科技论文在线 http:\\www.paper.edu.cn当前模型
候选模型观测模型
mean-shift
跟踪算法
自适应Kalman 滤
波（模型更新）
更新准则为帧i+2服务的新
的模型
帧 i 帧 i+1
跟踪输出

图 1 系统框图

图 2 Coast guard序列跟踪效果。目标为小艇（左到右，上到下）
图 2 中，当目标（小艇）和大船擦肩而过时如果不及时对跟踪窗口中的图像进行更新将导致跟
踪失败（黑色方框）。如果采用我们的更新方法，则小艇能够被稳健跟踪（白色方框）。
当目标存在尺度变化的时候，虽然文献[3]的方法可以较好地解决问题。但该方法由于采用两次
mean-shift来寻找最佳尺度和位置，计算量较大。我们简化了尺度寻优的处理过程。首先，在得到观
测结果的基础上分别以对核函数窗宽进行缩放。然后重新做两次mean-shift迭代就可以
相对较好的得到最佳的尺度，避免了文献
± ∆h,h = 2
[3]中方法计算量大的弊病。对于两组序列（一段交通测试
序列：被跟踪的车辆在存在被其它车辆遮挡的情况下由远至近行进。另外一段交通测试序列：被跟
踪的车辆由近至远驶离镜头。），我们的跟踪算法均能较好地处理尺度变化带来的模型更新问题。
对于场景中的遮挡，为了减少误判导致模型被过更新，我们取显著性因子α = 0.10进行假设检
验。由分布表可知，样本数量取值大于 10 即可满足要求。我们取核函数直方图中非零分量中的 20
个点进行假设检验。在图 3 测试序列 tree 中选取阁楼为目标进行跟踪。期间目标会被树木完全遮挡。
图 3 中的实线方框是 t 检验的跟踪效果，虚线框则是不进行更新判断的跟踪结果。跟踪的失误是由
于没有及时对候选目标模型进行准则判断的结果。如在第 55 帧目标被树木全部遮挡。这时如果强行
利用候选目标模型进行模型更新则就会把此时的树木当作目标。
t

________________________________________________________________________________________ 中国科技论文在线 http:\\www.paper.edu.cn3. Mean-shift 框架下跟踪变尺度目标的充分条件

图 3 花园序列：帧10、52、56、66（左到右、上到下）
在mean-shift跟踪算法中，核函数窗宽的大小起着非常重要的作用。它不但决定了参与mean-shift
迭代的样本数量而且还反映了跟踪窗口的大小。通常，核函数窗宽由初始跟踪窗口的尺寸决定，而
且在整个跟踪过程中不再发生变化[1; 5]。然而，当目标存在明显尺度变化的时候，尤其是当目标尺寸
逐渐增大以至超出核窗宽范围的时候，固定不变的核窗宽常常会导致目标的丢失。Comaniciu在文献
[1]中对核函数窗宽h的大小的调整是采用对上一帧窗宽和当前窗宽加权处理的形式。该方法需要在当
前帧中用三个不同的大小的核进行 3 次独立的mean-shift跟踪计算，选择出较大Bhattacharyya系数所
对应的窗宽为最佳核窗宽。当目标逐渐缩小尺寸时，该方法可以得到较好的效果。但是当目标逐渐
增大尺寸时，核窗宽很难被扩大反而经常越变越小。CAMSHIFT方法[6]是利用不变矩对目标的尺度
进行估算。虽然该方法可以很好地跟踪具有尺度变化的人脸目标，但是矩特征的计算严重影响了
mean-shift跟踪算法的实时性。
我们先来讨论采用固定核窗宽的 mean-shift 跟踪算法在跟踪存在尺度变化目标时的不足。通过
反复实验，我们发现以下两个方面的缺陷。
（1）当目标不断增大尺寸并且大于核窗宽时不仅会导致尺度定位偏差，还导致空间定位偏差[2; 3]。
这种情况下如何兼顾尺度、空间定位的准确性是本文要解决的一个主要问题，即跟踪窗口的尺寸在
适应目标尺度增大的同时使其中心对准目标的形心。
（2）当目标不断缩小尺寸时，由于核窗宽固定，即跟踪窗口大小不变，最终必定会导致极大的尺度
定位误差。然而，虽然跟踪窗口在包含目标区域的同时逐渐混入了很多的背景区域，但是跟踪窗口
的中心始终指示着目标的形心。也就是说，空间定位误差很小。
我们在“固定核窗宽－可变目标尺度”的情况下对跟踪窗口在不同位置处的核函数直方图的相似
性，即Bhattacharyya系数进行了研究，发现并证明了在核窗宽固定的条件下，目标在其窗宽范围内
进行缩放、平移运动并不影响mean-shift目标跟踪算法的定位准确性。这也是mean-shift框架下跟踪变
尺度目标的充分条件[7]。
当目标不断增大尺寸且大于核窗宽时，mean-shift 跟踪算法会产生空间定位偏差。在得到这个偏
差位置后，我们可以逆向进行处理，即后向跟踪。这时视频逆序列就等效为目标在逐渐缩小尺寸。
这样，mean-shift 跟踪算法会准确锁定逆向帧中的相应的偏差点，这使得我们补偿这个偏差成为可能。

4．Mean-shift 跟踪中核窗宽的自动选取
基于在连续帧中刚性物体的运动满足仿射模型的假设，首先，利用后向跟踪的方法对目标形心
进行配准补偿空间定位偏差。在配准的基础上，相邻帧中跟踪窗口里面的特征点坐标被归一化到以
目标形心为原点的坐标中，然后再进行特征匹配。这样，与直接从两个未配准的跟踪窗口中匹配特
________________________________________________________________________________________ 中国科技论文在线 http:\\www.paper.edu.cn征点相比，我们的方法可以有效地减少误匹配从而为后面精确估计目标仿射模型中的伸缩幅值奠定
了良好的基础。最后，核窗宽依据仿射模型中的伸缩幅值进行更新。在我们核函数窗宽选择算法中
只考虑两种在实际中经常遇到的运动：平移和伸缩。
在刚性物体中，角点能很好地刻画目标的空间结构而且易于检测。因此我们采用两帧中匹配的
角点对作为样本来对仿射模型参数进行估算。我们这种局部匹配方法的时间复杂度是，实现
起来也非常容易。
O(Nn)
为了配准两帧中目标的形心，首先，我们生成一个新的核函数直方图用来表示被包含的这
部分图像，即部分当前目标。实际上，指示的是这个部分目标的形心。从帧到，这块图
像区域在缩小尺寸，这样我们就可以精确地在帧中用 mean-shift 跟踪算法找到它的形心
Ti+1
i+1 c i＋1 i
i +1 ′
i c 。这样，
在ci 和 ci
′
+1之间，存在另外一个偏差 +1 ′ = − ′ i i d c c 。假定相邻帧间的运动很小，我们就可以用d′
近似来补偿d 。图 4 是通过后向跟踪对目标形心进行配准的示意图。

在通过回归计算得到目标仿射模型后，就可以对当前核窗宽进行更新。更新后的核窗宽一方面用于
修正当前跟踪窗口的尺寸从而减小尺度定位偏差；另一方面，在下一帧跟踪中用来决定mean-shift迭
代过程中样本的数量。这样，系统就能很好地适应目标尺度的变化，克服了固定核窗宽的局限性。
尽管“后向跟踪－形心配准”的方法帮助我们减少了误匹配点对的数量，由于场景干扰等因素的存
在仍然需要我们在回归计算的时候考虑到没有清除的误匹配点对。这些干扰因素主要有：图像噪声、
场景遮挡以及我们的局部匹配算法的区域性限制等等。目前有很多方法可以被用来进行“鲁棒回归”
[8]。我们采用M估计对得到的角点对进行回归计算从而得到仿射变换的伸缩参数。
•
•
• •
•
i oi c = oi＋1
i＋1 c
i＋1 c′
d
oi
d′
从帧 i 到 i+1(正常跟踪顺序 ) 从帧 i＋ 1 到 i (后向跟踪 )
初始跟踪窗口后向跟踪时的跟踪窗口
未配准的跟踪窗口
配准后的跟踪窗口

图 4 “后向跟踪－形心配准”示意图。

图 5 Mean-shift跟踪效果比较（从左到右）
________________________________________________________________________________________ 中国科技论文在线 http:\\www.paper.edu.cn我们对于不断增大尺寸的车辆的视频序列进行了跟踪测试。图 5 是各种 mean-shift 跟踪效果比
较。第一行序列采用的是固定窗宽。随着目标尺寸的增加，跟踪窗口湮没于其中，不但造成了尺度
上的偏差，同时也没有对目标形心进行准确定位；第二行是采用正负 10％的增量估算核窗宽的方法，
不但空间定位效果不佳，而且跟踪窗口尺寸甚至还在变小；最后一行是我们提出的“后向跟踪－形
心配准的方法”，从中可以明显看出我们的方法同时具备了尺度、空间的定位准确性。

5．结论

可视跟踪是当今计算机视觉领域的研究重点。跟踪算法一方面要求具有良好的实时性能。另一
方面，跟踪算法必须能够适应目标自身的复杂运动以及场景变化，比如目标的尺度变化、目标外观
变化、场景的遮挡等等。经过几十年的研究，可视跟踪算法有了长足的进步。如何正确地对跟踪场
景进行分析，并在此基础上设计出稳健、可靠的模型更新算法从而适应目标的外观变化。其次，由
于 mean-shift 跟踪算法中固定不变的核函数窗宽严重影响了跟踪的准确性。如何有效地根据输入数
据估算最佳的核函数窗宽不仅仅是基于 mean-shift 理论的跟踪算法要解决的一个难题，同时也是
mean-shift 理论在应用当中的一个尚未开垦成熟的研究领域。我们针对 mean-shift 目标跟踪方法在模
型更新方面的不足，提出采用 Kalman 滤波理论对目标的“外观”进行滤波、更新的全新思路。在上
面提出的 Kalman 滤波的处理过程中，提出了利用滤波残差数据自适应调地整滤波方程中的各种参
数，同时也给出了滤波器各个参数的初始化方法。有效地避免了因场景遮挡、光照变化等因素给模
型更新算法带来的“过更新”问题。提出利用滤波残差作为样本进行假设检验，将其结果作为模型
是否需要更新的准则。在 mean-shift 框架下为解决目标的尺度变化问题提供了理论依据。指出传统
的核函数窗宽更新方法只适合尺度渐小的目标，在跟踪尺度渐大的目标时往往会陷入局部最小从而
丢失目标。同时，提出了基于“后向跟踪－形心配准”的核窗宽自动选取算法，有效地解决了对尺
度渐大目标的跟踪。

参考文献：
1. Comaniciu D., Ramesh V., Meer P., Kernel-based object tracking, IEEE Trans. PAMI, Vol.25(5),
pp.564-575.
2. Peng N.S., Yang J., Chen J.X., Kernel-bandwidth adaptation for tracking object changing in size. Int.
Conf. on Image Analysis and Recognition, 2004, LNCS Vol. 3212, pp. 581-588.】
3. Collins R.T., Mean shift blob tracking through scale space, IEEE Conf. on Computer Vision and
Pattern Recognition, 2003, Vol. 2, pp.234-240.
4. Nguyen H.T., Worring M., Van den Boomagaard R., Occlusion robust adaptive template tracking,
IEEE Int. Conf. on Computer Vision, 2001, Vol.1, pp.678-683.
5. Yilmaz A., Shafique M., Shah, Target tracking in airborne forward looking infrared imagery. Image
and Vision Computing, Vol.21(7), pp.623-635.
6. Bradski G.R., Computer vision face tracking for use in a perceptual user interface, IEEE Workshop on
Applications of Computer Vision, 1998, pp.214-219.
7. 彭宁嵩，Mean-shift 可视跟踪中的稳健性研究，上海交通大学博士学位论文，2005。
8. Hu W., Wang S., Lin R.S., Levinson S., Tracking of object with SVM regression, IEEE Conf. on
Computer Vision and Pattern Recognition, 2001, Vol. 2, pp. 240-245.
________________________________________________________________________________________ 中国科技论文在线 http:\\www.paper.edu.cn

基于 Mean-shift的稳健性可视跟踪研究相关推荐

基于小脑模型神经网络的轨迹跟踪研究（Matlab代码实现）
基于均值漂移的视频目标跟踪算法的研究
背景介绍计算机视觉作为一门多技术融合的学科,涉及模式识别和视频图像处理等众多领域.基于视频的目标检测与跟踪技术是计算机视觉领域中最主要的研究方向之一,它是智能监控.移动机器人视觉导航以及人机交互等应 ...
基于三维激光点云的目标识别与跟踪研究
基于三维激光点云的目标识别与跟踪研究人工智能技术与咨询来源:<汽车工程> ,作者徐国艳等［摘要］针对无人车环境感知中的障碍物检测问题,设计了一套基于车载激光雷达的目标识别与跟踪方法 ...
kcf 跟随_基于YOLO和KCF的目标跟踪算法研究
1. 引言随着AI技术的不断发展,其子领域计算机视觉技术也获得了突飞猛进的进步,计算机视觉即通过机器实现"人眼"对事物的测量和判别能力.目前,计算机视觉技术主要应用于智能视频监控 ...
自动跟随小车c语言,基于OpenCV的智能小车运动轨迹跟踪方法研究
摘要: 随着人工智能技术的快速发展,智能小车开发受到越来越多研究者的关注,也已经成为一个重要的研究方向,而解决智能小车在路径规划中行驶的运动故障重要手段是对其进行的视频监控,但是智能小车的视频监控只能 ...
基于深度学习的动物识别方法研究与实现
基于深度学习的动物识别方法研究与实现目录摘要 I ABSTRACT II 第一章绪论 1 1.1 研究的目的和意义 1 1.2国内外研究现状 1 1.2.1 目标检测国内外研究 ...
基于文本服务框架的拼音输入法研究与实现
摘要:目前的输入法大多采用输入法管理器-输入法编辑器(IMM-IME)进行开发,对于微软发布的新型输入法技术―文本服务框架(TSF)的研究一直比较滞后,该文论述了 TSF 的基本构成.主要接口.输入法 ...
基于深度学习的水声被动目标识别研究综述
源自:电子与信息学报作者:张奇笪良龙王超张延厚禚江浩摘要被动声呐通过接收目标自身发出的辐射噪声信号进行目标探测.水声目标识别通过分析水声信号来判别目标个体,是水声工程领域的重点研究方 ...
【老生谈算法】基于matlab的运动目标识别与跟踪系统设计与算法原理及程序源码——目标识别算法
基于matlab的运动目标识别与跟踪系统设计与算法原理大家好,今天给大家介绍基于matlab的运动目标的监测与跟踪系统设计与原理. 视频图像分析主要是对运动图像序列进行分析处理,它通常涉及到运动检测 ...
屠榜多目标跟踪！华科amp;港大提出ByteTrack：基于数据关联方法BYTE的跟踪器
作者丨孙培泽@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/421264325 编辑丨极市平台导读基于BYTE本文提出了一个跟踪方法ByteTrack,首次以30 ...

基于 Mean-shift的稳健性可视跟踪研究

基于 Mean-shift的稳健性可视跟踪研究相关推荐

最新文章

热门文章