近期在学习目标跟踪算法的过程中发现，CMT算法的代码实测效果非常不错。对比之前学习过的SCM之类基于稀疏表示的跟踪算法，CMT的鲁棒性虽然不一定比之更高，但稀疏表示的方法普遍耗时很严重，导致其无法应用于实际工程项目，而CMT却能兼顾实时性和鲁棒性。

查阅资料发现，CMT对应的论文曾经拿下了2014年wacv会议的最佳论文奖。作者后来进一步完善了该算法，并在CVPR2015上发表了相关的论文，由此看来，CMT算法确实值得研究研究。值得称赞的是，作者已经将完整的算法源码公布在了论文主页上http://www.gnebehay.com/cmt/，其中包含了C++和Python的全部代码。由于不懂Python，这几天仔细读了一下C++源码，不得不说，作者的代码风格非常规范，注释也写得非常详细，读起来酣畅淋漓。另外，在此网站的主页上还有作者本人的简介，其实他就是openTLD代码的作者，由此可见其编程功底之深厚。

顺便提一下，之前从网站上下载的C++源码，可能编译会通不过，出现M_PI未声明和int S[2*N-1]中N不是常量之类的错误，现在作者已经修改了GitHub上源码中的这些小错误，大家下载最新版的源码就行。另外，作者在代码工程中加入了非常友好的命令行参数解析代码，至于如何使用webcam或者video或者sequence进行测试，源码文件夹里有详细的说明，在此不再赘述。

结合论文，理解CMT的源码还是不太困难的，作者在代码中做了一些工程上的处理，主要体现在关键点的两次匹配和融合，看起来简单但却很有效。下面我用Visio画出了整个算法的流程图，以便更加清晰地理解CMT算法的核心思想和具体实现方法。

void CMT::processFrame(Mat im_gray)函数的处理流程

源码总结

整个CMT算法的全部函数都在CMT类中实现，其包括4大组件，分别封装成4个类：Tracker、Matcher、Consensus、Fusion。另外，CMT类中还包括FAST detector和BRISK descriptor。

Tracker – 使用金字塔LK光流法

tracker.track(im_prev, im_gray, points_active, points_tracked, status);

已知第t-1帧中的有效关键点points_active，通过计算前向光流（第t-1帧到第t帧）和后向光流（第t帧到第t-1帧），再比较两次得到的对应关键点之间的距离，距离大于阈值的关键点对排除掉，剩下的关键点即作为跟踪到的关键点。

Matcher – 采用“BruteForce-Hamming”类型的特征描述匹配器

Matcher初始化

matcher.initialize(points_normalized, descs_fg, classes_fg, descs_bg, center);

将第一帧中所有前景和背景关键点的特征描述构造成一个特征描述库database。注意，这里把背景关键点的特征描述desc_bg存储在前，后面在构造database_potential时，存储前景关键点索引indices_potential时需要再加上背景关键点的总个数num_bg_points。

关键点全局匹配

matcher.matchGlobal(keypoints, descriptors, points_matched_global, classes_matched_global);

将当前帧中检测器得到的所有关键点的特征描述与database进行knnMatch匹配（k=2），每个特征描述子在database寻找最佳的2个匹配结果，将符合以下条件之一的匹配关键点排除：

匹配到了背景关键点；
最佳匹配的匹配距离大于阈值0.25；
最佳匹配与次佳匹配的匹配距离之比大于阈值0.8（比率越小，最佳匹配越优于次佳匹配）

关键点局部匹配

matcher.matchLocal(keypoints, descriptors, center, scale, rotation,points_matched_local,classes_matched_local);

比较当前帧中检测得到的每一个关键点与第一帧中经过旋转和尺度变换之后的所有前景关键点之间的欧氏距离，小于阈值20则该前景关键点是有可能匹配上的，将这些可能的前景关键点构造成一个特征描述库database_potential；
将当前帧中检测得到的每一个关键点的特征描述与database_potential进行knnMatch匹配，每个特征描述子在database_potential寻找最佳的2个匹配结果，排除不稳定的关键点的策略与matchGlobal类似。

Consensus – 目标关键点的一致性约束条件

Consensus初始化

consensus.initialize(points_normalized);

计算并保存第一帧中所有归一化前景关键点points_normalized与x轴的夹角（反正切）angles_pairwise以及关键点两两之间的距离distances_pairwise。

评估当前的旋转角度和尺度因子

consensus.estimateScaleRotation(points_fused, classes_fused, scale, rotation);

计算matchGlobal匹配后融合得到的关键点的夹角以及关键点两两之间的距离，并与对应的points_normalized关键点的夹角求差、距离求商，再分别取平均值，评估出当前帧中目标的尺度因子scale和旋转角度rotation。

获取目标位置和inliers关键点

consensus.findConsensus(points_fused, classes_fused, scale, rotation, center,points_inlier, classes_inlier);

计算matchGlobal匹配后融合得到的关键点的投票，即每一个关键点与对应的经过尺度和旋转变换后的points_normalized关键点之间构成的向量；
计算两两投票（1中的向量）之间的距离，按距离的大小进行升序排列；
聚类并得到结果中最大的类；（当两个类之间的距离小于阈值，合并这两个类）
将此类中的所有关键点作为points_inlier；
将所有points_inlier关键点的坐标均值作为目标中心点center。

Fusion – 将两种关键点不重复地融合

关键点初步融合

fusion.preferFirst(points_tracked, classes_tracked, points_matched_global, classes_matched_global,points_fused, classes_fused);

将光流跟踪到的关键点与matchGlobal匹配到的关键点融合，得到的关键点用于评估目标的旋转角度和尺度，以及投票寻找目标中心位置。

关键点二次融合

fusion.preferFirst(points_matched_local, classes_matched_local, points_inlier, classes_inlier,points_active, classes_active);

将matchLocal匹配到的关键点与inliers关键点融合，得到最终有效的目标关键点points_active，这些关键点用于下一帧的跟踪。

下面两个基本是一样的，下载以后可以在linux下，cmake编译成功，codeblocks能成功运行，效果不理想，一动就丢失目标。

trax.cpp是不需要的，

https://github.com/gnebehay/CppMT

http://download.csdn.net/download/wwzh2003/9274339

https://github.com/ArminPCM/OpenCMToolTracking

ios版：

https://github.com/songrotek/Tracking-on-iOS

android版：

https://github.com/cbui005/AndroidCMT_Tracking

CMT跟踪算法学习笔记相关推荐

LADCF目标跟踪算法学习笔记（Learning Adaptive Discriminative Correlation Filters via Temporal Consistency prese）
LADCF论文链接:https://www.researchgate.net/publication/326696472 摘要: 在最近的跟踪基准及比赛中,判别式相关滤波类跟踪器性能优异,然而现有的D ...
LMS与RLS算法学习笔记
LMS与RLS算法学习笔记一. 研究目的 1.1最陡下降法理论 1.2$LMS$算法 1.3$RLS$算法 1.4研究目标二.代码解析三.结果实现代码点击这里下载一. 研究目的 1.1最陡 ...
大顶堆删除最大值_算法学习笔记(47): 二叉堆
堆(Heap)是一类数据结构,它们拥有树状结构,且能够保证父节点比子节点大(或小).当根节点保存堆中最大值时,称为大根堆:反之,则称为小根堆. 二叉堆(Binary Heap)是最简单.常用的堆,是一 ...
Manacher算法学习笔记 | LeetCode#5
Manacher算法学习笔记 DECLARATION 引用来源:https://www.cnblogs.com/grandyang/p/4475985.html CONTENT 用途:寻找一个字符串的 ...
数据结构与算法学习笔记之从0编号的数组
数据结构与算法学习笔记之从0编号的数组前言数组看似简单,但掌握精髓的却没有多少:他既是编程语言中的数据类型,又是最基础的数据结构: 一个小问题: 为什么数据要从0开始编号,而不是从1开始呢? ...
输出dag的所有拓扑排序序列_算法学习笔记(53): 拓扑排序
拓扑排序是对DAG(有向无环图)上的节点进行排序,使得对于每一条有向边 , 都在之前出现.简单地说,是在不破坏节点先后顺序的前提下,把DAG拉成一条链.如果以游戏中的科技树(虽然名字带树,其实常常 ...
算法学习笔记：对指定金额计算最少钞票数
算法学习笔记:对指定金额计算最少钞票数一.引出问题财务人员给员工发工资时经常遇到这样一个问题,即根据每个人的工资额(以元作为单位)计算出各种面值的钞票的张数,且要求总张数最少.例如,某职工工资为3 ...
matlab中x从0到5不含0,关于MATLAB的数学建模算法学习笔记
关于MATLAB的数学建模算法学习笔记目录线性规划中应用: (3) 非线性规划: (3) 指派问题;投资问题:(0-1问题) (3) 1)应用fmincon命令语句 (3) 2)应用指令函数:bi ...
机器学习篇01：在线学习的支持向量机算法学习笔记
在线学习的支持向量机算法学习笔记 oisvm算法实现说明 oisvm算法实现说明 % 本程序是用于实现基于在线学习的调制信号识别的程序 % % % 第一步:调制信号的生成 % 首先是7个信号:2ASK ...

CMT跟踪算法学习笔记