深入理解MOT评价指标

之前一直对其多目标跟踪的评价指标一知半解，今天记录一下其具体的算法细节，不当之处请大家一定要指正！

MOTA ( Multiple Object Tracking Accuracy)

MOTA可以算是MOT中最重要的一个指标，其计算公式都耳熟能详了，如下：

其中GTtGT_{t}GTt表示第t帧中Ground truth的个数，FTtFT_{t}FTt表示第t帧中漏检的个数，FPtFP_{t}FPt表示第t帧中虚检的个数，IDSWtIDSW_{t}IDSWt表示第t帧中轨迹的id号发生转变的个数。

下面对这四个指标一一进行分析：

GTtGT_{t}GTt：很简单，对应label中第t帧有几个instance，那么该值就是标注的instance的个数。总数只需要把每一帧的个数求和即可；

FNtFN_{t}FNt：漏检表示假如GT在第t帧本应该有5个instance，但是在你得到的检测结果中只有四个能与之匹配（例如匹配可以等价于IOU>0.5），这个时候就存在一个GT的box漏检，此时FN为1。总数把每一帧的FN求和即可；

FPtFP_{t}FPt：虚检表示检测出来的bbox不在GT里面的情况，例如我某一帧检测到了6个框，但GT只有5个instance，且6个框中只能与GT匹配4个，这种情况下显然有两个框不在GT中，因此FP等于2，相应地FN=1；

IDSWtIDSW_{t}IDSWt：我们通过tracking可以得到若干条轨迹，假设GT中只有一条轨迹，那么这条轨迹可能在不同的时间对应不同的得到的tracking的轨迹。例如前一半时间GT轨迹对应的位置离轨迹1近，此时id号就属于1；而随着时间的推移，轨迹1与GT的位置不断偏离，而轨迹二与GT越来越近，在某个时刻GT就与轨迹2相对应了，此时就发生了id switch。

如果抽象的话可以结合下图来看，就很清晰了：

以a图为例：1时刻检测的框与GT对应的框太远（IOU过大），导致GT漏检，且检测框虚检；2时刻检测框离GT近了一些，此时检测框和GT box的IOU大于阈值，该检测框为TP；3时刻出现了两个检测框（红&蓝），此时红框为TP，蓝框过远为FP（此时虚检的蓝色框又开启了一条轨迹）；4时刻红色检测框离GT很远，但蓝色的很近，因此红色轨迹的检测框为FP，而蓝色的为TP，注意此时该GT轨迹的id从红色切换到了蓝色，即发生了id switch。最后两帧红色轨迹消失（检测框不存在了），蓝色始终为TP。因此整个过程GT=6，FN=1（第1帧），FP=4（蓝色和红色的空心点），idsw=1（第4帧）。

因此MOTA的值越大越好，最大为100（一般采用百分数），最小的话因为FP和ids的关系，可能为负数。

理解了MOTA以后，其他的评价指标就显得更容易了。

MOTP (Multiple Object Tracking Precision)

MOTP的计算公式相对容易，如下所示：

MOTP衡量的是检测结果的精度，即检测框与给他分配的GT之间的平均度量距离。ctc_{t}ct表示第t帧成功与GT匹配的检测框数目（匹配过程可能也是用IOU大于某阈值？），而dt,id_{t,i}dt,i表示匹配对之间的距离度量（IOU或者欧式距离等度量）。如果度量是IOU的话，那么MOTP越大越好；如果为欧式距离，那么MOTP越小越好。

MT (Mostly Tracked)

对于所有的GT里面的轨迹来说，满足高于80%时间都能成功匹配的轨迹占比。这里不关心中途id是否发生改变，只要能有检测框和他匹配上即可。还是以下图为例：

图（a）GT轨迹只有一条，该轨迹在6个时间点只有第一个没匹配上，因此83.3%的时间是有匹配的，此时MT为100%；图（b）显然MT为0%；图（c）有两条GT轨迹，上面那条5/6时间有匹配，下面那条只有1/3时间有匹配，此时大于80%的只有一条，MT为50%；图（d）应该也为100%（时间占比5/6？不太确定）。

因此MT越大越好，MT越大就表明GT中被成功匹配时间占比很长的轨迹越多，跟踪效果越好。

ML (Mostly Lost)

对于所有的GT里面的轨迹来说，满足小于20%时间都能成功匹配的轨迹占比。这个指标与MT相反，因此越小表明跟踪效果越好。

ID Switch

MOTA指标中详细讲过，即一个GT轨迹在不同的时间段，可能会和你预测出来的不同的轨迹匹配，每一次匹配轨迹的改变就是一次id switch。id switch越大表明预测出来的轨迹与GT的偏离就越多（偏离多了才会被其他轨迹接管，出现id switch）。因此该指标越小越好。