OTB

Online Object Tracking Benckmark，其中主要使用两类评价指标，一类是平均像素误差Average Pixel Error（APE），二类是平均重叠率Average Overlap Rate（AOR）

ARE average pixel error

平均像素误差是根据预测目标中心位置和真实位置的像素距离作为误差值，该值越大说明误差越大。最后结果是对视频序列所有帧取平均值。

AOR average overlap rate

下面这张图应该可以说明问题，平均重叠率O是以面积来衡量的
O=At∩AgtAt∪AgtO=\frac{A_t\cap A_{gt}}{A_t\cup A_{gt}} O=At∪AgtAt∩Agt

时间鲁棒性

OTB对时间鲁棒性的测试是通过将视频序列在时间轴上平均找出20个点作为起点，终点还是原来的最后一帧，这样通过对20段视频序列运行算法，绘制平均的重叠率图或者像素误差图，这样就完成了空间鲁棒性的测试

空间鲁棒性

空间鲁棒性和时间鲁棒性一样，取一段视频的第一帧，以真实位置稍作偏移，就是说测试初始化位置有偏差的目标序列，这样测试12段（8个方向，四个尺度），这样就可以得到12和视频序列的评价成功率曲线，也就是空间鲁棒性曲线

VOT

Accuracy

Accuracy用来评价tracker跟踪目标的准确度，数值越大，准确度越高。它借用了IoU（Intersection-over-Union，交并比）定义，某序列第t帧的accuracy定义为：
ϕt=At∩AgtAt∪Agt\phi_t=\frac{A_t\cap A_{gt}}{A_t\cup A_{gt}} ϕt=At∪AgtAt∩Agt
其中AgtA_{gt}Agt代表第 t 帧ground truth对应的bounding box,AtA_tAt代表第 t 帧tracker预测的bounding box。
更详细一些，定义ϕt(i,k)\phi_t(i,k)ϕt(i,k)为第i个tracker在第k次重复（repetition，tracker会在一个序列上重复跑多次）中在第 t帧上的accuracy。设重复次数为NrepN_{rep}Nrep ，所以第t帧上的accuracy定义为：
ϕt(i)=1Nrep∑i=1Nrepϕt(i,k)\phi_t(i)=\frac {1}{N_{rep}}\sum^{N_{rep}}_{i=1}\phi_t(i,k) ϕt(i)=Nrep1i=1∑Nrepϕt(i,k)
第i个tracker的average accuracy定义为：
ρA(i)=1Nvalid∑t=1Nvalidϕt(i)\rho_A(i)=\frac{1}{N_{valid}}\sum^{N_{valid}}_{t=1}\phi_t(i) ρA(i)=Nvalid1t=1∑Nvalidϕt(i)

其中NvalidN_{valid}Nvalid代表有效帧（valid frames）的数量，除了burn-in period之外的帧均为有效帧

Robustness

Robustness用来评价tracker跟踪目标的稳定性，数值越大，稳定性越差。仿照上面accuracy的定义，我们可以很容易得出robustness的计算公式。定义F(i,k)F(i,k)F(i,k)为第i个tracker在第k次重复中failure的次数。失败次数即某帧预测的bb与gt的交集为0则判定失败，然后VOT tool会在5帧之后重新初始化跟踪器。
所以第i个tracker的average robustness定义为：
ρr(i)=1Nrep∑k=1NrepF(i,k)\rho_r(i)=\frac{1}{N_{rep}}\sum^{N_{rep}}_{k=1}F(i,k) ρr(i)=Nrep1k=1∑NrepF(i,k)

EFO

EFO（Equivalent Filter Operations ）是VOT2014提出来的一个衡量tracking速度的新单位，在利用vot-toolkit评价tracker之前，先会测量在一个600600的灰度图像上用3030最大值滤波器进行滤波的时间，以此得出一个基准单位，再以这个基础单位衡量tracker的速度，以此减少硬件平台和编程语言等外在因素对tracker速度的影响。

EAO

参考链接VOT中的EAO是如何计算的

VOT与OTB评价指标相关推荐

OTB Benchmark 学习（下载链接、评价指标、配置）
最近刚刚开始学习目标跟踪方法,在看程序和论文的时候发现评价指标和跟踪算法比较图的时候,思考这些是从哪里来的,查到了一下有关评价方法:OTB Benchmark .VOT toolkit.pysot 和 ...
VOT, OTB——目标追踪的发展概况
先说两个目标追踪的评价标准: VOT 和 OTB . 其中,OTB 的论文见下面链接: Online object tracking: A benchmark Object tracking benc ...
python目标跟踪精度曲线图_目标跟踪配置（三）-评价指标-benchmark（更新中，关注请收藏。。。）...
目标跟踪基础与智能前沿关注上方公众号,回复下方安装过程中对应关键字,获得对应安装包. 本文持续更新中- 连载可关注知乎专栏"目标跟踪基础与前沿" 文章目录 [ 目标跟踪基础与智能 ...
OTB 数据集的跟踪结果
pysot 系列同一博主有关matlab和python版本的OTB500 OTB100学习 OTB属性与简称 IV Illumination Variation SV Scale Variation ...
2018目标跟踪算法综述
转自 https://www.zhihu.com/question/26493945 作者:YaqiLYU 著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 相信很多来这里的人和 ...
计算机视觉中，目前有哪些经典的目标跟踪算法
首先来一个跟踪算法的大杂烩: VOT2016 Trackers repository 以下是转载内容 ------------------------------------------------- ...
深度长文：计算机视觉中，目前有哪些经典的目标跟踪算法？
第一部分:目标跟踪速览先跟几个SOTA的tracker混个脸熟,大概了解一下目标跟踪这个方向都有些什么.一切要从2013年的那个数据库说起..如果你问别人近几年有什么比较niubility的跟踪算法 ...
计算机视觉中，目标跟踪算法的综述
作者:YaqiLYU 链接:https://www.zhihu.com/question/26493945/answer/156025576 来源:知乎著作权归作者所有.商业转载请联系作者获得授权, ...
目标跟踪VOT2016 BenchMark评价标准介绍
本文转载自Deep Studio,供自己学习使用,谢谢大神的分享! Deep Studio 目标跟踪VOT2016 BenchMark评价标准介绍 by PengChao 现在比较流行的跟踪Benck ...

VOT与OTB评价指标