使用vot-toolkit-python测试VOT2020

在pytracking代码下使用vot-toolkit-python测试自己tracker的表现
tracker：STARK
数据集：vot2020、vot2020lt

1、环境准备

创建tracker虚拟环境

conda create -n stark python=3.8
conda activate stark

安装vot-toolkit

pip install git+https://github.com/votchallenge/vot-toolkit-python

安装好之后检查各项目的路径
tracker_path：/home/UserDirectory/hongshengz/Stark-main
[tracker项目的路径]
vot_path: /home/UserDirectory/hongshengz/anaconda3/envs/stark/lib/python3.8/site-packages/vot
[vot在envs中的路径]
workspace: /home/UserDirectory/hongshengz/Stark-main/external/vot20/stark_st101
[用于存放vot的相关配置项以及测试的结果和logs文件，基本流程是从workspece中连接到tracker_path中定义一个tracker,然后在通过vot-trax将tracker连接到vot_path对数据集处理，然后返回结果]

进入workspace、安装vot-trax

cd /home/UserDirectory/hongshengz/Stark-main/external/vot20/stark_st101
pip install vot-trax>=3.0.2

2、初始化workspace

vot initialize <stack-name> --workspace <workspace-path> --nodownload
# stack-name:数据集名称vot2013-2022,
# --nodownload:不下载数据集
#例如
vot initialize vot2020 --workspace . --nodownload

初始化成功之后会在workspace下生成两个配置文件：config.yaml和trackers.ini，还有logs文件和result文件
修改trackers.ini，将当前workspace链接到自己的tracker下

[stark_st101]  # <tracker-name>
label = stark_st101
protocol = traxpython
command = stark_st101
# Specify a path to trax python wrapper if it is not visible (separate by ; if using multiple paths)
#一般情况下只需修改paths即可
#paths = <PATH_OF_tracker>/lib/test/vot20
paths = /home/UserDirectory/hongshengz/Stark-main/lib/test/vot20 #自己的tracker_path

3、执行evaluate

vot evaluate --workspace <workspace-path> <tracker-name>
#例如
vot evaluate --workspace . stark_st101

此时就开始有各种错误了：一般情况下如果是vot-toolkit错误会直接打印出错误，如果是本地tracker的错误则会被写入logs文件中
1、vot-toolkit数据集自动下载并且一直卡住如下图，正常情况下只要在 initialize的时候设置了
–nodownload参数就不应该会自动下载数据集，但是我这好像没什么用，没办法只能更改vot源码：
/home/UserDirectory/hongshengz/anaconda3/envs/stark/lib/python3.8/site-packages/vot/workspace/init.py Line155-156直接注释

2、tracker错误:Evaluation interrupted by tracker error: (‘Experiment interrupted’, TrackerException(TraxException(‘Unable to connect to tracker’))) 如下图,这种情况一般是本地tracker中的导包等python环境变量问题导致tracker启动失败，可在logs中查看具体错误

解决办法：

-方法一

#将tracker_path加入到环境变量
export PYTHONPATH=/home/UserDirectory/hongshengz/Stark-main/:$PYTHONPATH

-方法二

#直接在报错的python文件中加入
import sys
sys.path.append('/home/UserDirectory/hongshengz/Stark-main')

3、数据集读取错误，这个和数据集的存放方式有关，源码它默认图片是存储于:VOT2020/color/agility/0000001.jpg,但是下载下来的文件里并没有color这一级,路径为
VOT2020/agility/0000001.jpg
修改vot源码：/home/UserDirectory/hongshengz/anaconda3/envs/stark/lib/python3.8/site-packages/vot/dataset/vot.py Line 58

4、执行analysis

vot analysis --workspace . stark_st101 --format html

最终会在analysis文件下生成一个report.html,相关的结果在里面