1.下载COCO2017 test-dev数据集

要下载图片test2017/和图片信息文件image_info_test-dev2017.json。

COCO官网：

COCO - Common Objects in Contexthttps://cocodataset.org点进去之后，选择Dataset菜单下的Download

下载链接：2017 Test images [41K/6GB]http://images.cocodataset.org/zips/test2017.zip2017 Testing Image info [1MB]http://images.cocodataset.org/annotations/image_info_test2017.zip

2.数据集目录结构

解压：image_info_test2017.zip会得到如下目录结构

annotations/

image_info_test2017.json

image_info_test-dev2017.json

在这里，我们使用image_info_test-dev2017.json

mmdetection中默认的COCO数据集目录结构（当然也可以自己更改配置文件中的数据集路径）：

data/coco/

train2017/

*.jpg（118287张图片）

val2017/

*.jpg（5000张图片）

test2017/

*.jpg（40670张图片）

annotations/

instances_train2017.json

instances_val2017.json

image_info_test-dev2017.json

推荐使用软链接方式，这样可以避免移动下载的数据集。举例如下：

下载的数据集在~/DATASET/coco

在mmdetection/中新建data/coco目录，然后 ln -s ~/DATASET/coco data/coco

3.修改mmdetection中的配置文件

configs/_base_/datasets/coco_detection.py

注意默认的coco数据目录：data_root = 'data/coco/'

将test中的标注和图像路径修改为红色框的内容。

4.测试COCO2017 test-dev并生成json格式的结果文件

我们运行faster rcnn r101跑出的权重存放在：faster_r101_coco/epoch_12.pth

运行：

python tools/test.py configs/faster_rcnn/faster_rcnn_r101_fpn_1x_coco.py faster_r101_coco/epoch_12.pth --format-only --options "jsonfile_prefix=./faster_r101_test-dev"
会得到一个faster_r101_test-dev.json文件，这个就是test2017的测试结果文件。

5.上传COCO服务器评测

选择菜单Evaluate下的Evaluate下的Detection

注意结果文件的命名规范

将faster_r101_test-dev.json更改为detections_test-dev2017_faster-r101_results.json

提交时候要提交压缩文件，压缩为zip文件，detections_test-dev2017_faster-r101_results.zip

在本页面，下滑找到

点击detection server后的链接:

https://competitions.codalab.org/competitions/5181https://competitions.codalab.org/competitions/20796

（注：没有登陆可能需要注册一个账号，注册账号Sign Up，登陆Sign in）

进入detection server后，点击Participate下的test-dev(segm)，然后选择detections_test-dev2017_faster-r101_results.zip上传文件即可。

提交后界面如下：

点击Refresh status更新提交状态。

Submitting --> Submitted --> Running --> Finished

Finished后，刷新页面会显示SCORE

COCO可视化工具

FiftyOne — FiftyOne 0.14.2 documentationhttps://voxel51.com/docs/fiftyone/

FiftyOne is an open-source tool facilitating visualization and access to COCO data resources and serves as an evaluation tool for model analysis on COCO.

CSDN写文章去图片水印

双击图片，在图片URL中去掉/watermark

COCO2017 test-dev评估相关推荐

在错误的数据上，刷到 SOTA 又有什么意义？
文 | Severus 编 | 小轶小编注:前段时间,小屋介绍了吴恩达老师近期发起的以数据为中心的 AI 竞赛(参见<吴恩达发起新型竞赛范式!模型固定,只调数据?!>).吴恩达老师认为: ...
linux 测试内存性能,Linux性能测试指标评估
Linux性能测试指标评估一.影响Linux服务器性能的因素 1. 操作系统级 · CPU · 内存 · 磁盘I/O带宽 · 网络I/O带宽 2. 程序应用级二.系统性能评估标准影响性能因素其 ...
DevOps笔记-05：IT行业中BA、SM、PO、PM、PD、Dev、Ops、QA都是什么角色
1.BA (1)定义 BA是Business Analys缩写,即业务需求分析师.在互联网公司里,BA的角色就是产品经(PM),只是BA要承接某个很具体的业务或者领域,比如银行也有自己的IT部门,银行 ...
AIX系统CPU性能评估-1
作者:Peak Wong出处:IT专家网2008-05-08 17:21 本文对cpu性能的命令作了详细介绍,并给出了对于系统cpu监控的建议. 1.vmstat 使用vmstat来进行性能评估,该命 ...
Linux服务器性能评估与优化--转
http://www.itlearner.com/article/4553 一.影响Linux服务器性能的因素 1. 操作系统级 Ø CPU Ø 内存 Ø 磁盘I/ ...
SAP IDES、DEV、QAS、PRD都是什么含义
1 SAP IDES.DEV.QAS.PRD都是什么含义? 2 SAP实施方法分几步? 答: 1SAP系统的IDES.DEV.QAS.PRD分别是其演示练习.开发.质量保证.生产系统.其中: IDES ...
在DropboxEdge网络上评估BBRv2
文 / Alexey Ivanov 译 / 元宝原文 https://blogs.dropbox.com/tech/2019/12/evaluating-bbrv2-on-the-dropbox-e ...
Linux服务器性能评估(转)
工作这么久了,主要就是服务器端的开发,由于业务性质,对于性能的考虑是每天不得不面对的问题,每次出方案,都是以预估总pv.单机支持最大并发.预计机器资源......等等一系列问题开始,所以程序运行中单个 ...
summit_Chrome Dev Summit 2018的亮点
summit by Chiamaka Ikeanyi 由池中千嘉(Chiamaka Ikeanyi) Chrome Dev Summit 2018的亮点 (Highlights from Chrome ...
实录 | 旷视研究院详解COCO2017人体姿态估计冠军论文（PPT+视频）
主讲人:王志成 | 旷视研究院研究员屈鑫整理编辑量子位出品 | 公众号 QbitAI 12月13日晚,量子位·吃瓜社联合Face++论文解读系列第二期开讲,本期中旷视(Megvii)研究院解读 ...

COCO2017 test-dev评估