MS COCO数据集标注格式解析

COCO是微软提供的一个图像识别的数据集。其中包括3个tasks，分别是object instances, object keypoints, 和image captions，存储格式为JSON。

基本的数据结构定义如下：

{
"info" : info, "images" : [image], "annotations" : [annotation], "licenses" : [license],
}info{
"year" : int, "version" : str, "description" : str, "contributor" : str, "url" : str, "date_created" : datetime,
}image{
"id" : int, "width" : int, "height" : int, "file_name" : str, "license" : int, "flickr_url" : str, "coco_url" : str, "date_captured" : datetime,
}license{
"id" : int, "name" : str, "url" : str,
}

其中images和licenses是包含多个实例的数组。

三个tasks的格式相近，这里以一段object keypoints的实例代码为例进行解析。

{
"info" : info, "images" : [image], "annotations" : [annotation], "licenses" : [license],
}
"info":{"description":"This is stable 1.0 version of the 2014 MS COCO dataset.","url":"http:\/\/mscoco.org","version":"1.0","year":2014,"contributor":"Microsoft COCO group","date_created":"2015-01-27 09:11:52.357475"
},
"image":{"license":3,"file_name":"COCO_val2014_000000391895.jpg","coco_url":"http:\/\/mscoco.org\/images\/391895","height":360,"width":640,"date_captured":"2013-11-14 11:18:45","flickr_url":"http:\/\/farm9.staticflickr.com\/8186\/8119368305_4e622c8349_z.jpg","id":391895
},
"licenses":{"url":"http:\/\/creativecommons.org\/licenses\/by-nc-sa\/2.0\/","id":1,"name":"Attribution-NonCommercial-ShareAlike License"
},
"annotations":{"segmentation": [[125.12,539.69,140.94,522.43...]],"num_keypoints": 10,"area": 47803.27955,"iscrowd": 0,"keypoints": [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,142,309,1,177,320,2,191,398...],"image_id": 425226,"bbox": [73.35,206.02,300.58,372.5],"category_id": 1,"id": 183126
},
"category":{"supercategory": "person","id": 1,"name": "person","keypoints": ["nose","left_eye","right_eye","left_ear","right_ear","left_shoulder","right_shoulder","left_elbow","right_elbow","left_wrist","right_wrist","left_hip","right_hip","left_knee","right_knee","left_ankle","right_ankle"],"skeleton": [[16,14],[14,12],[17,15],[15,13],[12,13],[6,12],[7,13],[6,7],[6,8],[7,9],[8,10],[9,11],[2,3],[1,2],[1,3],[2,4],[3,5],[4,6],[5,7]]
}

先看annotation字段。segmentation格式取决于这个实例是一个单个的对象（即iscrowd=0，将使用polygons格式）还是一组对象（即iscrowd=1，将使用RLE格式）。单个的对象（iscrowd=0)可能需要多个polygon来表示，比如这个对象在图像中被挡住了。而iscrowd=1时（将标注一组对象，比如一群人）的segmentation使用的就是RLE格式。而只要是iscrowd=0那么segmentation就是polygon格式；只要iscrowd=1那么segmentation就是RLE格式。另外，每个对象（不管是iscrowd=0还是iscrowd=1）都会有一个矩形框bbox ，矩形框左上角的坐标和矩形框的长宽会以数组的形式提供，数组第一个元素就是左上角的横坐标值。area是area of encoded masks，是标注区域的面积。如果是矩形框，那就是高乘宽；如果是polygon或者RLE，那就复杂点。

keypoints是一个长度为3*k的数组，其中k是category中keypoints的总数量。每一个keypoint是一个长度为3的数组，第一和第二个元素分别是x和y坐标值，第三个元素是个标志位v，v为0时表示这个关键点没有标注（这种情况下x=y=v=0），v为1时表示这个关键点标注了但是不可见（被遮挡了），v为2时表示这个关键点标注了同时也可见。num_keypoints表示这个目标上被标注的关键点的数量（v>0），比较小的目标上可能就无法标注关键点。

再看category字段，存储的是当前对象所属的category的id，以及所属的supercategory的name（在object keypoint任务中只有一类，即person）。keypoints是一个长度为k的数组，包含了每个关键点的名字；skeleton定义了各个关键点之间的连接性（比如人的左手腕和左肘就是连接的，但是左手腕和右手腕就不是）。

注：人体关键点检测任务，COCO中有18个关键点，而MPI有15个。COCO关键点顺序如下：

References:

http://cocodataset.org/#format-data

https://zhuanlan.zhihu.com/p/29393415

https://blog.csdn.net/u010925447/article/details/77411335

MS COCO数据集标注格式解析相关推荐

VOC和COCO数据集标注格式的介绍
COCO数据集标注格式的介绍: https://blog.csdn.net/m0_37970224/article/details/89211122 VOC数据集标注格式的介绍: https://bl ...
COCO数据集标注格式
原文链接:<https://zhuanlan.zhihu.com/p/29393415> COCO的全称是Common Objects in COntext,是微软团队提供的一个可以用来 ...
COCO数据集标注格式详解----object instances
coco数据集类别:80类 3种标注类型,使用json文件存储,每种类型包含了训练和验证 object instances (目标实例): 也就是目标检测object detection objec ...
YOLO，VOC数据集标注格式解析
YOLO数据集txt标注格式: 0 0.160938 0.541667 0.120312 0.386111 分别指所标注内容的类别.归一化后的中心点x坐标,归一化后的中心点y坐标,归一化后的目 ...
MS COCO数据集
1. MS COCO数据集介绍 MS COCO的全称是Microsoft Common Objects in Context,起源于微软于2014年出资标注的Microsoft COCO数据集. 官网 ...
MS COCO数据集人体关键点评估（Keypoint Evaluation）（来自官网）
COCO系列文章: MS COCO数据集目标检测评估(Detection Evaluation)(来自官网) MS COCO数据集人体关键点评估(Keypoint Evaluation)(来自官网) ...
MS COCO数据集详解
这是我的推广信息,以激励自己更好的分享自己的知识和经验!也希望看到的你能够多多支持,谢谢! 1. 滴滴云AI大师: 目前滴滴云正在大力推广自己的云计算服务,需要购买的朋友们用我的AI大师码「2049 ...
对MS coco数据集的ann file协议的探究
文章目录 1. 工作场景 2. 资料收集 3. 解决方案 3.1 探究coco数据集中ann file 协议 3.1.1 annotations字段:重要程度☆☆☆ 3.1.2 images和cate ...
coco2017数据集标注格式说明
今天准备看看coco数据集到底长啥样,还有其标注格式是什么样的,怀着好奇心,开始百度,于是来到知乎~ 感谢知乎给我释疑了~ 参考知乎:https://zhuanlan.zhihu.com/p/2939 ...

MS COCO数据集标注格式解析

MS COCO数据集标注格式解析相关推荐

最新文章

热门文章