目标检测coco数据集点滴介绍

1.  COCO数据集介绍

MS COCO 是google 开源的大型数据集， 分为目标检测、分割、关键点检测三大任务， 数据集主要由图片和json 标签文件组成。 coco数据集有自带COCO API，方便对json文件进行信息读取。本博客介绍是目标检测数据集格式的制作。

COCO通过大量使用Amazon Mechanical Turk来收集数据。COCO数据集现在有3种标注类型：object instances(目标实例), object keypoints(目标上的关键点), 和image captions(看图说话)，使用JSON文件存储。

2.  MSCOCO数据集数据结构{

"images":

[

{"file_name":"cat.jpg","id":1,"height":1000,"width":1000},

{"file_name":"dog.jpg","id":2,"height":1000,"width":1000},

...

]

"annotations":

[

{"image_id":1,"bbox":[100.00,200.00,10.00,10.00],"category_id":1}

{"image_id":2,"bbox":[150.00,250.00,20.00,20.00],"category_id":2}

...

]

"categories":

[

{"id":0,"name":"bg"}

{"id":1,"name":"cat"}

{"id":1,"name":"dog"}

...

]

}

标注文件中，"images" 关键字对应图片信息，"annotations" 关键字对应标注信息，"categories" 对应类别信息： "images": 该关键字对应的数据中，每一项对应一张图片，"file_name"对应图片名称，"id"对应图片序号，"height"和"width"分别对应图像的高和宽。 "annotations": 该关键字对应的数据中，每一项对应一条标注，"image_id"对应图片序号，"bbox"对应标注矩形框，顺序为[x, y, w, h]，分别为该矩形框的起始点x坐标，起始点y坐标，宽、高。"category_id"对应类别序号。 "categories": 该关键字对应的数据中，每一项对应一个类别，"id"对应类别序号，"name"对应类别名称。

关键字关联说明： 1."annotations"中的元素通过"image_id"关联图像，比如"image_id":2，该条标注信息对应"images"中"id"为2的图像。 2."annotations"中的元素通过"category_id"关联类别，比如"category_id":2，该条标注信息对应"categories"中"id"为2的类别。

例： 在上面列出的数据结构中

这条标注信息通过"image_id"可以找到对应的图像为"cat.jpg"，通过"category_id"可以找到对应的类别为"cat"

背景图片说明：

"annotations"中的元素，"category_id":0对应的是背景。当且仅当一张图片对应的所有annotations中，"category_id"都为0，该图片为背景图片。

3.  COCO数据集json文件，分类和id

coco目标检测数据集标注目标信息采用的是数据格式是json，其内容本质是一种字典结构，字典堆栈和列表信息内容维护。

coco里面的id和类名字对应：总共80类，但id号到90！

coco_id_name_map={1: 'person', 2:

'bicycle', 3: 'car', 4: 'motorcycle', 5: 'airplane',                   6: 'bus', 7: 'train', 8:

'truck', 9: 'boat', 10: 'traffic light', 11: 'fire hydrant', 13: 'stop sign',

14: 'parking meter', 15: 'bench', 16: 'bird', 17: 'cat', 18: 'dog', 19:

'horse', 20: 'sheep', 21: 'cow', 22: 'elephant', 23: 'bear', 24: 'zebra', 25:

'giraffe', 27: 'backpack', 28: 'umbrella', 31: 'handbag', 32: 'tie', 33:

'suitcase', 34: 'frisbee', 35: 'skis', 36: 'snowboard', 37: 'sports ball', 38:

'kite', 39: 'baseball bat', 40: 'baseball glove', 41: 'skateboard', 42:

'surfboard', 43: 'tennis racket', 44: 'bottle', 46: 'wine glass', 47: 'cup',

48: 'fork', 49: 'knife', 50: 'spoon', 51: 'bowl', 52: 'banana', 53: 'apple',

54: 'sandwich', 55: 'orange', 56: 'broccoli', 57: 'carrot', 58: 'hot dog', 59:

'pizza', 60: 'donut', 61: 'cake', 62: 'chair', 63: 'couch', 64: 'potted plant',

65: 'bed', 67: 'dining table', 70: 'toilet', 72: 'tv', 73: 'laptop', 74:

'mouse', 75: 'remote', 76: 'keyboard', 77: 'cell phone', 78: 'microwave', 79:

'oven', 80: 'toaster', 81: 'sink', 82: 'refrigerator', 84: 'book', 85: 'clock',

86: 'vase', 87: 'scissors', 88: 'teddy bear', 89: 'hair drier', 90:

'toothbrush'}

打开json文件：

with open(json_path,'r') as load_f:

load_dict =

json.load(load_f)

里面协议是这样的，annotations下面是每一个box的标注信息，包括分割的，当前框使用目标框，image_id，categogy_id。

因此要想获得整个数据集信息，必须遍历整个box信息，将其进行统计分配。

4.  COCO数据集性能指标

COCO 提供了 12 种用于衡量目标检测器性能的评价指标.

Recall   召回率(查全率)。表示正确识别物体A的个数占测试集中物体A的总个数的百分数Recall = TP / (TP+FN)

Precision

精确率(查准率)。表示正确识别物体A的个数占总识别出的物体个数n的百分数Precision

= TP / (TP+FP)

fp

:false positive误报，即预测错误

fn

:false negative漏报，即没有预测到

tp:true

positive

tn:true

negative

iou：intersection-over-union

Accuracy  准确率。正确分类的样本数除以所有的样本数，正确率越高，分类器越好。Accuracy=(TP+TN)/

(TP+TN+FP+FN)

以上介绍都是基于2分类的，并不是多分类的

以下12个指标用于表征COCO上物体检测器的性能：

Average Precision (AP):

AP                              % AP at

IoU=0.50:0.05:0.95 (primary challenge metric)

APIoU=.50                   % AP at IoU=0.50 (PASCAL VOC

metric)

APIoU=.75                   % AP at IoU=0.75 (strict

metric)

AP

Across Scales:

APsmall                       % AP for small objects:

area < 322

APmedium                   % AP for medium objects: 322

< area < 962

APlarge                        % AP for large objects:

area > 962

Average

Recall (AR):

ARmax=1                     % AR given 1 detection per

image

ARmax=10                   % AR given 10 detections per

image

ARmax=100                 % AR given 100 detections per

image

AR

Across Scales:

ARsmall                       % AR for small objects: area < 322

ARmedium                   % AR for medium objects: 322

< area < 962

ARlarge                        % AR for large objects:

area > 962