非极大值抑制(Non-Maximum Suppression)

在物体检测领域中，最后预测的结果一般有很多，其中会有一部分预测框重叠在一起。NMS的操作就是去除重叠的预测框，一般是物体检测任务中检测的最后一步处理操作。

如上图所示，可以看到图片中共有两个狗和一个猫，但是根据模型预测一共有3个狗和2个猫。并且我们人类可以很直观地发现有几个框重复预测同一个物体，那么该如何使用算法让计算机去除掉重复的框呢？

NMS过程解析

假设我们已经有了预测的框，每个预测框对应的类别，每个预测框对应的类别得分。

第一步，对于每个类别，按照类别得分的从大到小顺序排列：
第二步，对于每个类别，计算得分最大的框与其余预测框之间的IoU
关于IoU的说明，详见 IOU（Jaccard系数）概念及实现
预测框与自身的IoU为1，但是不用考虑，因此我们用 - 划掉
第三步，根据设定的阈值，剔除掉IOU大于阈值的预测框
第四步，对下一个没被去除的得分最大的框重复2，3操作，直到所有没被抑制的框遍历完毕。

经过NMS操作后，我们得到了一个预测更好的结果

Pytorch代码实现

def nms(nms_threshold, pred_bbox, pred_classes, pred_scores):"""对预测结果进行非极大值抑制:param nms_threshold: 0~1之间的浮点数，最大重叠程度，IoU高于此阈值的框将会被抑制:param pred_bbox: torch.FloatTensor类型，形状为 [num_box, 4]，4表示边界坐标，即 $(x_{min}, y_{min}, x_{max}, y_{max})$:param pred_classes: torch.LongTensor类型，形状为 [num_box]，表示预测框的类别:param pred_scores: torch.FloatTensor类型，形状为 [num_box]，表示预测框的类别得分，其中的值范围在 [0, 1]:return: 经过非极大值抑制后的预测框、对应类别和对应得分"""# 首先按照得分进行排序，并将预测框和预测类别保持相对应的关系pred_scores, sort_index = pred_scores.sort(dim=0, descending=True)pred_bbox = pred_bbox[sort_index]pred_classes = pred_classes[sort_index]# 全局记录需要被抑制的预测框suppress = torch.zeros_like(pred_classes, dtype=torch.uint8, device=pred_classes.device)# 对每种类别进行处理for c in torch.unique(pred_classes):index = pred_classes == c  # 获取属于该类别的索引bbox = pred_bbox[index, :]  # 提取属于该类别的预测框# 计算该类别预测框的IoUoverlap = find_jaccard_overlap(bbox, bbox)# 记录属于该类别预测框的抑制结果mask = torch.zeros(bbox.shape[0], dtype=torch.uint8, device=pred_classes.device)for b in range(bbox.shape[0]):# 如果该框已经被标记为抑制，则不进行处理if mask[b] == 1:continue# 将IoU大于阈值的标记为抑制mask = torch.maximum(mask, (overlap[b, :] > nms_threshold).to(torch.uint8))# 自己与自己的IoU为1，但是不应该被自己抑制mask[b] = 0# 更新全局记录suppress[index] = mask# 处理完所有类别后，将会得到所有框的抑制结果，需要抑制的框对应位置为1，反之为0# 将结果取反，获取不需要被抑制的布尔索引suppress = (1 - suppress).to(torch.bool)# 根据布尔索引提取最终结果pred_bbox = pred_bbox[suppress]pred_classes = pred_classes[suppress]pred_scores = pred_scores[suppress]# 如果没有结果符合，则返回Noneif len(pred_classes) == 0:return Nonereturn pred_bbox, pred_classes, pred_scores

NMS 非极大值抑制原理及实现相关推荐

Non-Maximum Suppression，NMS非极大值抑制
Non-Maximum Suppression,NMS非极大值抑制概述非极大值抑制(Non-Maximum Suppression,NMS),顾名思义就是抑制不是极大值的元素,可以理解为局部最大搜 ...
深度学习自学（三）：NMS非极大值抑制总结
非极大值抑制(Non-Maximum Suppression,NMS) 顾名思义就是抑制不是极大值的元素,可以理解为局部最大搜索.这个局部代表的是一个邻域,邻域有两个参数可变,一是邻域的维数,二是邻域 ...
目标窗口检测算法-NMS非极大值抑制
1. NMS(non maximum suppression)的定义和算法步骤 NMS(non maximum suppression),中文名非极大值抑制,在很多计算机视觉任务中都有广泛应用,如:边 ...
目标检测中的LOU(交并比)和NMS(非极大值抑制)代码实现
1.LOU, 两个box框的交集比上并集,示意图如下所示: 代码如下所示: #假设box1的维度为[N,4] box2的维度为[M,4] def Lou(box1, box2):N = box1.si ...
【概念梳理】NMS 非极大值抑制
写在最前本文对网上关于 NMS 的解释整理了一下一.原理 YOLO在最后的一个步骤就是对 SxSx(Bx5+C) 个向量进行非极大值抑制(Non-max suppression),一开始不是太明白 ...
NMS 非极大值抑制
非极大值抑制(non maximum suppression,NMS),顾名思义就是抑制不是极大值的元素,搜索局部的极大值. 定位一个车辆时,算法可能会找出一堆候选框,为了从中找出最佳候选框,非极大值 ...
目标检测的Tricks | 【Trick9】nms非极大值抑制处理（包括变体merge-nms、and-nms、soft-nms、diou-nms等介绍）
如有错误,恳请指出. 用这篇博客记录一下nms,也就是非极大值抑制处理,算是目标检测后处理的一个难点. 在训练阶段是不需要nms处理的,只有在验证或者是测试阶段才需要将预测结果进行非极大值抑制处理,来 ...
yolov3 NMS非极大值抑制
基本原理:对于Bounding Box的列表B及其对应的置信度S,采用下面的计算方式.选择具有最大score的检测框M,将其从B集合中移除并加入到最终的检测结果D中.通常将B中剩余检测框中与M的IoU ...
NMS——非极大值抑制
NMS(non maximum suppression),中文名非极大值抑制,在很多计算机视觉任务中都有广泛应用,如:边缘检测.目标检测等. 这里主要以人脸检测中的应用为例,来说明NMS,并给出Mat ...
【算法】非极大值抑制原理、流程和代码
代码如下: # -------------------------------------------------------- # Fast R-CNN # Copyright (c) 2015 M ...

NMS 非极大值抑制原理及实现

非极大值抑制(Non-Maximum Suppression)

NMS过程解析

Pytorch代码实现

NMS 非极大值抑制原理及实现相关推荐

最新文章

热门文章