非极大值抑制(Non-Maximum Suppression)

1. 什么是非极大值抑制

2. 为什么要用非极大值抑制

3. 如何使用非极大值抑制

4. 参考资料

1. 什么是非极大值抑制

非极大值抑制，简称为NMS算法，英文为Non-Maximum Suppression。其思想是搜素局部最大值，抑制极大值。NMS算法在不同应用中的具体实现不太一样，但思想是一样的。非极大值抑制，在计算机视觉任务中得到了广泛的应用，例如边缘检测、人脸检测、目标检测（DPM，YOLO，SSD，Faster R-CNN）等。

2. 为什么要用非极大值抑制

以目标检测为例：目标检测的过程中在同一目标的位置上会产生大量的候选框，这些候选框相互之间可能会有重叠，此时我们需要利用非极大值抑制找到最佳的目标边界框，消除冗余的边界框。Demo如下图：

Object Detection

左图是人脸检测的候选框结果，每个边界框有一个置信度得分(confidence score)，如果不使用非极大值抑制，就会有多个候选框出现。右图是使用非极大值抑制之后的结果，符合我们人脸检测的预期结果。

3. 如何使用非极大值抑制

前提：目标边界框列表及其对应的置信度得分列表，设定阈值，阈值用来删除重叠较大的边界框。
IoU：intersection-over-union，即两个边界框的交集部分除以它们的并集。

非极大值抑制的流程如下：

根据置信度得分进行排序
选择置信度最高的比边界框添加到最终输出列表中，将其从边界框列表中删除
计算所有边界框的面积
计算置信度最高的边界框与其它候选框的IoU。
删除IoU大于阈值的边界框
重复上述过程，直至边界框列表为空。

Python代码如下：

#!/usr/bin/env python
# _*_ coding: utf-8 _*_import cv2
import numpy as np"""Non-max Suppression Algorithm@param list  Object candidate bounding boxes@param list  Confidence score of bounding boxes@param float IoU threshold@return Rest boxes after nms operation
"""
def nms(bounding_boxes, confidence_score, threshold):# If no bounding boxes, return empty listif len(bounding_boxes) == 0:return [], []# Bounding boxesboxes = np.array(bounding_boxes)# coordinates of bounding boxesstart_x = boxes[:, 0]start_y = boxes[:, 1]end_x = boxes[:, 2]end_y = boxes[:, 3]# Confidence scores of bounding boxesscore = np.array(confidence_score)# Picked bounding boxespicked_boxes = []picked_score = []# Compute areas of bounding boxesareas = (end_x - start_x + 1) * (end_y - start_y + 1)# Sort by confidence score of bounding boxesorder = np.argsort(score)# Iterate bounding boxeswhile order.size > 0:# The index of largest confidence scoreindex = order[-1]# Pick the bounding box with largest confidence scorepicked_boxes.append(bounding_boxes[index])picked_score.append(confidence_score[index])# Compute ordinates of intersection-over-union(IOU)x1 = np.maximum(start_x[index], start_x[order[:-1]])x2 = np.minimum(end_x[index], end_x[order[:-1]])y1 = np.maximum(start_y[index], start_y[order[:-1]])y2 = np.minimum(end_y[index], end_y[order[:-1]])# Compute areas of intersection-over-unionw = np.maximum(0.0, x2 - x1 + 1)h = np.maximum(0.0, y2 - y1 + 1)intersection = w * h# Compute the ratio between intersection and unionratio = intersection / (areas[index] + areas[order[:-1]] - intersection)left = np.where(ratio < threshold)order = order[left]return picked_boxes, picked_score# Image name
image_name = 'nms.jpg'# Bounding boxes
bounding_boxes = [(187, 82, 337, 317), (150, 67, 305, 282), (246, 121, 368, 304)]
confidence_score = [0.9, 0.75, 0.8]# Read image
image = cv2.imread(image_name)# Copy image as original
org = image.copy()# Draw parameters
font = cv2.FONT_HERSHEY_SIMPLEX
font_scale = 1
thickness = 2# IoU threshold
threshold = 0.4# Draw bounding boxes and confidence score
for (start_x, start_y, end_x, end_y), confidence in zip(bounding_boxes, confidence_score):(w, h), baseline = cv2.getTextSize(str(confidence), font, font_scale, thickness)cv2.rectangle(org, (start_x, start_y - (2 * baseline + 5)), (start_x + w, start_y), (0, 255, 255), -1)cv2.rectangle(org, (start_x, start_y), (end_x, end_y), (0, 255, 255), 2)cv2.putText(org, str(confidence), (start_x, start_y), font, font_scale, (0, 0, 0), thickness)# Run non-max suppression algorithm
picked_boxes, picked_score = nms(bounding_boxes, confidence_score, threshold)# Draw bounding boxes and confidence score after non-maximum supression
for (start_x, start_y, end_x, end_y), confidence in zip(picked_boxes, picked_score):(w, h), baseline = cv2.getTextSize(str(confidence), font, font_scale, thickness)cv2.rectangle(image, (start_x, start_y - (2 * baseline + 5)), (start_x + w, start_y), (0, 255, 255), -1)cv2.rectangle(image, (start_x, start_y), (end_x, end_y), (0, 255, 255), 2)cv2.putText(image, str(confidence), (start_x, start_y), font, font_scale, (0, 0, 0), thickness)# Show image
cv2.imshow('Original', org)
cv2.imshow('NMS', image)
cv2.waitKey(0)

源码下载地址：https://github.com/SnailTyan/deep-learning-tools/blob/master/nms.py
记得给个Star。Demo原图在README.md里。

实验结果：

阈值为0.6

threshold = 0.6

阈值为0.5

threshold = 0.5

阈值为0.4

threshold = 0.4

4. 参考资料

https://www.pyimagesearch.com/2014/11/17/non-maximum-suppression-object-detection-python/
http://cs.brown.edu/~pff/papers/lsvm-pami.pdf
http://blog.csdn.net/shuzfan/article/details/52711706
http://www.cnblogs.com/liekkas0626/p/5219244.html
http://www.tk4479.net/yzhang6_10/article/details/50886747
http://blog.csdn.net/qq_14845119/article/details/52064928

[深度学习概念]·非极大值抑制解析相关推荐

【深度学习】非极大值抑制Non-Maximum Suppression（NMS）一文搞定理论+多平台实现...
薰风说 Non-Maximum Suppression的翻译是非"极大值"抑制,而不是非"最大值"抑制.这就说明了这个算法的用处:找到局部极大值,并筛除(抑制) ...
深度学习之非极大值抑制（Non-maximum suppression，NMS）
非极大值抑制(Non-maximum suppression,NMS)是一种去除非极大值的算法,常用于计算机视觉中的边缘检测.物体识别等. 算法流程给出一张图片和上面许多物体检测的候选框(即每个框可 ...
NMS(Non-Maximum Suppression，非极大值抑制)解析
非极大值抑制,简称为NMS算法,英文为Non-Maximum Suppression.其思想是搜素局部最大值,抑制极大值.NMS算法在不同应用中的具体实现不太一样,但思想是一样的.非极大值抑制,在计算 ...
深度学习笔记（38）非极大值抑制
深度学习笔记(38) 非极大值抑制 1. 对象多次检测问题 2. 非极大值抑制 3. 独立性 1. 对象多次检测问题到目前为止学到的对象检测中的一个问题是,算法可能对同一个对象做出多次检测所以算法 ...
吴恩达神经网络和深度学习-学习笔记-44-交并比IoU + 非极大值抑制
交并比IoU--衡量定位精确度在对象检测任务中,我们希望能够同时定位对象. 人们定义IoU这个概念,是为了评价你的对象定位算法是否精准,但更一般地说,IoU衡量了两个边界框重叠的相对大小. 如果实际 ...
3.7 非极大值抑制-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.6 交并比回到目录 3.8 Anchor Boxes 非极大值抑制 (Non-max Suppression) 到目前为止你们学到的对象检测中的一个问题是,你的算法可能 ...
深度学习自学（三）：NMS非极大值抑制总结
非极大值抑制(Non-Maximum Suppression,NMS) 顾名思义就是抑制不是极大值的元素,可以理解为局部最大搜索.这个局部代表的是一个邻域,邻域有两个参数可变,一是邻域的维数,二是邻域 ...
【深度学习】：非极大值抑制（NMS）详解
非极大值抑制(Non-maximum suppression,NMS)是一种去除非极大值的算法,常用于计算机视觉中的边缘检测.物体识别等.Non-Maximum Suppression的翻译是非&qu ...
锚框、交并比和非极大值抑制（tf2.0源码解析)
锚框.交并比和非极大值抑制(tf2.0源码解析) 文章目录锚框.交并比和非极大值抑制(tf2.0源码解析) 一.锚框生成 1.锚框的宽高 2.锚框的个数 3.注意点(★★★) 4.tf2.0代码二 ...
【概念梳理】NMS 非极大值抑制
写在最前本文对网上关于 NMS 的解释整理了一下一.原理 YOLO在最后的一个步骤就是对 SxSx(Bx5+C) 个向量进行非极大值抑制(Non-max suppression),一开始不是太明白 ...

[深度学习概念]·非极大值抑制解析

非极大值抑制(Non-Maximum Suppression)

1. 什么是非极大值抑制

2. 为什么要用非极大值抑制

3. 如何使用非极大值抑制

4. 参考资料

[深度学习概念]·非极大值抑制解析相关推荐

最新文章

热门文章