NMS和Soft-NMS的原理和Pytorch代码实现
NMS都不会，做什么Detection！
Non-maximum suppression（非极大值抑制）算法
NMS原理：
首先得出所有的预测框集合
B、 对应框的得分Scores， NMS(IoU)阈值T;定义存放侯选框的集合
H（初始为Null）， 对Scores排序选出得分最大的框为maxBox，
将maxBox从集合B中移到集合H中，集合B中没有maxBox框了;计算
maxBox和B中剩余的所有框的IoU, 将IoU大于T的从B中删除(认为和maxBox重叠了);重复2～3步骤，直到集合
B为Null， 集合H中存放的框就是NMS处理的结果；重复步骤是：
（1）对集合B中剩余框对应的得分进行排序， 选出最大得分的框maxBox，并从集合B中移到集合H中。（2） 计算这个得分最大的框maxBox和集合B中框的IoU阈值，将大于IoU阈值的框从B中删除。
NMS代码实现
1. Pytorch代码实现
from torch import Tensor
import torchdef box_area(boxes: Tensor) -> Tensor:"""Computes the area of a set of bounding boxes, which are specified by its(x1, y1, x2, y2) coordinates.Arguments:boxes (Tensor[N, 4]): boxes for which the area will be computed. Theyare expected to be in (x1, y1, x2, y2) formatReturns:area (Tensor[N]): area for each box"""return (boxes[:, 2] - boxes[:, 0]) * (boxes[:, 3] - boxes[:, 1])def box_iou(boxes1: Tensor, boxes2: Tensor) -> Tensor:"""Return intersection-over-union (Jaccard index) of boxes.Both sets of boxes are expected to be in (x1, y1, x2, y2) format.Arguments:boxes1 (Tensor[N, 4])boxes2 (Tensor[M, 4])Returns:iou (Tensor[N, M]): the NxM matrix containing the pairwise IoU values for every element in boxes1 and boxes2"""area1 = box_area(boxes1) # 每个框的面积 (N,)area2 = box_area(boxes2) # (M,)lt = torch.max(boxes1[:, None, :2], boxes2[:, :2]) # [N,M,2] # N中一个和M个比较； 所以由N，M 个rb = torch.min(boxes1[:, None, 2:], boxes2[:, 2:]) # [N,M,2]wh = (rb - lt).clamp(min=0) # [N,M,2] #小于0的为0 clamp 钳；夹钳；inter = wh[:, :, 0] * wh[:, :, 1] # [N,M] iou = inter / (area1[:, None] + area2 - inter)return iou # NxM， boxes1中每个框和boxes2中每个框的IoU值；def nms(boxes: Tensor, scores: Tensor, iou_threshold: float):""":param boxes: [N, 4]， 此处传进来的框，是经过筛选（NMS之前选取过得分TopK）之后， 在传入之前处理好的；:param scores: [N]:param iou_threshold: 0.7:return:"""keep = [] # 最终保留的结果， 在boxes中对应的索引；idxs = scores.argsort() # 值从小到大的 索引while idxs.numel() > 0: # 循环直到null； numel()： 数组元素个数# 得分最大框对应的索引, 以及对应的坐标max_score_index = idxs[-1]max_score_box = boxes[max_score_index][None, :] # [1, 4]keep.append(max_score_index)if idxs.size(0) == 1: # 就剩余一个框了；breakidxs = idxs[:-1] # 将得分最大框 从索引中删除； 剩余索引对应的框 和 得分最大框 计算IoU；other_boxes = boxes[idxs] # [?, 4]ious = box_iou(max_score_box, other_boxes) # 一个框和其余框比较 1XMidxs = idxs[ious[0] <= iou_threshold]keep = idxs.new(keep) # Tensorreturn keep
2. Pytorch代码实现
import torch
def nms(boxes, scores, overlap=0.7, top_k=200):"""输入:boxes: 存储一个图片的所有预测框。[num_positive,4].scores:置信度。如果为多分类则需要将nms函数套在一个循环内。[num_positive].overlap: nms抑制时iou的阈值.top_k: 先选取置信度前top_k个框再进行nms.返回:nms后剩余预测框的索引."""keep = scores.new(scores.size(0)).zero_().long()# 保存留下来的box的索引 [num_positive]# 函数new(): 构建一个有相同数据类型的tensor# 如果输入box为空则返回空Tensorif boxes.numel() == 0:return keepx1 = boxes[:, 0] # x1 坐标y1 = boxes[:, 1]x2 = boxes[:, 2]y2 = boxes[:, 3]area = torch.mul(x2 - x1, y2 - y1) # 并行化计算所有框的面积v, idx = scores.sort(0) # 升序排序idx = idx[-top_k:] # 前top-k的索引，从小到大xx1 = boxes.new()yy1 = boxes.new()xx2 = boxes.new() # new() 无参数，创建 相同类型的空值；yy2 = boxes.new()w = boxes.new()h = boxes.new()count = 0while idx.numel() > 0:i = idx[-1] # 目前最大score对应的索引 # 选取得分最大的框索引；keep[count] = i # 存储在keep中count += 1if idx.size(0) == 1: # 跳出循环条件：box被筛选完了breakidx = idx[:-1] # 去掉最后一个# 剩下boxes的信息存储在xx，yy中torch.index_select(x1, 0, idx, out=xx1) # 从x1中再维度0选取索引为idx 数据 输出到xx1中；torch.index_select(y1, 0, idx, out=yy1) # torch.index_select（） # 从tensor中按指定维度和索引 取值；torch.index_select(x2, 0, idx, out=xx2)torch.index_select(y2, 0, idx, out=yy2)# 计算当前最大置信框与其他剩余框的交集，不知道clamp的同学确实容易被误导xx1 = torch.clamp(xx1, min=x1[i]) # max(x1,xx1) # x1 y1 的最大值yy1 = torch.clamp(yy1, min=y1[i]) # max(y1,yy1)xx2 = torch.clamp(xx2, max=x2[i]) # min(x2,xx2) # x2 x3 最小值；yy2 = torch.clamp(yy2, max=y2[i]) # min(y2,yy2)w.resize_as_(xx2)h.resize_as_(yy2)w = xx2 - xx1 # w=min(x2,xx2)−max(x1,xx1)h = yy2 - yy1 # h=min(y2,yy2)−max(y1,yy1)w = torch.clamp(w, min=0.0) # max(w,0)h = torch.clamp(h, min=0.0) # max(h,0)inter = w * h# 计算当前最大置信框与其他剩余框的IOU# IoU = i / (area(a) + area(b) - i)rem_areas = torch.index_select(area, 0, idx) # 剩余的框的面积union = rem_areas + area[i] - inter # 并集IoU = inter / union # 计算iou# 选出IoU <= overlap的boxes(注意le函数的使用)idx = idx[IoU.le(overlap)] # le: 小于等于 返回的bool ， 去除大于overlap的值；return keep, count
参考自：链接
3. Numpy代码实现
import numpy as np
from numpy import arraydef box_area(boxes :array):""":param boxes: [N, 4]:return: [N]"""return (boxes[:, 2] - boxes[:, 0]) * (boxes[:, 3] - boxes[:, 1])def box_iou(box1 :array, box2: array):""":param box1: [N, 4]:param box2: [M, 4]:return: [N, M]"""area1 = box_area(box1) # Narea2 = box_area(box2) # M# broadcasting, 两个数组各维度大小 从后往前对比一致， 或者 有一维度值为1；lt = np.maximum(box1[:, np.newaxis, :2], box2[:, :2])rb = np.minimum(box1[:, np.newaxis, 2:], box2[:, 2:])wh = rb - ltwh = np.maximum(0, wh) # [N, M, 2]inter = wh[:, :, 0] * wh[:, :, 1]iou = inter / (area1[:, np.newaxis] + area2 - inter)return iou # NxMdef numpy_nms(boxes :array, scores :array, iou_threshold :float):idxs = scores.argsort() # 按分数 降序排列的索引 [N]keep = []while idxs.size > 0: # 统计数组中元素的个数max_score_index = idxs[-1]max_score_box = boxes[max_score_index][None, :]keep.append(max_score_index)if idxs.size == 1:breakidxs = idxs[:-1] # 将得分最大框 从索引中删除； 剩余索引对应的框 和 得分最大框 计算IoU；other_boxes = boxes[idxs] # [?, 4]ious = box_iou(max_score_box, other_boxes) # 一个框和其余框比较 1XMidxs = idxs[ious[0] <= iou_threshold]keep = np.array(keep) # Tensorreturn keep
Soft NMS原理和代码
Soft-NMS的原理
原理步骤：
首先得出所有的预测框集合
B、 对应框的得分Scores， NMS(IoU)阈值T;定义存放侯选框的集合
H（初始为Null），对Scores排序选出得分最大的框为maxBox， 将maxBox从集合B中移到集合H中，集合B中没有maxBox框了;计算
maxBox和B中剩余的所有框的IoU, 将IoU大于T的框的得分 按某种方式 降低（不删除了），重复2～3步骤，直到集合
B为Null， 集合H中存放的框就是Soft-NMS处理的结果；
重复步骤是：
（1）对集合B中剩余框对应的得分进行排序(因为分数变化，必须排序)， 选出最大得分的框maxBox，并从集合B中移到集合H中。（2） 计算这个得分最大的框maxBox和集合B中框的IoU阈值，将大于IoU阈值的框对应的得分降低。
Soft-NMS返回的结果是 框以及框对应的得分（得分是Soft-NMS抑制后的），说白了，就是抑制了框对应的得分， 使用时需要一个得分阈值。
Soft-NMS权重函数的形式
MMM表示得分最大框， bib_ibi是除去得分最大框后剩余的每个框。
原来的NMS可以描述如下：将IoU大于阈值的窗口的得分全部置为0。
si={si,iou(M,bi)<T0,iou(M,bi)>=Ts_i = \left\{ \begin{array}{lr}s_i, iou(M,b_i) < T \\ 0, iou(M,b_i) >= T \end{array} \right. si={si,iou(M,bi)<T0,iou(M,bi)>=T
(1) 线性加权抑制得分
si={si,iou(M,bi)<Tsi(1−iou(M,bi)),iou(M,bi)>=Ts_i = \left\{ \begin{array}{lr}s_i, iou(M,b_i) < T \\ s_i(1 - iou(M, b_i)), iou(M,b_i) > =T \end{array} \right. si={si,iou(M,bi)<Tsi(1−iou(M,bi)),iou(M,bi)>=T
(2) 高斯加权抑制得分
si=sie−iou(M,bi)2σ,∀bi∉Ds_i = s_ie^{-\frac{iou(M, b_i)^2}{\sigma}}, \forall b_i \notin D si=sie−σiou(M,bi)2,∀bi∈/D
NMS-Soft 实现代码
Pytorch 代码 未验证 没有合适比较代码【欢迎指正错误】
from torch import Tensor
import torchdef box_area(boxes: Tensor) -> Tensor:return (boxes[:, 2] - boxes[:, 0]) * (boxes[:, 3] - boxes[:, 1])def box_iou(boxes1: Tensor, boxes2: Tensor) -> Tensor:area1 = box_area(boxes1) # 每个框的面积 (N,)area2 = box_area(boxes2) # (M,)lt = torch.max(boxes1[:, None, :2], boxes2[:, :2]) # [N,M,2] # N中一个和M个比较； 所以由N，M 个rb = torch.min(boxes1[:, None, 2:], boxes2[:, 2:]) # [N,M,2]wh = (rb - lt).clamp(min=0) # [N,M,2] # 删除面积小于0 不相交的 clamp 钳；夹钳；inter = wh[:, :, 0] * wh[:, :, 1] # [N,M] # 切片的用法 相乘维度减1iou = inter / (area1[:, None] + area2 - inter)return iou # NxM， boxes1中每个框和boxes2中每个框的IoU值；def soft_nms(boxes: Tensor, scores: Tensor, soft_threshold=0.01, iou_threshold=0.7, weight_method=2, sigma=0.5):""":param boxes: [N, 4]， 此处传进来的框，是经过筛选（选取的得分TopK）之后的:param scores: [N]:param iou_threshold: 0.7:param soft_threshold soft nms 过滤掉得分太低的框 （手动设置）:param weight_method 权重方法 1. 线性 2. 高斯:return:"""keep = []idxs = scores.argsort()while idxs.numel() > 0: # 循环直到null； numel()： 数组元素个数# 由于scores得分会改变，所以每次都要重新排序，获取得分最大值idxs = scores.argsort() # 评分排序if idxs.size(0) == 1: # 就剩余一个框了；keep.append(idxs[-1]) breakkeep_len = len(keep)max_score_index = idxs[-(keep_len + 1)]max_score_box = boxes[max_score_index][None, :] # [1, 4]idxs = idxs[:-(keep_len + 1)]other_boxes = boxes[idxs] # [?, 4]keep.append(max_score_index) # 位置不能边ious = box_iou(max_score_box, other_boxes) # 一个框和其余框比较 1XM# Soft NMS 处理， 和 得分最大框 IOU大于阈值的框， 进行得分抑制if weight_method == 1: # 线性抑制 # 整个过程 只修改分数ge_threshod_bool = ious[0] >= iou_thresholdge_threshod_idxs = idxs[ge_threshod_bool]scores[ge_threshod_idxs] *= (1. - ious[0][ge_threshod_bool]) # 小于IoU阈值的不变# idxs = idxs[scores[idxs] >= soft_threshold] # 小于soft_threshold删除， 经过抑制后 阈值会越来越小；elif weight_method == 2: # 高斯抑制， 不管大不大于阈值，都计算权重scores[idxs] *= torch.exp(-(ious[0] * ious[0]) / sigma) # 权重(0, 1]# idxs = idxs[scores[idxs] >= soft_threshold]# else: # NMS# idxs = idxs[ious[0] <= iou_threshold]# keep = scores[scores > soft_threshold].int()keep = idxs.new(keep) # Tensorkeep = keep[scores[keep] > soft_threshold] # 最后处理阈值boxes = boxes[keep] # 保留下来的框scores = scores[keep] # soft nms抑制后得分return boxes, scores
对应代码和测试在NMS_SoftNMS项目，欢迎指正！
NMS和Soft-NMS的原理和Pytorch代码实现相关推荐
- NMS、soft NMS、softer NMS与IOU-Guided NMS
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 NMS.soft NMS.softer NMS与IOU-Guided NMS 一.NMS 二.soft NMS 三.softer NM ...
- 单链表反转的原理和python代码实现
链表是一种基础的数据结构,也是算法学习的重中之重.其中单链表反转是一个经常会被考察到的知识点. 单链表反转是将一个给定顺序的单链表通过算法转为逆序排列,尽管听起来很简单,但要通过算法实现也并不是非常容 ...
- DS1320原理和C51代码实现解读
DS1320原理和C51代码实现解读 DS封装 引脚介绍 VCC2 V_{CC2}为主电源, VCC1 V_{CC1}为备用电源,当 VCC2 V_{CC2}> VCC1 V_{CC1} + 0 ...
- 目标检测中的NMS，soft NMS，softer NMS，Weighted Boxes Fusion
NMS 非最大值抑制算法,诞生至少50年了. 在经典的两阶段目标检测算法中,为了提高对于目标的召回率,在anchor阶段会生成密密麻麻的anchor框. 所以在后处理的时候,会存在着很多冗余框对应着同 ...
- NMS与Soft NMS
1.NMS 非最大抑制(Non-maximum suppression, NMS)是物体检测流程中重要的组成部分.NMS算法的大致思想:对于有重叠的候选框:若大于规定阈值(某一提前设定的置信度)则删除 ...
- CTC束搜索解码原理和Pytorch实现（CTC Prefix BeamSearch Decode)
CTC解码在推断时,同一个标签序列对应的原生序列的结尾会有两种情况:1.以字符结尾:2.以blank结尾.不同的结尾往下增长时的缩放策略不同,比如以字符结尾:*a遇到a会缩放为*a:以blank(用& ...
- 【图像处理】——图像质量评价指标信噪比（PSNR）和结构相似性（SSIM）（含原理和Python代码）
目录 一.信噪比(PSNR) 1.信噪比的原理与计算公式 2.Python常规代码实现PSNR计算 3.TensorFlow实现PSNR计算 4.skimage实现PSNR计算 5.三种方法计算的结果 ...
- 利用均值漂移实现图像分割的原理和OpenCV代码
图像处理开发需求.图像处理接私活挣零花钱,请加微信/QQ 2487872782 图像处理开发资料.图像处理技术交流请加QQ群,群号 271891601 要想大致理解均值漂移实现图像分割的原理请见网页基 ...
- 线性插值法的原理和python代码实现
假设我们已知坐标 (x0, y0) 与 (x1, y1),要得到 [x0, x1] 区间内某一位置 x 在直线上的值.根据图中所示,我们得到 由于 x 值已知,所以可以从公式得到 y 的值 已知 y ...
最新文章
- 采访了14位技术公司的创始人，他们如何看待2020年的AI行业？
- Maven 的 settings.xml 配置中的mirror节点
- oracle数据库sid已存在,Oracle SID在本机下已经存在,请指定一个不同的SID”的解决方法...
- 307 跳转会携带请求方法吗_面试官：GET和POST两种基本请求方法有什么区别
- MongoDB数据库设计备忘
- 博客屏蔽搜索引擎只是个笑话！！
- IT项目管理-敏捷和传统
- 函数和常用模块【day04】：内置函数（十）
- Python中的signal模块和Ctrl+C操作
- 加密狗破解加密狗复制
- 遥感图像计算机自动分类原理,遥感原理与应用_第5章_2遥感影像解译-遥感影像计算机自动分类讲义.ppt...
- “蔚小理”想挑战特斯拉？先干过比亚迪再说
- Ubuntu18.04和Win10共享文件夹
- java hypot_Java StrictMath hypot()用法及代碼示例
- stm32L451比较器使用
- 编译器和解释器，预编译和预处理
- 恒大研究院｜中国最具发展潜力的100个城市
- 戴尔科技云平台：赋能“新基建”， 打造“云底座”
- Spring Batch批量处理，骚气还强大！
- bin文件数据处理，读取一个文件数据写入另一个文件中