动手学深度学习之锚框

锚框

锚框就是一个框，边缘框就是一个物体的真实的位置的一个框，锚框是对这个边缘框位置的一个猜测。算法先给我们画出一个框，然后看这个框里面有没有物体。如果有的话，算法就基于这个物体进行预测，它到我们真实的边缘框是怎么偏移过去的。简单来说就是，先提出多个框，然后看看框里面有没有这个物体，有的话，就基于这个框来调整位置。这样我们就有两个预测，一个是对框中是否存在该物体的预测，另一个是锚框到真实的边缘框的预测。

loU-交并比

loU用来计算两个框之间的相似度。它是一个0-1之间的数值，0表示无重叠，1表示重合。也就是这两个框的交集和这两个框的并集的比值

赋予锚框标号(几种常见的做法)(训练阶段使用)

在训练的时候每一个锚框是一个样本，将每一个锚框标注成背景。要么关联上一个真实的边缘框，也就是说，框住物体的标号，以及它到真实边框的偏移。
一般来说会生成大量的锚框，这会导致大量的负类样本。
例子：下图有一个矩阵，它的列有四个标注好的边缘框，也就是说真实有四个物体，每个物体对应的有四个框。对于每一个物体我们生成了九个锚框，然后用每个锚框去算他的IoU值，填在里面。然后我们将整个矩阵中的最大值挑出来，然后将边缘框给这个锚框，然后将这个最大值对应的行和列删除。在剩余的值里面我们在找出一个最大值，再将这个锚框给对应的边缘框，删除对应的行和列。直到所有的锚框都删除完。
赋予锚框标号，是每次读取图片进来都要做一次。

使用非极大值抑制(NMS)输出(预测阶段使用)

首先选中所有的框中的非背景类的最大预测值，这个值是对这个类的softmax的值，也就是说越接近1就越接近。然后去掉所有和他的IoU的值大于某个值的框，将被保留的值拿出来。重复上述过程，知道所有的预测要么被选中，要么被删除。最后我们会得到一个比较干净的输出。

总结

锚框代码实现

%matplotlib inline
import torch
from d2l import torch as d2ltorch.set_printoptions(2)

锚框的宽度和高度分别是wsrws\sqrt{r}wsr和hs/rhs/\sqrt{r}hs/r。我们只考虑组合：(s1,r1),(s1,r2),...,(s1,rm),(s2,r1),(s3,r1),...,(sn,r1)(s_1,r_1),(s_1,r_2),...,(s_1,r_m),(s_2,r_1),(s_3,r1),...,(s_n,r_1)(s1,r1),(s1,r2),...,(s1,rm),(s2,r1),(s3,r1),...,(sn,r1)

# 对于每一个像素为中心，生成高宽度不同的锚框
# 这里一个data对应图片，图片有一个高宽。对于每一个像素，以它为中心，生成不同个宽度和高度的上述宽度和高度的东西，w，h表示高宽，s表示锚框的大小，锚框占图片的多少。r是锚框的高宽比
# 这里会给一系列的s，r。这里不会都组合，这样生成的锚框太多。常见的做法是：首先全部用最合适的size，和所有的ratios组合，将ratio过滤一遍。然后再用所有的最合适的ratio，和所有的size组合，将size过滤一遍
def multibox_prior(data, sizes, ratios):"""生成以每个像素为中心具有不同形状的锚框。"""in_height, in_width = data.shape[-2:]device, num_sizes, num_ratios = data.device, len(sizes), len(ratios)boxes_per_pixel = (num_sizes + num_ratios - 1)  # 使用上述方法生成的锚框的多少就是size的个数加上ratios的个数-1size_tensor = torch.tensor(sizes, device=device)ratio_tensor = torch.tensor(ratios, device=device)offset_h, offset_w = 0.5, 0.5steps_h = 1.0 / in_heightsteps_w = 1.0 / in_widthcenter_h = (torch.arange(in_height, device=device) + offset_h) * steps_hcenter_w = (torch.arange(in_width, device=device) + offset_w) * steps_wshift_y, shift_x = torch.meshgrid(center_h, center_w)shift_y, shift_x = shift_y.reshape(-1), shift_x.reshape(-1)w = torch.cat((size_tensor * torch.sqrt(ratio_tensor[0]),sizes[0] * torch.sqrt(ratio_tensor[1:])))\* in_height / in_widthh = torch.cat((size_tensor / torch.sqrt(ratio_tensor[0]),sizes[0] / torch.sqrt(ratio_tensor[1:])))anchor_manipulations = torch.stack((-w, -h, w, h)).T.repeat(in_height * in_width, 1) / 2out_grid = torch.stack([shift_x, shift_y, shift_x, shift_y],dim=1).repeat_interleave(boxes_per_pixel, dim=0)output = out_grid + anchor_manipulationsreturn output.unsqueeze(0)

返回的锚框变量Y的形状

img = d2l.plt.imread("/Users/tiger/Desktop/study/机器学习/李沐深度学习/d2l-zh/pytorch/img/catdog.jpg")
h, w = img.shape[:2]
print(h, w)X = torch.rand(size=(1, 3, h, w))
Y = multibox_prior(X, sizes=[0.75, 0.5, 0.25], ratios=[1, 2, 0.5])
Y.shape

561 728
torch.Size([1, 2042040, 4])

访问以(250,250)为中心的第一个锚框

boxes = Y.reshape(h, w, 5, 4)  # 这里4就是表示这个锚框的左上和右下的坐标
boxes[250, 250, 0, :]  # 这里返回的坐标已经除以高宽了，变为了0-1之间的数了。

tensor([0.06, 0.07, 0.63, 0.82])

显示以图像一个像素为中心的所有锚框

def show_bboxes(axes, bboxes, labels=None, colors=None):"""显示所有边界框。"""def _make_list(obj, default_values=None):if obj is None:obj = default_valueselif not isinstance(obj, (list, tuple)):obj = [obj]return objlabels = _make_list(labels)colors = _make_list(colors, ['b', 'g', 'r', 'm', 'c'])for i, bbox in enumerate(bboxes):color = colors[i % len(colors)]rect = d2l.bbox_to_rect(bbox.detach().numpy(), color)axes.add_patch(rect)if labels and len(labels) > i:text_color = 'k' if color == 'w' else 'w'axes.text(rect.xy[0], rect.xy[1], labels[i], va='center',ha='center', fontsize=9, color=text_color,bbox=dict(facecolor=color, lw=0))d2l.set_figsize()
bbox_scale = torch.tensor((w, h, w, h))
fig = d2l.plt.imshow(img)
show_bboxes(fig.axes, boxes[250, 250, :, :] * bbox_scale, ['s=0.75, r=1', 's=0.5, r=1', 's=0.25, r=1', 's=0.75, r=2', 's=0.75, r=0.5'
])  # 将以250，250为中心的锚框都画出来

交并比(IoU)

def box_iou(boxes1, boxes2):"""计算两个锚框或边界框列表中成对的交并比。"""box_area = lambda boxes: ((boxes[:, 2] - boxes[:, 0]) *(boxes[:, 3] - boxes[:, 1]))areas1 = box_area(boxes1)areas2 = box_area(boxes2)inter_upperlefts = torch.max(boxes1[:, None, :2], boxes2[:, :2])inter_lowerrights = torch.min(boxes1[:, None, 2:], boxes2[:, 2:])inters = (inter_lowerrights - inter_upperlefts).clamp(min=0)inter_areas = inters[:, :, 0] * inters[:, :, 1]union_areas = areas1[:, None] + areas2 - inter_areasreturn inter_areas / union_areas

将真实边界框分配给锚框

# ground_truth真实的锚框，anchors给我们的锚框，device进行计算的设备，iou_threshold就是用来对比的，如果一个锚框与真实边框的值小于这个值，就不要了
def assign_anchor_to_bbox(ground_truth, anchors, device, iou_threshold=0.5):"""将最接近的真实边界框分配给锚框。"""num_anchors, num_gt_boxes = anchors.shape[0], ground_truth.shape[0]jaccard = box_iou(anchors, ground_truth)  # 算出所有的锚框和真实边框的IoUanchors_bbox_map = torch.full((num_anchors,), -1, dtype=torch.long,device=device)max_ious, indices = torch.max(jaccard, dim=1)anc_i = torch.nonzero(max_ious >= 0.5).reshape(-1)box_j = indices[max_ious >= 0.5]anchors_bbox_map[anc_i] = box_jcol_discard = torch.full((num_anchors,), -1)row_discard = torch.full((num_gt_boxes,), -1)for _ in range(num_gt_boxes):max_idx = torch.argmax(jaccard)box_idx = (max_idx % num_gt_boxes).long()anc_idx = (max_idx / num_gt_boxes).long()anchors_bbox_map[anc_idx] = box_idxjaccard[:, box_idx] = col_discard  # 删除对应行jaccard[anc_idx, :] = row_discard  # 删除对应列return anchors_bbox_map  # 最后得到一个map

给定框

动手学深度学习之锚框相关推荐

动手学深度学习 - 9.3. 目标检测和边界框
动手学深度学习 - 9.3. 目标检测和边界框动手学深度学习 - Dive into Deep Learning Aston Zhang, Zachary C. Lipton, Mu Li, and ...
资源 | 李沐等人开源中文书《动手学深度学习》预览版上线
来源:机器之心本文约2000字,建议阅读10分钟. 本文为大家介绍了一本交互式深度学习书籍. 近日,由 Aston Zhang.李沐等人所著图书<动手学深度学习>放出了在线预览版,以供读 ...
《动手学深度学习》PyTorch版本
Dive-Into-Deep-Learning-PyTorch-PDF 简介本项目对中文版<动手学深度学习>中的代码进行整理,并参考一些优秀的GitHub项目给出基于PyTorch的 ...
【深度学习】李沐《动手学深度学习》的PyTorch实现已完成
这个项目是中文版<动手学深度学习>中的代码进行整理,用Pytorch实现,是目前全网最全的Pytorch版本. 项目作者:吴振宇博士简介 Dive-Into-Deep-Learnin ...
送10本今年最火的《动手学深度学习》
点击我爱计算机视觉标星,更快获取CVML新技术 52CV曾经多次介绍FlyAI机器学习竞赛平台,不少粉丝也曾在FlyAI拿到现金奖励. 本次52CV & FlyAI联合送书,CV君查找了两天, ...
《动手学深度学习》TF2.0 实现
本项目将<动手学深度学习> 原书中MXNet代码实现改为TensorFlow2.0实现.经过我的导师咨询李沐老师,这个项目的实施已得到李沐老师的同意.原书作者:阿斯顿·张.李沐.扎卡里 C ...
364 页 PyTorch 版《动手学深度学习》分享（全中文，支持 Jupyter 运行）
1 前言最近有朋友留言要求分享一下李沐老师的<动手学深度学习>,小汤本着一直坚持的"好资源大家一起分享,共同学习,共同进步"的初衷,于是便去找了资料,而且还是中文版的 ...
动手学深度学习Pytorch Task07
本节课内容目标检测基础.图像风格迁移.图像分类案例1 一.目标检测基础锚框目标检测算法通常会在输入图像中采样大量的区域,然后判断这些区域中是否包含我们感兴趣的目标,并调整区域边缘从而更准确地预测目 ...
动手学深度学习——目标检测 SSD R-CNN Fast R-CNN Faster R-CNN Mask R-CNN
来源:13.4. 锚框 - 动手学深度学习 2.0.0-beta1 documentation 目标检测:锚框算法原理与实现.SSD.R-CNN_神洛华的博客目录目标检测简介目标检测模型编辑 ...