yolov5的anchors及bbox的编解码原理

1.anchor的生成

anchor的生成分为两个步骤：

首先会生成位于feature map左上角的base anchor，众所周知yolov3有9组anchor(图2)，3个不同尺度大小的输出，而3个输出各对应三组anchor；生成base anchor之后会根据不同feature map的stride对base anchor进行平移复制。

图1 anchor的生成的代码实现

图2 9组anchor h*w

1）base anchor的生成

现假设输入图片为448640，那么最后输出的三个featuremap大小从小到大依次为：1420、2840、5680，对应的stride从小到大依次为：32，16，8。**以1420的feature map为例**，stride=32，对应9组anchor中的第一组：[(116, 90), (156, 198), (373, 326)]。那么图1中的代码就干两件事儿，生成base anchor：

图3 base anchor中心点位于左上角网格的中心位置

2）base anchor的平移和复制

平移复制base anchor，stride=32(feature map为14*20，那么相对于原图一个网格边长就是32)：

图4 只画了116*90的anchor的平移示意，在14*20的feature map上最终共有14*20*3=840个anchor

最终，在14×20的feature map上有14×20×3=840个anchor，在28×40的feature map上有28×40×3=3360个anchor，在5680的feature map上有5680*3=13440个anchor，共计17640个anchor。

anchor生成完毕之后，再做一些操作之后就是decoder了，decode完毕之后就是NMS

2.bbox的编解码过程

编解码代码：

@BBOX_CODERS.register_module()
class YOLOV5BBoxCoder(BaseBBoxCoder):"""YOLO BBox coder.Following `YOLO <https://arxiv.org/abs/1506.02640>`_, this coder divideimage into grids, and encode bbox (x1, y1, x2, y2) into (cx, cy, dw, dh).cx, cy in [0., 1.], denotes relative center position w.r.t the center ofbboxes. dw, dh are the same as :obj:`DeltaXYWHBBoxCoder`.Args:eps (float): Min value of cx, cy when encoding."""def __init__(self, eps=1e-6):super(BaseBBoxCoder, self).__init__()self.eps = epsdef encode(self, bboxes, gt_bboxes, stride):"""YOLOv5 and YOLOx of YOLO series don't have encode"""raise NotImplementedError("YOLOv5 doesn't have encoder!")# targetdef delta_bbox(self, bboxes, pred_bboxes):"""Get delta_bboxes from anchors and pred_bboxes.Args:bboxes: anchors.(x1,y1,x2,y2)pred_bboxes: output bboxes of YOLOv5.(x,y,w,h)"""# anchors' width and heightw, h = bboxes[..., 2] - bboxes[..., 0], bboxes[..., 3] - bboxes[..., 1]# center of x & y of pred_bboxx_center_pred = (pred_bboxes[..., 0].sigmoid() - 0.5) * 2y_center_pred = (pred_bboxes[..., 1].sigmoid() - 0.5) * 2# w & h of pred_bboxw_pred = (pred_bboxes[..., 2].sigmoid() * 2) ** 2 * wh_pred = (pred_bboxes[..., 3].sigmoid() * 2) ** 2 * hdelta_bboxes = torch.stack((x_center_pred - w_pred / 2, y_center_pred - h_pred / 2,x_center_pred + w_pred / 2, y_center_pred + h_pred / 2),dim=-1)return delta_bboxesdef decode(self, bboxes, pred_bboxes, stride):"""Apply transformation `pred_bboxes` to `boxes`.Args:boxes (torch.Tensor): Basic boxes, e.g. anchors.pred_bboxes (torch.Tensor): Encoded boxes with shapestride (torch.Tensor | int): Strides of bboxes.Returns:torch.Tensor: Decoded boxes."""assert pred_bboxes.size(0) == bboxes.size(0)assert pred_bboxes.size(-1) == bboxes.size(-1) == 4x_center = (bboxes[..., 0] + bboxes[..., 2]) * 0.5y_center = (bboxes[..., 1] + bboxes[..., 3]) * 0.5w = bboxes[..., 2] - bboxes[..., 0]h = bboxes[..., 3] - bboxes[..., 1]# Get outputs x, y# 由于mmdetection的anchor已经偏移了0.5，故*2的操作要放在外面x_center_pred = (pred_bboxes[..., 0] - 0.5) * 2 * stride + x_centery_center_pred = (pred_bboxes[..., 1] - 0.5) * 2 * stride + y_center# yolov5中正常情况应该是# x_center_pred = (pred_bboxes[..., 0] * 2. - 0.5 + grid[:, 0]) * stride  # xy# y_center_pred = (pred_bboxes[..., 1] * 2. - 0.5 + grid[:, 1]) * stride  # xy# wh也需要sigmoid，然后乘以4来还原w_pred = (pred_bboxes[..., 2].sigmoid() * 2) ** 2 * wh_pred = (pred_bboxes[..., 3].sigmoid() * 2) ** 2 * hdecoded_bboxes = torch.stack((x_center_pred - w_pred / 2, y_center_pred - h_pred / 2,x_center_pred + w_pred / 2, y_center_pred + h_pred / 2),dim=-1)return decoded_bboxes

bbox框的编解码原理
其实整个过程可以理解成anchor在起什么作用，下面就简单的说明一下。我们知道yolo直接去预测出目标的位置坐标是不现实的，所以yolo的作者就提出去预测gt和anchor的偏移量。
示意图说明：

图5 图中蓝色框表示Anchor，绿色框表示人工标注，红色框则表示网络的预测结果(未经过训练)

上图中我们要先得到Anchor中心点所在网格的左上角坐标a=(6,2)，再得到人工标注的中心点坐标g=(6.3,3.3)，我们取到点g相对于点a的偏移量，记作p=(0.3,1.3)，以p点坐标为中心，宽高与人工标注相同，得到target框如下：

图6 左上角天蓝色框为target，即网络需要预测的东西注意上图中的**天蓝色框target**就是网络需要预测的东西！好了，现在涉及到编码encode了，原来yolov5中的encode代码如下：

pxy = pxy.sigmoid() * 2 - 0.5 # pxy即网络输出的框的xy坐标
pwh = (pwh.sigmoid() * 2) ** 2 * anchor[i] # anchor[i]即对应anchor的宽高
# 可以看出来，上述变化将xy坐标约束到区间[-0.5,1.5]，将wh约束到[0,4]*anhcor_wh

将encode应用到上图中的网络输出pred_bbox和anchor，设pred_bbox中心点为r=(3.3,5.2)，w=1.9，h=2.2，经过上述两行代码，r=(3.3,5.2)变成(1.428, 1.489)，w=1.9变成1.89，h=2.2变成2.43，将得到的新框记作delta，如下：

至此，encode就完成了，一开始我们的网络没有经过训练，框都是乱跑的，经过编码之后约束到一个区间。算法会将上图中的delta框和target送入损失函数中，让网络去学习、去更新参数，使得delta框与target框趋于重合。我们假设网络学习效果非常好，现在的delta框已经与target框几乎重合：

注意了！理一下逻辑。这个时候，我们网络的输出pred_bboxes经过encode之后得到的框(记作res)几乎就是target框，还记得之前的Anchor中心点所在网格的左上角坐标a=(6,2)吗，加到res上不就是人工标注嘛！！

至此就结束了。这边可能有一点绕，因为我觉得下面的逻辑更加合适：

参考：
MMDetection移植yolov5——(二)前向推理