论文链接

1、出发点

首先Rotate RPN通过撒各个角度比例尺寸的anchor生成OP(Oriented Proposal的缩写)，缺点很明显：计算量和内存占用大。
于是RoI Transformer提出借助水平anchor来生成OP，由于舍弃了旋转anchor故计算量下去了。大致流程就是：Horizental_Anchor --> RPN --> Horizental Proposal -->Roi Align–> FC --> OP。缺点：引入了FC和RoIAlign，导致网络heavy且复杂。
故本文考虑直接Horizental_Anchor --> OP,从而简化模型降低过拟合风险。

2、模型结构

总体结构比较简单，就是二阶网络结构。我首先介绍Oriented RPN。

2.1. Oriented RPN

这里关注下通道维度变化：首先256是特征图维度，之后在特征图每个位置撒了A(A=3)个Horizental anchor，经过 1*1 的卷积操作将通道维度变成了6*A = 18。即每个anchor的输出预测值为6个参数：(x,y,w,h, delta_alpha, delta_belta)，分别表示中心，倾斜框的外接矩形的宽和高以及偏移中心位置的两个量。以下图为例：

本质上将OP表示方式变成了6个参数表示方式。通过下面公式很容易得到OP的v1-v4四个角点的横纵坐标。

由于预测出来的(delta_alpha, delta_belta)不可能完全一样，故导致输出的OP是个平行四边形：如下图：

而RRoI Align只能提取倾斜矩形框的特征，并不能提取倾斜平行四边形特征，故本文在RPN输出OP前又多了一步解码过程，将平行四边形变成(x,y,w,h,theta)格式，便于后续RRoI Align提取特征。

思路就是先计算平行四边形的对角线长度，将短边resize和长边一样长就行了。这里贴下代码：

    polys = torch.stack([ga, y1, x2, gb, _ga, y2, x1, _gb], dim=-1) # 平行四边形四个坐标center = torch.stack([gx, gy, gx, gy, gx, gy, gx, gy], dim=-1)  # 堆叠四次中心坐标center_polys = polys - center     # 计算每个坐标和中心的相对距离diag_len = torch.sqrt(            # 计算对角线长度,就是 勾股定理torch.square(center_polys[..., 0::2]) + torch.square(center_polys[..., 1::2]))max_diag_len, _ = torch.max(diag_len, dim=-1, keepdim=True)      # 获得长边长度diag_scale_factor = max_diag_len / diag_len                      # 获得resize比例# 将相对距离进行resizecenter_polys = center_polys * diag_scale_factor.repeat_interleave(2, dim=-1) rectpolys = center_polys + center  # 相对距离在+上中心得到倾斜矩形四个坐标obboxes = rectpoly2obb(rectpolys).flatten(-2) # 转成五点表示法

2.2. RRoI Align

这部分不介绍了，就是提取Oriented RPN生成的OP的特征向量。

总结

实验效果SOTA，这里不贴了。若有问题欢迎+vx：wulele2541612007，拉你进群探讨交流。

OrientedRCNN论文解读相关推荐

自监督学习(Self-Supervised Learning)多篇论文解读（下）
自监督学习(Self-Supervised Learning)多篇论文解读(下) 之前的研究思路主要是设计各种各样的pretext任务,比如patch相对位置预测.旋转预测.灰度图片上色.视频帧排序等 ...
自监督学习(Self-Supervised Learning)多篇论文解读（上）
自监督学习(Self-Supervised Learning)多篇论文解读(上) 前言 Supervised deep learning由于需要大量标注信息,同时之前大量的研究已经解决了许多问题.所以 ...
可视化反投射：坍塌尺寸的概率恢复：ICCV9论文解读
可视化反投射:坍塌尺寸的概率恢复:ICCV9论文解读 Visual Deprojection: Probabilistic Recovery of Collapsed Dimensions 论文链接: ...
从单一图像中提取文档图像：ICCV2019论文解读
从单一图像中提取文档图像:ICCV2019论文解读 DewarpNet: Single-Image Document Unwarping With Stacked 3D and 2D Regressi ...
点云配准的端到端深度神经网络：ICCV2019论文解读
点云配准的端到端深度神经网络:ICCV2019论文解读 DeepVCP: An End-to-End Deep Neural Network for Point Cloud Registration ...
图像分类：CVPR2020论文解读
图像分类:CVPR2020论文解读 Towards Robust Image Classiﬁcation Using Sequential Attention Models 论文链接:https:// ...
CVPR2020论文解读：手绘草图卷积网络语义分割
CVPR2020论文解读:手绘草图卷积网络语义分割 Sketch GCN: Semantic Sketch Segmentation with Graph Convolutional Networks ...
CVPR2020论文解读：3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
CVPR2020论文解读：三维语义分割3D Semantic Segmentation
CVPR2020论文解读:三维语义分割3D Semantic Segmentation xMUDA: Cross-Modal Unsupervised Domain Adaptation for 3D ...

OrientedRCNN论文解读

1、出发点

2、模型结构

2.1. Oriented RPN

2.2. RRoI Align

总结

OrientedRCNN论文解读相关推荐

最新文章

热门文章