单目摄像头检测6D姿态

CVPR2019: ROI-10D: Monocular Lifting of 2D Detection to 6D Pose and Metric Shape

论文链接：

https://arxiv.org/pdf/1812.02781.pdf

摘要

本文提出了一种端到端单目三维目标检测和度量形状检索的深度学习方法，将二维检测、定位和尺度估计提升到三维空间，提出了一种新的损失公式。三维实例化不需要单独优化这些数量，而是允许正确测量框的度量偏差。实验表明，本文提出的稀疏二维感兴趣区域（RoIs）的10D提升方法在6D姿态和恢复实例的纹理度量几何方面都取得了很好的效果。这进一步通过将恢复的网格直接修复到2D场景上来实现3D合成数据增强。本文在KITTI3D上对其他强单目方法进行了评估，并证明本文的方法在官方测试集的3D姿势度量上是AP的两倍，定义了新的技术状态。

本文提出了一种单目深网络，它可以在三维空间精确估计和形状恢复的情况下提升二维检测，直接优化一种新的三维损失公式。本文发现，最大化三维对齐端到端的6D姿态估计，导致了非常好的结果，因为本文优化的数量正好是本文所寻求的。本文对KITTI3D中的姿态分布以及如何在恢复网格的情况下利用这些信息进行合成数据增强提供了一些有见地的分析。这个反射对改善姿势很有帮助，改进了recall召回率。然而，非最大抑制2和3是对最终结果的主要影响，也应在未来的工作中加以解决。

主要贡献

本文提出了一种端到端单目三维目标检测和度量形状检索的深度学习方法，提出了一种新的端到端单眼三维目标检测方法，即以单个RGB图像为输入，预测目标在3D中的位置和范围。本文的核心思想是通过使用单目深度网络提升预测的感兴趣区域（roi）来回归面向3D的包围盒。主要贡献是：

1.用于单目3D物体检测的端到端多尺度深度网络，包括一个可微的2D到3D RoI提升地图，该地图内部回归了3D盒子实例化所需的所有组件；通过将2D检测、定向和尺度估计提升到3D空间来制定oss。三维实例化不需要单独优化这些数量，而是允许正确测量框的度量偏差。实验表明，本文提出的稀疏二维感兴趣区域（RoIs）的10D提升方法在6D姿态和恢复实例的纹理度量几何方面都取得了很好的效果。这进一步通过将恢复的网格直接修复到2D场景上来实现3D合成数据增强。本文在KITTI3D上对其他强单目方法进行了评估，并证明本文的方法在官方测试集的3D姿势度量上是AP的两倍，定义了新的技术状态。

2.一个损失函数，在度量空间中对齐这些3D框，直接将它们相对于地面真值3D框的误差最小化；

3.扩展本文的模型，以预测度量纹理网格，支持进一步的三维推理，包括三维相干合成数据增强。

概述

算法流程

本文称本文的方法为“ROI-10D”，因为它提升了感兴趣的2D区域3用于预测6个自由度姿势（旋转和平移）、3个自由度空间范围和1个或多个自由度形状的三维。

图2. 算法总览。

本文使用ResNet-FPN架构和单目深度预测网络对输入图像进行二维检测。本文使用预测感兴趣区域（RoI）从ResNet-FPN和深度网络中提取融合的特征图，在回归3D边界框之前进行roalign操作，本文称之为RoI提升

1.从单目2D到6D姿态

选择将旋转编码为4D四元数，将平移编码为投影的二维物体质心以及相关的深度。此外，本文将三维范围描述为在整个数据集上与平均范围的偏差。

图3. 本文的提升F对所有组件进行回归以估计3D框B（蓝色）。从这里开始，本文的损失最小化了指向地面真相B*的点方向距离（红色）。

本文对这些3D锚的2D实例化是稀疏的，可以在整个图像平面上工作。虽然这样的三维锚显式地提供了物体的三维位置，但本文额外的自由度也需要估计深度。

2.三维提升位姿误差估计

仅从单目数据估计姿态时，像素空间中的微小偏差会导致3D中的较大误差，另外，对每一项进行单独的惩罚会导致不稳定的优化，并且容易产生次优的局部极小值。本文建议将问题提升到3D，并使用一个描述完整6D姿势的代理损失。因此，本文不强制同时对所有术语进行同等优化，而是让网络在训练期间决定其重点。

给定一个地面真值3D框B∗：={B∗1，…，B∗8}及其相关的2D检测X，本文运行本文的提升图来检索3D预测F（X）=B。损失本身是度量空间中八个角距离的平均值

3.向心回归与中心提升

提升多个工作强调了估计单目数据，特别是大视场的异中心姿态的重要性。图4描述了这种差异，其中相对于相机的相对对象平移改变了观察到的视点。因此，本文遵循同样的原则，因为roi失去了全局上下文。因此，在F内的回归过程中，旋转q被认为是非中心的，然后用推断的平移进行校正，以构建以中心为目标的3D盒。

图4。中心（上）和非中心（下）姿势的比较。当中心的姿势在转换时会对摄影机进行视点更改时，以自我为中心的姿势总是显示相同的视图，与对象的位置无关。

4.物体形状学习与检索

    光滑形状空间的学习：光滑形状空间的学习

在实验过程中，本文发现形状空间在远离平均值的情况下是快速不连续的，从而导致网格退化。利用主成分分析（PCA）方法生成合适的形状需要根据其标准差对每个维度进行评估，为了避免这个繁琐的过程，本文训练了一个由编码器E和解码器D组成的三维卷积自动编码器，并对输出TSDF施加不同的约束。

5.合成三维数据增强

    本文不使用强大的手动或地图优先级来放置场景中的合成对象。取而代之的是，本文采用非中心姿势来移动三维物体而不改变视点。本文在3D中应用一些旋转摄动来产生新的不可见姿势并减少过度拟合。图6展示了一个综合生成的训练样本。红色边界框显示原始的地面真值注释，而绿色边界框则显示综合添加的汽车及其采样的6D姿势。

主要结果

    如表1和表3所示，由于严格的3D-NMS，本文的方法在2D中的性能较差，但在鸟瞰图和3D AP中，本文是最强的。这突出了适当的数据分析以抵消过度拟合的重要方面。在官方测试中，本文得到的3D AP大约是本文最近的单眼竞争对手的两倍。

表1. KITTI3D验证[3]和官方KITTI3D测试集的3D检测性能。本文报告了鸟瞰图和3D IoU的AP，每个指标的官方IoU阈值为0.7。注意，本文只评估了在线测试集上的合成ROI-10D版本。

表3. 从[3]中分离出列车/验证的不同加权策略和输入模式。本文的AP涉及二维检测、鸟瞰挑战和三维IoU。除了官方的IoU阈值0.7，本文对比了0.5的软阈值。

上图与初始值无关，本文可以观察到本文的损失总是平稳地收敛到全局最优。本文还从公式3中显示了每个雅可比分量的大小，并且可以看出，损耗强烈集中在深度上，同时对旋转和二维质心位置的重要性稳步增加

上图给定2droix的控制性升降损失实验。上图：在相机和鸟瞰图的优化过程中可视化F（X）。底部：每个提升组件的梯度大小，在所有运行中平均。本文参考完整动画的补充。

    通过检查2D AP中的下降，本文意识到本文的增强设计是无遮挡的，以避免与环境不现实的交叉。反过来，这导致了强遮挡实例的弱表示和另一个引入的偏差。本文在图2中还显示了一些定性结果。

上图测试（左）和验证（右）集上的定性结果。值得注意的是，本文只是在训练集训练，以确保本文从来没有看到过这些图像。对于验证样本，本文还用红色描绘了地面真实姿势。

单目摄像头检测6D姿态相关推荐

单目摄像头检测输出 3D 边界框
单目摄像头检测输出 3D 边界框单纯的 2D 检测框无法在 3D 空间去做规划控制,单目图像估计 3D 检测框也是自动驾驶研发的一个课题,百度 Apollo 发布 2.5 / 3.0 版本特意提到这 ...
3D单目目标检测从入门到做自己的Tesla
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:林大佬 | 来源:知乎 https://zhuanlan.zhihu.com/p/1427766 ...
AutoShape：实时单目3D检测网络（ICCV2021）
作者丨柒柒@知乎来源丨https://zhuanlan.zhihu.com/p/404683961 编辑丨3D视觉工坊论文标题:AutoShape: Real-Time Shape-Aware M ...
GUPNet：基于几何不确定性映射的单目3D检测网络（ICCV2021）
作者丨柒柒@知乎来源丨https://zhuanlan.zhihu.com/p/397105796 编辑丨3D视觉工坊论文标题:Geometry Uncertainty Projection Ne ...
3D视觉(二)：单目摄像头的标定与校正
3D视觉(二):单目摄像头的标定与校正文章目录 3D视觉(二):单目摄像头的标定与校正一.相机模型 1.机器车坐标系到相机坐标系 2.相机坐标系到归一化平面坐标系 3.归一化平面坐标畸变 4.归一 ...
基于单目摄像头的BEV实例预测（ICCV 2021）
作者丨黄浴@知乎来源丨https://zhuanlan.zhihu.com/p/422992592 编辑丨3D视觉工坊 ICCV'21论文 "FIERY: Future Instance ...
Mobileye采用单目摄像头做ADAS太不精确
Mobileye采用单目摄像头做ADAS太不精确?用双目摄像头的"中科慧眼"认为双目测距算法才是最精确的 Nicholas • 2016-01-05 18:53 ADAS(Adva ...
单目摄像头光学图像测距_摄像头与毫米波雷达（Radar）融合解析
01 摄像头和雷达的融合是很多做ADAS当前所关注的关键问题之一.因为单纯摄像头和雷达都无法解决测距问题.不仅在测距,今后可能所应用到的高精度地图也都是需要使用摄像头和雷达的融合才能够实现.当前寻求到 ...
python opencv 摄像头标定_（五）单目摄像头标定与畸变矫正（C++，opencv）
本文将梳理一种单目摄像头标定和矫正的方法,在梳理的过程中,首先使用网上离线的图片数据跑通流程,然后接入自己的camera,手动采集标定图像,实时矫正相机的畸变,然后输出矫正后的图像.全文基于Openc ...

单目摄像头检测6D姿态

单目摄像头检测6D姿态相关推荐

最新文章

热门文章