单目车辆3Dbox检测算法对比

2024-04-25 13:22:46

现有的3dBox的检测算法
大部分都是直接回归pose
a)将3D模型遍历姿态参数，投影到2D，进行HOG特征匹配；
　b)将3D模型遍历姿态参数，投影到2D，进行shape匹配；
c)ＣＮＮ直接回归pose参数
　d)ＣＮＮ关键点检测，然后pnp求解姿态

DeepManta

图文将文章的算法将的清清楚楚！
输入图片，经过三个共享参数的卷积模块获得关键点，可见性，2D框，模板相似度。接下来将以上这些几何送入NMS，去掉冗余的部分，然后选择用模板相似度选择最匹配的模板，通过关键点（2D/3D关键点pnp)求解3Dbox;

3D Bounding Box Estimation Using Deep Learning and Geometry，CVPR，2017

回归方向角及dimension、2Dbox
利用相机内参、3D-2D透视变换约束求解Ｒ、Ｔ(
关于3Dbox，我们用以下的符号进行表示:

然后，我们有以下限制：

假设物体坐标系的原点位于3D边界框的中心并且物体尺寸D是已知的，则3D边界框顶点的坐标可以简单地通过X1 = [dx/2; dy/2; dz/2]T , X2 = [-dx/2; dy/2; dz/2]T , … ,X8 = [-dx/2; -dy/2; -dz/2]T 进行描述。3D边界框紧密地投影到2D检测窗口中的这种约束要求2D边界框的每一侧被至少一个3Dbox的corner的投影连接。举个例子，假设3D corner X0 = [dx/2; -dy/2; dz/2]T 用坐标xmin触摸2D边界框的左侧。这种点对边的对应约束导致了以下等式

其中（.）x是指透视投影的x坐标。可以为剩余的2Dbox side参数xmax ; ymin; ymax .导出类似的方程。总的来说，2D边界框的边在3D边界框上提供了四个约束。这不足以约束九个自由度（DoF）（三个用于平移，三个用于旋转，三个用于盒子尺寸）。我们可以从盒子的视觉外观估计出几种不同的几何属性，以进一步约束3Dbox。主要标准是它们应与视觉外观紧密联系，并进一步限制最终的3D box。
这个3D限制有点复杂，太难讲清楚了
设计精巧之处：

单目车辆3Dbox检测算法对比相关推荐

万字长文概述单目3D目标检测算法
一,理论基础-相机与图像相机将三维世界中的坐标点(单位为米)映射到二维图像平面(单位为像素)的过程能够用一个几何模型进行描述,这个模型有很多种,其中最简单的称为针孔相机模型.相机的成像过程是也一个射 ...
首个实时单目3D目标检测算法：RTM3D，代码将开源
o 点击我爱计算机视觉标星,更快获取CVML新技术基于单目图像的3D目标检测是在输入RGB图像的情况下估计目标的3D包围框,在自动驾驶领域非常有用. 今天来自中科院沈阳自动化所等单位的学者公布论文提 ...
【单目3D目标检测】FCOS3D + PGD论文解析与代码复现
文章目录前言 FCOS3D 概述主要创新点主要框架结构回归目标损失函数推理过程 2D引导的多层3D预测 2D高斯分布的3D中心度实验设置源码复现 PGD 概述主要创新点深度估计主 ...
【单目3D目标检测】项目实战-道路车辆/行人3D目标检测
[单目3D目标检测]项目实战-道路车辆/行人3D目标检测任务定义传统激光雷达3D检测模型 VS 单目3D检测模型单目3D目标检测优点单目3D目标检测难点数据集 KITTI数据集标注及网络输出 ...
【利用MMdetection3D框架进行单目3D目标检测（smoke算法】
利用MMdetection3D框架进行3D目标检测(smoke算法) 1.mmdetection3d 2.mmdetection3d安装 2.1 依赖 3.进行单目3D目标检测 1.mmdetecti ...
DD3D:基于预训练的单目3D目标检测
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达来源丨CV研习社作者丨元气满满的打工人文章导读导读:3D目标检测的主要应用场景就是自动驾驶,虽然 ...
干货！探索单目车辆估计中的中间几何表示
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 我们在这项工作中提出一种从单张RGB图片估计车辆在相机坐标系中姿态的方法.与传统方法不同的是,我们不采用先估计观测角再进行转换的二步方法 ...
MonoCon：使用辅助学习的单目3D目标检测框架(AAAI 2022)
作者丨慕弋云子@知乎来源丨https://zhuanlan.zhihu.com/p/455897310 编辑丨3D视觉工坊本文已被收录在单目3D目标检测的综述文章中.如果你对单目3D目标检测的相关 ...
ICCV2021|单目3D目标检测真的需要伪激光雷达吗？
作者丨agent@知乎来源丨https://zhuanlan.zhihu.com/p/406918022 编辑丨3D视觉工坊 Paper: arxiv.org/pdf/2108.0641 Code: ...

最新文章

热门文章