PlaneTR：一种用于提取场景中3D平面特征的Transformer(ICCV 2021)

论文标题：PlaneTR: Structure-Guided Transformers for 3D Plane Recovery

录用信息：ICCV2021

代码地址：https://git.io/PlaneTR

1、背景

从单个RGB图像中恢复或重建出场景中的3D平面结构是3D视觉中的一个基本问题，并且由于其具有的不适定性而非常具有挑战性。这个问题的本质目的是检测场景中平面实例的区域并估计出它们在图像中的3D平面参数（例如表面法线和偏移）。作为3D场景的基本特征结构，重建平面在增强现实、视觉SLAM和室内场景理解等下游任务中具有广泛的应用前景。

一些早期的方法倾向于利用线段、相交点和消失点等几何元素以自下而上的方式解决这个问题。这些几何元素通常首先被分成不同的组，然后在一系列严格的假设（例如曼哈顿世界）和规则下分析特征以恢复3D平面。这些基于结构的方法虽然在一定程度上取得了成功，但也存在几何图元检测缺失或错误、技术流程复杂、场景受限等问题，影响其性能和应用。最近，一些基于神经网络的方法以自上而下的方式直接从输入图像中预测具有3D平面参数的平面实例mask。这些方法放松了基于结构的方法的约束，并取得了不错的性能。然而，它们主要利用来自CNN的上下文信息，却忽略图像中对3D平面恢复有用的结构特征。

在本文中，作者选择在基于学习的框架下利用几何结构来解决室内场景的3D平面提取问题。尽管存在各种低级几何图元，但作者发现与其他几何图元相比，线段构建出的3D平面通常包含更全面的场景3D信息，例如特征点、边缘和消失点。

近期一些CNN方法使用密集图

PlaneTR：一种用于提取场景中3D平面特征的Transformer(ICCV 2021)相关推荐

一种基于分层聚合的3D实例分割方法（ICCV 2021)
Hierarchical Aggregation for 3D Instance Segmentation (ICCV 2021) 代码地址:https://github.com/hustvl/HAI ...
MPASNET：用于视频场景中无监督深度人群分割的运动先验感知SIAMESE网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达小白导读论文是学术研究的精华和未来发展的明灯.小白决心每天为大家 ...
点云 3D 目标检测 - RangeDet（ICCV 2021）
点云 3D 目标检测 - RangeDet: In Defense of Range View for LiDAR-based 3D Object Detection - 基于LiDAR的3D目标检测 ...
亚马逊饱受争议的AI识图工具Rekognition，正被用于提取医学图像中的患者隐私...
雷锋网消息据MedCity News报道,科技巨头亚马逊正在将其"饱受争议"的Rekognition图像识别软件和视频分析服务,应用到医疗图像领域. 亚马逊称,Rekogniti ...
ROS☞通过两种方法提取.bag中的图像数据
以下两种环境均在Ubuntu16.04环境下测试成功. 第一种方法 ROS-从rosbag中提取图像(by launch文件) 1.新建launch文件(文件在哪无所谓,可以在catkin_ws的根目 ...
[图像融合-论文笔记]A multiscale residual pyramid attention network for medical image fusion一种用于医学图像融合的多尺度残差金
A multiscale residual pyramid attention network for medical image fusion 一种用于医学图像融合的多尺度残差金字塔注意网络作者: ...
Python批量重命名Maya场景中的3D物体
最初接触Maya是从7.0开始的,那时候Maya只支持mel(Maya Expression Language),mel的局限性很大,只能在Maya内部使用,功能来说没有Python强大: 后来从Ma ...
结构化场景中的RGB-D SLAM
点云PCL免费知识星球,点云论文速读. 文章:RGB-D SLAM with Structural Regularities 作者:Yanyan Li , Raza Yunus , Nikolas B ...
Attention SLAM：一种从人类注意中学习的视觉单目SLAM
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨泡椒味的口香糖来源丨GiantPandaCV 0. 引言当人们在一个环境中四处走动时,他们通 ...

PlaneTR：一种用于提取场景中3D平面特征的Transformer(ICCV 2021)

PlaneTR：一种用于提取场景中3D平面特征的Transformer(ICCV 2021)相关推荐

最新文章

热门文章