Learning Less is More – 6D Camera Localization via 3D Surface Regression

在Python满天飞, tensorflow横行的DL界, 遇到好久不见的开源C++ Project简直是一股清流...................

Proj:https://hci.iwr.uni-heidelberg.de/vislearn/research/scene-understanding/pose-estimation/

Git:https://github.com/vislearn/LessMore

Key Point: differentable RANSAC

Learning Less Is More - 6D Camera Localization via 3D Surface Regression

本文由德国海德堡大学完成，跟上面介绍的 MapNet 一样，也是研究从单张图像恢复相机 6DOF 位姿的问题。在目前主流的基于深度学习进行相机 6DOF 定位的方法中，一般都采用端到端地学习整个相机定位的过程或者用学习相机定位的大部分流程。这篇文章与其它方法不太一样，作者认为，其实只需要学习相机定位中的一个模块便足够做到精准的定位。基于作者之前的 CVPR 2017 的可导 RANSAC 方法，作者提出了一种用全连接神经网络来稠密拟合“场景坐标”的方法，建立输入彩色图像和三维场景空间的联系。“场景坐标”是指将图像中的局部块映射到三维空间中三维点，从而得到局部块的坐标。由于局部块具有相对比较稳定的外观，即对视角变化不太敏感，使得对齐图像和三维模型比较容易。作者提出的这种方法具有高效、精确、训练鲁棒、泛化能力强等优点，其在室内和室外的数据集上都一致地比当前领先的技术要好。最后值得一提的是，这种方法在训练的时候不需要利用一个已知的三维场景模型，因为训练的时候可以自动地从单目视觉约束中学习到这个三维场景的几何信息。从论文中描述的在 7Scenes 数据集上的性能来看，本篇论文的方法的精度比MapNet 方法的精度要高出不少。

Our method scales to large outdoor scenes but fails on city-scale scenes like the challenging Cambridge Street scene [11]. In the future, we could pair our system with an image retrieval approach as proposed in [21].

文章阐述,在应用大场景中,此种方法是失败的.预期在后期引入图像检索的方法;

Learning Less is More – 6D Camera Localization via 3D Surface Regression相关推荐

Efficient Global 2D-3D Matching for Camera Localization in a Large-Scale 3D Map
文章目录 Efficient Global 2D-3D Matching for Camera Localization in a Large-Scale 3D Map 1. 相似源码 choose_ ...
单目图像深度估计 - 应用篇：Learning to be a Depth Camera
目录入门篇:图像深度估计相关总结应用篇:Learning to be a Depth Camera 尺度篇:Make3D 迁移篇:Depth Extraction from Video Using ...
Agent with Tangent-based Formulation and Anatomical Perception for Standard Plane Localization in 3D
目录摘要简介方法平面定位的强化学习动作Action(8维->6维) 状态State 奖励Reward(SLR+ASR) 回放缓存Replay Buffer 损失Loss 状态内容相似度 ...
Agent with Warm Start and Adaptive Dynamic Termination for Plane Localization in 3D Ultrasound
目录摘要方法框架 landmark感知对齐平面特定图集构建测试体积图集对齐自适应动态终止实验 Dataset Setting 参数 RL RNN(自适应动态终止Adaptive Dyna ...
鸿蒙轻量设备侧Camera应用中的Surface使用
鸿蒙轻量设备侧Camera应用中的Surface使用本文作者:江苏润和软件股份有限公司郎建中一.总体描述在鸿蒙轻量设备侧图形子系统中包含了Surface模块.这个模块模仿了Android的Su ...
Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane corresponde
Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane corresponde ...
surface安装鸿蒙系统,#2020征文-其它#鸿蒙轻量设备侧Camera应用中的Surface使用(上)...
一.总体描述在鸿蒙轻量设备侧图形子系统中包含了Surface模块.这个模块模仿了Android的Surface实现,采用了生产者和消费者模型,但是也有些区别. Android中的Surface的生产 ...
MapNet：Geometry-Aware Learning of Maps for Camera Localization相机定位的几何感知学习地图
摘要地图是基于图像的相机定位和视觉SLAM系统的关键组成部分.本文MapNet除了图像之外还利用廉价且无处不在的感官输入,如视觉里程计和GPS,并将它们融合在一起以进行相机定位. 本文还提出了一种新 ...
CenterFusion: 基于Radar和Camera融合的3D检测算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨Tom Hardy@知乎来源丨https://zhuanlan.zhihu.com/p/319 ...

Learning Less is More – 6D Camera Localization via 3D Surface Regression

Learning Less is More – 6D Camera Localization via 3D Surface Regression相关推荐

最新文章

热门文章