文章转自：http://blog.csdn.net/zhubaohua_bupt/article/details/74172831

利用相机进行三维重建已经不是一个新鲜的话题，重建的三维环境用途很广泛，

比如检测识别目标，作为深度学习的输入，视觉SLAM。

目前，比较流行的是单、双目的重建。根据重建的稀疏程度不同，可以分为以下以下几类：

稀疏重建：

通常是重建一些图像特征点的深度，这个在基于特征的视觉SLAM里比较常见，得到的特征点的深度可以用来计算相机位姿。稀疏重建在实际应用，比如检测，避障，不能满足需求。

半稠密重建：

通常是重建图像纹理或梯度比较明显的区域，这些区域特征比较鲜明。半稠密重建在直接法视觉SLAM里比较常见。重建的三维点云相对稠密，可以满足部分应用需求。

稠密重建：

稠密重建是对整个图像或者图像中的绝大部分像素进行重建。与稀疏、半稠密相比，稠密重建对场景的三维信息理解更全面，更能符合应用需求。但是，由于要重建的点云数量太多，相对耗时。

1 双目重建：

双目重建通常又称之为，立体匹配、双目匹配、双目立体视觉、静态匹配等。

根据所用的相机差异，比如针孔相机、鱼眼相机，实现略有差别。根据重建时匹配方式的不同，又可以分为全局、本全局、局部匹配。OpenCV的GM,SGBM,BM就分别实现了上述算法。

想要了解这方面知识，以上述关键字关键字（立体匹配、双目匹配、双目立体视觉）或（Stereo Matching）搜论文。比如[1][2][3]。其过程可描述如下：

利用左右相机得到的两幅矫正图像，通过一幅图在另一幅图上找匹配，然后根据三角测量原理恢复出环境三维信息。在鱼眼相机的匹配中，也有不矫正图像，直接匹配的做法，这样做需要计算图像极线。

由于整个匹配的过程只需一个时刻的左右图像，所以也有人称为静态立体视觉。

2 单目重建

传统的视觉方法（不包括深度学习）单目重建，利用单幅图像不能完成重建，需要时间域上一系列图像。

所以有人也称之为动态立体视觉。根据重建的实时性不同，可以分为离线重建和在线重建。

2.1离线重建：

比如 SFM技术，此技术根据在一段时间内获得的连续图像来重建一个三维环境。中文文献搜(运动恢复结构)，英文搜(Structurefrom motion)。

2.2在线重建：在线重建可以分为渐进式重建和直接式重建。在线重建或多或少都和VO或者(SLAM)有联系，因为重建的时候需要相机的位姿。

2.2.1渐进式重建

渐进式重建利用下一时刻的图像不断融合之前的三维信息，类似于卡尔曼滤波思想，而且三维重建实际上也是深度重建，因此，渐进式重建也称之为深度滤波。

比如：[4]SVO和[5]REMODE,这两个论文是一个作者，SVO和REMODE有深度滤波详细的过程，并且有开源实现代码。

SVO: https://github.com/uzh-rpg/rpg_svo (深度滤波在depth_filter.cpp里面)

REMODE:https://github.com/uzh-rpg/rpg_open_remode

2.2.2直接式重建

直接式重建，利用若干个时刻（一般几帧至几十帧）的图像，一次性完成对同一个场景的三维重建。

直接式重建也有人称之为深度融合，有点类似于SFM,与SFM不同的是，参与计算的图像少，实时性较高。

文章[7]是这方面的方法，但代码没有开源，如果比较了解深度滤波原理，这个也容易实现。

[1] Semi-Global-Matching

[2] Stereo Processing by Semi-Global Matchingand Mutual Information

[3] 基于鱼眼相机的立体匹配

[4] C.Forster, M. Pizzoli, and D. Scaramuzza, “SVO: Fast Semi-Direct Monocular VisualOdometry,” in Proc. IEEE Intl. Conf. on Robotics and Automation, 2014.

[5] MatiaPizzoli, Christian Forster, and Davide Scaramuzza. REMODE: Probabilistic,monocular dense reconstruction in real time. In International Conference onRobotics and Automation (ICRA), pages 2609–2616, Hong Kong,China, June 2014.

[6] V. Usenko,J. Engel, J. Stuckler, and D. Cremers. Reconstructing Street-Scenes inReal-Time From a Driving Car

[7] Ra´ulMur-Artal and Juan D. Tard´os Probabilistic Semi-Dense Mapping from HighlyAccurate Feature-Based Monocular SLAM,2015

图像三维重建方法综述相关推荐

opencv sgbm 三维重建_图像三维重建方法综述
文章转自:http://blog.csdn.net/zhubaohua_bupt/article/details/74172831 利用相机进行三维重建已经不是一个新鲜的话题,重建的三维环境用途很广泛 ...
帮推|基于深度学习的图像融合方法综述
基于深度学习的图像融合方法综述博主朋友关于图像融合的综述论文基于深度学习的图像融合方法综述已被<中国图象图形学报>正式接收! 极力推荐想要入门图像融合领域的小伙伴下载学习,此外希望在图像 ...
文献阅读笔记--深度学习图像修复方法综述
1.基本信息: 深度学习图像修复方法综述强振平,何丽波,陈旭,徐丹 2018-10 中国图像图形学报 2.核心内容: (1)基于深度学习的图像修复理论及其发展现状的综述,所使用的方法是对基于深度学习 ...
医疗图像三维重建方法小结（python+VTK+ITK+Mayavi）
医疗图像三维重建forpython 环境简介方法方法一 Poly3DCollection+matplotlib 方法二 VTK+ITK 方法三 Mayavi之contour3d 最终方法Mayav ...
Manhattan-SDF：多视角图像三维重建方法（CVPR 2022）
作者丨郭浩宇@知乎来源丨https://zhuanlan.zhihu.com/p/521725566 编辑丨3D视觉工坊我们介绍一篇2022 CVPR Oral的三维场景重建论文:Neural 3 ...
最新综述：深度学习图像三维重建最新方法及未来趋势
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达今天分享的是:深度学习领域基于图像的三维物体重建最新方法及未来趋势 ...
三维重建几何方法深度学习_三维重建算法综述|传统+深度学习方式
作者:CJB Date:2020-2-21 来源:基于深度学习的三维重建算法综述欢迎加入国内最大的3D视觉交流社区,1700+的领域从业者正在共同进步~ 00 前言 01 基于传统多视图几何的三维重 ...
研究生科研必备！！！2015-2020年各类国际会议基于图像的三维重建论文综述（1）——总览
此文为2015-2020年各类国际会议与期刊基于图像的三维对象重建论文综述的第一部分,总览部分本文涵盖总结了2015到2020年几百篇国际会议与期刊上的3d-reconstruction文章. 本系 ...
图像三维重建专题第一期-综述
三维重建(3D Reconstruction)技术一直是计算机图形学和计算机视觉领域的一个热点课题.早期的三维重建技术通常以二维图像作为输入,重建出场景中的三维模型.但是,受限于输入的数据,重建出的三 ...

图像三维重建方法综述