SFM 与MVS的区别

参考问题
Structure from Motion(SFM)
Multi View Stereo(MVS)

使用开源工具pipeline:
Bundler(SFM) -> CMVS(MVS) -> PMVS2(MVS)

回答：
sfM 和MVS两者互补，它们基于不同的假设。且他们的输入也不相同。

sfM：（bundler, VisualSFM, OpenMVG）
input：一组图片
output：场景粗糙的3D形状（稀疏重建），还有每张图片对应的相机参数。

sfm只能稀疏重建的原因：
sfM先从检测图像中提取2D特征（SIFT or ORB）表征。这些图像特征的表示为图像中的一个小区域（既一堆相邻像素）。
2D特征的特点：可以可靠的表示高度纹理区域或者粗糙的几何形状。
但是这些场景特征需要再整个场景中唯一（比如重复的墙纹理，难以匹配）。故而通过这些唯一的特征只能生成稀疏的mesh。当图像之间找到很多匹配项时，可以计算出图像之间的3D变换矩阵从而有效地给出两个相机之间地相对3D位置。

将MVS算法用于细化通过SfM技术获得的网格，从而产生所谓的密集重构。此算法要求每个图像的相机参数都起作用，这由SfM算法输出。由于它适用于更受约束的问题（因为它们已经具有每个图像的摄像机参数，例如位置，旋转，焦点等），因此MVS将在2D特征未正确（或无法正确检测）的区域上计算3D顶点或匹配。这就是PMVS2所做的。
PMVS如何在二维特征描述符难以匹配的区域上工作？由于您知道相机参数，因此知道图像中的给定像素就是另一图像中线的投影。这种方法称为对极几何。 SfM必须为每个描述符搜索整个2D图像以找到可能的匹配，而MVS将在一条1D线上工作以找到匹配，从而大大简化了问题。因此，MVS通常会在优化过程中考虑照明和物体材质，而SfM则不会。
但是，有一个问题：PMVS2执行相当复杂的优化，可能会非常缓慢，或者在大图像序列上占用天文数字的内存。这是CMVS发挥作用的地方，将粗略的3D SfM输出聚集到区域中。然后，将在每个群集上（可能并行）调用PMVS2，以简化其执行。然后，CMVS将把每个PMVS2输出合并到一个统一的详细模型中

SfM旨在使用结构化（但未知）的图像序列执行3D重建，而MVS是基于人类立体视觉的双视立体视觉的概括

SFM 与MVS的区别相关推荐

双目立体匹配，SFM和MVS三维点云重建的区别和联系
一.双目三维重建(binocular stereo):输入左右两张图片二.SFM(Structure from Motion)运动推断结构:一系列不同视角图片三.MVS(Multi View St ...
MVG与MVS的区别和联系
在<OpenMVG: Open Multiple View Geometry>这篇论文中,提到了MVG与MVS的区别和联系: MVG用于重建相机位置和旋转朝向,同时可以得到稀疏的3D点云. ...
三维重建 SFM 与MVS
matlab的:python用于展示 http://vclab.kaist.ac.kr/siggraph2022p1/index.html https://github.com/KAIST-VCLAB ...
SLAM、SFM、MVG与MVS的区别和联系
看了许多与本人研究方向有关的论文,经常涉及到SLAM.SFM.MVG.MVS的范畴,这几个部分有很大的相似之处,但侧重点有所不同,所以根据目标所设计的策略有所不同. 以下是本人的理解,如果有问题,欢迎 ...
使用COLMAP进行三维重构
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.COLMAP是什么? 二.数据准备 2.1.数据采集 2.2.数据组织三.重构 3.1.提取图像特征 3.2.特 ...
【研究报告】从单目深度估计到单目三维场景重建-沈春华老师-VALSE Webinar 22-13（总第279期）
从单目深度估计到单目三维场景重建-沈春华老师-VALSE Webinar 22-13(总第279期) 报告总结 & 相关论文论文代码相关术语前言研究问题单目深度估计单目三维场景重建 ...
SFM(structure from motion 从运动恢复结构)和MVS(multi-view stereo 多视图立体视觉)
主要目的: SFM是可以重建稀疏点云的和相机参数(内外), 主要目的是:estimating the geometry of the scene and camera poses from a set ...
重磅！国内首个三维重建系列视频课程，涉及SFM、立体匹配、多视图几何、结构光、单目深度估计等（最新版）...
写在前面感谢大家的一路陪伴与支持,这里赠送一张「3D视觉从入门到精通」知识星球优惠券,有效期两天,有需要的可以使用. 三维重建技术是计算机视觉的重要技术之一,基于视觉的三维重建技术通过深度数据获取. ...
Structure From Motion(SFM)入门讲解
概念: Structure From Motion(SFM) 是从一系列包含视觉运动信息的多幅二维图像序列中估计三维结构的技术. SFM和立体视觉的区别在立体视觉中,两个相机之间的相对位姿是通过标定 ...

SFM 与MVS的区别

SFM 与MVS的区别相关推荐

最新文章

热门文章