Abstract

这个摘要很值得好好理解，原文：
This tutorial presents a hands-on view of the field of multi-view stereo with a focus on practical algorithms. Multi-view stereo algorithms are able to construct highly detailed 3D models from images alone. They take a possibly very large set of images and construct a 3D plausible
geometry that explains the images under some reasonable assumptions, the most important being scene rigidity. The tutorial frames the multiview stereo problem as an image/geometry consistency optimization problem. It describes in detail its main two ingredients: robust implementations of photometric consistency measures, and efficient optimization algorithms. It then presents how these main ingredients are used by some of the most successful algorithms, applied into real applications, and deployed as products in the industry. Finally it describes more advanced approaches exploiting domain-specific knowledge such as structural priors, and gives an overview of the remaining challenges and future research directions
至少有3点有效信息（加粗部分）：

MVS重建方式有效的前提是要满足几个基本假设，其中最重要的基本假设是被重建的物体或者场景（为了方便表述，后续将物体和场景统称为物体）是刚性的，也就是在相当长的时间维度上这个物体或者场景在空间维度上是不变的。举个栗子，如果直接不加优化使用mvs对人脸进行三维重建效果是很难保证的，因为人脸不是刚体（除非你能保证在图像获取期间面部肌肉完全不动）；
关于mvs问题的归类：把mvs问题归类到图像/几何一致性优化问题（image/geometry consistency optimization problem），如何理解图像/几何一致性优化问题？同一个物体在不同的几何位姿下使用通一个相机拍摄的图像是不同的，最简单的比如近大远小；也就是加入相机固定，物体在相机中成像的结果和物体的位姿是有映射关系的，mvs就是优化这个映射关系的过程和结果；
基于2，就引出两个核心问题，即如何量化衡量图像/几何一致性还有衡量完发现不一致如何优化这个映射。（可以理解成深度学习中损失函数的确定和模型训练中优化的策略）

Introduction

Reconstructing 3D geometry from photographs is a classic Computer
Vision problem that has occupied researchers for more than 30 years

这个问题产生30多年了，目前发展到已经具备一定的落地应用能力。

The goal of an image-based 3D reconstruction algorithm canbe described as ”given a set of photographs of an object or a scene, estimate the most likely 3D shape that explains those photographs, under the assumptions of known materials, viewpoints, and lighting conditions”

接下来说明这个任务是在做什么，核心目标，也就是在已知物体材料属性、相机的视点（可以理解成想相机和待拍摄物体的空间相对关系）和光照条件的基础上，通过获得的一系列的物体或者场景的二维图像，推理（重建）出该物体或者场景的3维模型。

对MVS进行定义：Multi-view stereo (MVS) is the general term
given to a group of techniques that use stereo correspondence as their
main cue and use more than two images

下图说明了MVS的整个工作流程

step1（图片左上）：获取待重建物体各个角度的二维图像，数据获取质量决定重建效果的上限，具体注意事项和建议后续有详细说明；
step2 （图片右上）：计算与每一张图片对应的相机外参，相机内参外参可以参考博文https://blog.csdn.net/qq_35250841/article/details/106198870：相机标定总结（像素坐标系、图像坐标系、相机坐标系和世界坐标系之间的转换关系说明）
step3（图片右下）：进行几何三维重建（只有物体形状，没有表面纹理信息）
step4（图片左下）：纹理重建，根据材料属性等对步骤3重建出来的形状物体上“贴图”，复原出纹理信息。
上文流程中的4个步骤，涉及到一个基础技术–如何获取与图像对应的相机外参。

An MVS algorithm is only as good as the quality of the input
images and camera parameters. Moreover, a large part of the recent
success of MVS is due to the success of the underlying Structure from
Motion (SfM) algorithms that compute the camera parameters
如原文所述，图像的质量和相机参数的好坏直接影响MVS算法的最终效果，近年mvs效果的提升很大程度上也是因为Sfm算法——一种计算相机参数的基础算法性能的提升。当然，也不是一定要使用SfM算法获取与图像对应的相机参数，但是SfM目前比较通用，简单，效果可控。

SfM简介

SfM（Structure from Motion），SfM algorithms take as input a set of images and produce
two things: the camera parameters of every image, and a set of 3D points visible in the images which are often encoded as tracks。（可以理解为sfm算法通过读取一个物体的一系列图片求出对应的相机参数和相机轨迹的过程，实际上在MVS中我们只需要与图像对应的相机的参数）

SfM工作流程

Openmvs简介和安装

openMVS+ubuntu1804安装记录和问题解决

Multi-view Photo-consistency

待续

MVS学习（一）：综述论文阅读记录相关推荐

强化学习泛化性综述论文阅读 A SURVEY OF GENERALISATION IN DEEP REINFORCEMENT LEARNING
强化学习泛化性综述论文阅读摘要一.介绍二.相关工作:强化学习子领域的survey 三.强化学习中的泛化的形式 3.1 监督学习中泛化性 3.2 强化学习泛化性背景 3.3 上下文马尔可夫决策过 ...
DeepMind发布最新《神经网络中持续学习》综述论文！
来源:AI科技评论本文约3200字,建议阅读6分钟本文重点介绍一些神经网络中最有前途和最有影响力的方向. 在过去的几十年中,人工智能研究取得了巨大进展,但是它主要依赖于固定的数据集和固定的环境. ...
prompt综述论文阅读：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural La
prompt综述论文阅读:Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Lan ...
Life Long Learning论文阅读记录之LwF
Life Long Learning论文阅读记录之LwF 写在前面获取原文问题难点目标符号说明现有方法不使用旧数据集的方法 Learning without Forgetting(LwF ...
图像去噪的深度学习最新综述论文，36页pdf，Deep Learning on Image Denoising
图像去噪是学术工业关注的问题.最近广东深圳哈工大分院的研究人员撰写了最新图像去噪深度学习的综述论文,非常值得学习! 关注文章公众号对话框回复"paper29"获取本篇论文地址: ...
#今日论文推荐# 爱丁堡大学等首篇《移动无线网络中的深度学习》综述论文，67页pdf涵盖570篇文献阐述深度学习在移动无线网络中的应用最佳实践
#今日论文推荐# 爱丁堡大学等首篇<移动无线网络中的深度学习>综述论文,67页pdf涵盖570篇文献阐述深度学习在移动无线网络中的应用最佳实践移动设备的迅速普及以及移动应用和服务的日益普 ...
《Artificial intelligence in healthcare》综述论文阅读
为了方便阅读,我将下面这篇综述论文进行了翻译. Yu, KH., Beam, A.L. & Kohane, I.S. Artificial intelligence in healthcare ...
国防科技大学发布最新「3D点云深度学习」综述论文
点击上方"深度学习技术前沿",选择"星标"公众号资源干货,第一时间送达 3D点云学习( Point Clouds)作为近年来的研究热点之一,受到了广泛关注,每 ...
综述 | 国防科技大学发布最新「3D点云深度学习」综述论文
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :专知 [人工智能资源(书籍 ...

MVS学习（一）：综述论文阅读记录

MVS学习（一）：综述论文Multi-View Stereo: A Tutorial阅读记录