基于多视图几何的三维重建

前言

三维重建是计算机视觉研究的重要内容之一，是根据单视图或者多视图的图像重建三维信息的过程。
早期的三维重建更多的是通过在相机进行预标定、或相机按照特定轨迹运动的情况下进行重建，这样的三维重建只能实现静止和已知环境下的三维重建，具有一定的应用局限性。而基于计算机视觉的多视图几何三维重建，不需要相机按特定的轨迹运动，也不需要对相机进行预标定，可以从不同视角获取目标物体的多幅视图，从视图中提取目标物体的三维几何约束信息，利用约束信息即可实现景物的三维重建。

讲解主题

主题：基于多视图几何的三维重建

提纲：1、多视图几何概述

2、透视投影与相机模型

3、三维重建的原理解析

4、新零售大场景中的三维重建

讲解内容

1、多视图几何概述

三维重建按照设备的不同分为主动三维重建和被动三维重建。

主动式的三维重建是指设备主动向周围环境发出信息，通过信息来得到周围环境的结构。其设备主要有深度摄像头（ToF,结构光），激光雷达等；被动式的三维重建的设备主要是摄像头，即被动的接受周围环境的信息，通过图像来还原周围环节的结构。其可以分为单目重建、双目重建，以及多目重建等。

2、透视投影与相机模型

在一个相机的情况下是利用的小孔成像技术，针对不同的相机类型，也有不同的相机投影模型。如球面透视模型、广角相机模型、双球面相机模型、Extended Unified Cammera Model、Kannala-BrandtCamera Model、Field of View Camera Model等。

那基于两个相机的重建又是什么样的原理呢？共极约束、本质矩阵、共极约束的八点法和五点法、平面单应性约束、平面单应性约束的四点法等，这些都是需要了解的。

3、三维重建的原理解析

诚然，我们可以把这种线性化的方式推演到M个相机，通过解析线性方程的结构来得到R、T和X，但在现实应用中，由于特征点的噪声和outlier的存在，这种优美简洁的解法往往无法得到理想的结果。因此，在足够大的信息量下，我们常常用非线性优化的方法解决N个相机的三维重建问题。

4、新零售大场景中的三维重建

三维重建技术可以应用在文物保护、建筑设计、游戏开发、临床医学、AR/VR、自动驾驶、城市规划、移动机器人、环境漫游、动作捕捉、3D打印等领域中。而在新零售场景中，即大场景下的室内三维重建，又该如何做呢？

【注：以上内容参考智东西公开课课件（已授权）https://kzp.h5.xeknow.com/s/1VPVRd】