计算机视觉——三维视觉III：立体视觉与三维建模

【本学期选修国科大计算机视觉课程，本人方向也是cv，因此想通过博客方式记录课程中比较重要的点，巩固并且进行一些扩展学习】

【从本章节开始由申抒含老师为我们讲述相关知识】

【本章节内容针对立体视觉与三维建模进行讲解】

接下来我们将主要针对以下内容进行介绍：

• 视差（Disparity）与深度（Depth）

• 立体视觉（Stereo）

• 多视图立体重建（Multiple View Stereo）

图像的获取方式:

• 室内环境 —光照可控 —相机稳定

• 室外环境 —自然光线 —手持拍摄

• 网络图片 —不可控

相机位姿的获取方式:

• 机械臂 • 人工标志物 这两部分用于小场景时刻

• Global Structure-from Motion • Incremental Structure-from-Motion 这两部分用于大场景时刻

三维建模基本流程：

图片一致性度量：

立体视觉—极几何：

• Pl在右图像上的匹配点在Pl的极线上

• 搜索Pl匹配点的过程是一维搜索

立体视觉—极线校正：

立体视觉—视差：

• 极线校正后，左右图像的一对匹配点在x轴上坐标的差异称为视差（Disparity）

• 视差的大小与点距离相机距离的远近成反比

• 立体视觉的目的就是通过左右图像计算（稠密）视差图

• 视差图是一幅灰度图像，像素点的值表示这一点的视差大小，灰度值越高表示视差越大（距离越近）

立体视觉—视差与深度

1.Z是左相机坐标系的Z轴（未知）

2.x是图像坐标系的x轴

3.X是左相机坐标系的X轴(未知)

4.B是基线（左右光心距离）

5.Cl、Cr是相机光心

6.f是焦距

7.xl、xr是左右相机匹配点的x坐标

立体视觉—立体视觉三维建模流程

立体匹配—最简单的算法：

对于左图像上每一点p，在右图极线上寻找对应点

• 极线上颜色最相似的点作为对应点：

立体匹配—窗口匹配法：

• 对于左图像上每一点p，在右图极线上寻找对应点

• 通过图像上一个正方形窗口区域衡量匹配程度

窗口尺寸直接影响视差图计算结果

• 窗口匹配法比单点比较法有改进

• 影响窗口匹配结果的因素

前景放大（存在遮挡物，前景放大效应造成视差图中前景物体比实际大）

窗口匹配法中窗口尺寸的选择：

大尺寸窗口有利于解决：

• 弱纹理；

• 孔径问题；

• 重复纹理；

小尺寸窗口有利于解决：

• 前景放大；

窗口尺寸选择依据：

• 没有最优窗口尺寸能够解决所有问题

立体匹配—自适应窗口匹配法：

针对视差是否相同，我们可以根据颜色和距离进行判断

改进如下：

立体匹配—从空间的角度来看：

MVS (Multiple View Stereo)

MVS的基本思路：寻找空间中具有图像⼀致性(Photo-consistency)的点

基于深度图融合的MVS：
Step 1: 为每⼀幅图像选择邻域图像构成⽴体图像对(组)

Step 2: 计算每⼀幅图像的深度图

Step 3: 深度图融合

Step 4: 抽取物体表⾯

基于体素的MVS：

基于体素的MVS算法优缺点：

Pros：

⽣成规则点云

易于提取Mesh (Marching cube algorithm)

Cons：

精度取决于voxel粒度

难以处理⼤场景

基于特征点扩散的MVS:

Step 1: ⽣成初始点云

Step 2: 点云扩散 (Expansion)

Step 3: 点云过滤 (Filtering)

基于特征点扩散的MVS算法优缺点：

Pros：

点云精度较⾼

点云分布均匀

Cons：

弱纹理区域造成扩散空洞

需要⼀次读⼊所有图像（改进：Clustering Views for PMVS，CMVS）

基于CNN的MVS: