文章目录

前言
一、介绍
二、相关工作
- 1.传统方法
- 2.深度学习方法
三、方法
- 1.LF Structure and Occlusion Analysis
- 2.Occlusion-Aware Cost Constructor
- - ①基于卷积的代价体构建
  - ②通过像素调制进行遮挡处理
  - ③遮挡掩盖生成
- 3.网络设计
- - ①特征提取
  - ②代价体构建
  - ③代价体增强和深度回归
- 4.实验部分
- - ①实现细节
  - ②模型分析
总结

前言

深度估计中，匹配代价体构建是非常重要的一步，但是很难学习到。本文提出一种简单快速的代价体构建的方法去构建深度估计匹配代价。本文代价体的构建是一系列卷积和特别的扩张率组成。并且构建的代价体可以感知遮挡部分并动态的处理遮挡。

一、介绍

当前基于深度学习的深度估计总共分为四个部分：特征提取，代价体构建，代价聚合和深度回归。
在深度估计中，匹配代价体构建过程中，不同空间位置的像素是平等的处理。但是一些像素是被遮挡的，具有较少有用的信息甚至会对结果造成负面影响。为了解决这个问题，本文的代价体构建是一系列的卷积组成，并且可以动态的从不同的视角中调节像素。
本文的贡献：
(1)、在立体匹配的方法中，使用代价体取代了位移和拼接的方法。
(2)、代价体是可以感知遮挡的，通过细粒度方式调制来自不同视图的像素。

二、相关工作

1.传统方法

（1）、一种阶段性的多视角的立体匹配的方式。
（2）、一种基于空间角度一致性的遮挡感知算法
（3）、一个旋转平行四边形算子 (SPO) 来计算深度估计的斜率

2.深度学习方法

（1）、U-shaped网络使用3D卷积提取几何特征。
（2）、多流网络和一系列数据增强的方法。
（3）、基于注意力的选择网络。

三、方法

首先描述了LF的结构和分析了遮挡对角度一致性的影响。其次提出了遮挡感知的代价体。最后提出了光场深度估计的网络。

1.LF Structure and Occlusion Analysis

光场中，使用两平面的模型去参数化光场图片：

在光场中，一个场景的点能够被不同的相机捕捉到每个图像的不同的位置。因此能够按像素估计每张光场图像的视差。

在朗伯和无遮挡的前提下，一个场景的点在不同视角中应该有相同的强度。深度估计可以通过选择高角度一致性的视差候选来实现，为了比较不同视差下的角度一致性，按如下公式构建角度patch：

在无遮挡的情况下，角块的颜色与相邻的颜色是相近的，并且在正确的视差下，角度块中像素的强度是一致的。但是这一理论在有遮挡的情况下是不成立的。基于此，提出了遮挡感知的代价体构建来处理遮挡问题。

2.Occlusion-Aware Cost Constructor

本文对于匹配代价构建，提出了遮挡感知的代价体构建。主要特点有两个，一是使用卷积去融合特殊的视差下每个视角的像素；二是在代价体构建的时候对遮挡的部分进行处理。

①基于卷积的代价体构建

为了构建匹配代价，每个候选视差下角块的像素应该被分别集成。并且光场子孔径图像可以有效地寻找相关的像素来构造角块。代价体是由一系列不同扩张率的的卷积核组成，扩张率与视差息息相关。计算公式如下：

其中H,W是SAI图像的高和宽。零填充是为了每个子孔径图像避免在不同视角下的边界混叠。此外对边界特征进行裁剪是为了输出特征的空间分辨率为H*W。

②通过像素调制进行遮挡处理

本文还采用一个调制机制可以动态的适应不同视角像素之间的振幅，为了处理遮挡。这个调制机制可以适应每个视角中每个位置实现遮挡感知代价体构建。如果场景中的某些像素被遮挡，可以采取一些机制来降低遮挡像素对代价构建的影响。

③遮挡掩盖生成

为了实现遮挡感知代价体构建，每个视角的遮挡掩盖需要计算。本文提出一种推断遮挡掩盖的无参数化方法。对于遮挡区域来说，一个场景的点在中心视角是可用的但是在相邻视角中是不可用的，因此可以根据光度一致性先验计算细粒度的遮挡掩码。

3.网络设计

使用U*V的LF作为他的输入，并且顺序执行特征提取，代价体构架，代价体增强和深度回归。

①特征提取

首先用33的卷积来提取最初的特征，紧接着使用8个残差模块（Conv-BNLeakyReLU-Conv-BN）对深度特征提取，最后一个残差模块将生成特征并且送入33的卷积层中为代价体构建做准备。

②代价体构建

特征提取之后，将特征送入OACC模块。代价体是由一系列卷积核大小为U*V且不同扩张率的的卷积来融合不同视差下的角块。在测试阶段，生成一个初始的遮挡掩盖模块，并且使用这个初始的掩盖模块来进行深度估计；在获得初始的视差图之后，再用这个视差图更新遮挡掩盖，在用遮挡掩盖模块生成更准确的模块，这样迭代之后得出最终结果。

③代价体增强和深度回归

用11的卷积来将OACC模块生成的代价体的深度从512降低为160。之后将8个卷积核为33*3的3D卷积模块级联起来，作为代价体增强模块。第三个到第六个卷积使用残差模块和注意力层。
最后生成了一个3D的tensor，将结果经过一个softmax函数回归得到结果。

4.实验部分

①实现细节

数据处理：使用4D LF benchmark来验证方法的有效性。在训练阶段，将SAIs图像裁剪成48*48大小的块。并且将他们转换为灰度图像。并且对图像进行数据增强，包括随机翻转和旋转、亮度和对比度调整、噪声注入、重新聚焦和下采样。

参数细节：损失函数使用L1 loss，优化器采用Adam优化器β1=0.9, β2=0.999，batch size大小设计为16，学习率1e-3。

评价指标：使用MSE，bad pixel ratio来进行定量测试。（BadPix是测量像素估计不正确的比例，如果预测像素的结果与正确像素的绝对差值超过提前设定的阈值，则视为BadPix）

②模型分析

像素调制机制：该机制主要处理每张图片每个视角每个空间位置的遮挡问题的机制，如果没有该机制，每个像素就会被平等对待，遮挡问题视差的准确率就会很低。

延迟率：较大的延迟率能够使方法在有很重的遮挡的情况下表现较好的性能，但是降低了面对巨大噪声的鲁棒性。

总结

本篇文章提出了一种噪声感知的代价体构建的光场深度估计方法。OACC可以有效地构建匹配代价和处理遮挡问题通过调制输入的像素。并且创造了OACC网络。

Occlusion-Aware Cost Constructor for Light Field Depth Estimation论文阅读相关推荐

光场深度估计（Light Field Depth Estimation）
[原文地址]:https://www.vincentqin.tech/posts/light-field-depth-estimation/(排版更美观) 本文将介绍光场领域进行深度估计的相关研究. ...
A Survey on Deep Learning Techniques for Stereo-based Depth Estimation论文阅读
第一次校正,改正了一些错误和生硬的翻译(像机器翻译一样).一定会有一些笔误.翻译不准确甚至错误的地方.还望批评指正. 1. 摘要估计RGB图片的深度一直以来都是棘手的问题,计算机视觉.图形学.机器学 ...
单目深度估计(Monocular Depth Estimation)论文阅读 2021-01-15
单目深度估计问题公式化:求非线性映射函数一.数据集: NYU Depth:视频序列和dense depth map通过RGB-D采集的,但是不是每一种图像都有深度图,因为映射是离散的. KITTI ...
Attention-based Multi-Level Fusion Network for Light Field Depth Estimation
这篇论文主要是提出了分支内融合和分支间融合,分支内融合以中心视图为界,注意力有两个值,分支间融合注意力有4个值,每个分支有一个值.每个方向有不同值,每个方向有不同的遮挡情况,这里的话相当是8个方向. ...
论文阅读：A Taxonomy and Evaluation of Dense Light Field Depth Estimation Algorithms
目录摘要二.光场深度估计 1. 子孔径图像和视差 2. 极平面图像 3. Surface cameras (SCams) 表面相机 4. focal stack 焦点堆栈三.算法 1. EPI ...
《Consistent Video Depth Estimation》阅读笔记
<Consistent Video Depth Estimation>阅读笔记文章目录 <Consistent Video Depth Estimation>阅读笔记前言: ...
Receptive Field Block Net 论文阅读
Receptive Field Block Net for Accurate and Fast Object Detection 用于快速精确的目标检测的接受野模块 Code link: https ...
A Deep Reinforcement Learning Network for Traffic Light Cycle Control 【论文阅读】
文章脉络[Dueling DQN+Prioritized Memory ,2019年TVT] 1.贡献 1)首次将dueling network,target network,double DQN 和 ...
光场相机 light field camera
EPINET: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field Imag ...

Occlusion-Aware Cost Constructor for Light Field Depth Estimation论文阅读