目录

摘要

二、光场深度估计

1. 子孔径图像和视差

2. 极平面图像

3. Surface cameras (SCams) 表面相机

4. focal stack 焦点堆栈

三、算法

1. EPI1

2. EPI2

3. LF

4. LF_OCC

5. MV

6. OFSY 330DNR

7. OMG_occ

8. PS_RF

9. RM3DE

10. SC_GC

11. SPO

12. ZCTV

13. OBER

14. OBER-cross

四、光场算法分类

1. Methods based on EPIs

2. Methods based on angular patches

3. Methods based on the focal stack

4.Methods based on multi-view stereo (MVS)

初始的深度图提取

精细化

五、评价方法

总结

摘要

这是一篇综述类文章，讲述了光场深度估计的挑战，以及一些提交的光场深度估计算法的优势和劣势。明确了光场算法所处的位置和确定了进一步改进的潜力。

一、介绍

光场分析与经典多视图场景的主要区别在于密集且规则的采样，这允许开发新颖且高度准确的深度重建方法，该方法可以正确考虑遮挡以恢复精细细节。近年来，各种算法被发表，但对其优缺点的客观比较并不直截了当。
展示了深度估计挑战的结果。有 7 名挑战参与者、2 份额外的基准提交和 5 份基线提交，我们总共分析了 14 种算法。这是对当前最先进技术进行分类和全面评估的良好基础。目标是尝试比较不同方法的相对优势和劣势，以了解哪些组件对某些场景属性或结构产生了良好的结果，并了解哪些场景仍有改进的空间。

二、光场深度估计

4D光场图像的参数表示：image plane参数化为 p = (x, y), focus plane参数化为 c = (s, t)。这两个平面平行，则光场平面表示为 L = (x, y, s, t) = (p, c)。

1. 子孔径图像和视差

固定(s, t)坐标，移动(x, y)坐标。对每一对(s, t)获得理想针孔相机捕获的图像 I(s, t)。这些相机具有与平面正交的平行光轴和相同的焦距，这样获得的针孔图像叫做子孔径图像。

假设 3D 场景点与焦平面的距离为 Z，则其在子孔径视图中的投影坐标遵循针孔投影。通过该点的两条不同的射线 r1、r2 的关系为：L(p2, c2) = L(p1 − (c2 − c1) * f / Z, c1)。其中 d = Z / f 叫做视差。他将从空间中某一点辐射出来的光都关联起来，如果这个 3D 点位于场景表面并且场景是朗伯式的，那么所有这些光线应该共享相同的辐射。这个假设是讨论的所有视差估计算法的基础，并被用来推断深度。

视差对应关系产生了多视图立体匹配方法。实际上，它暗示了子孔径图像中的强度关系。

2. 极平面图像

如果固定 (t, y) 或者 (s, x)，我们得到水平或者竖直的极平面图像。 3D的点投影到极平面图像上的线上，其斜率与深度有关。因此，有几种方法将估计深度的问题转化为估计这些模式的斜率。 EPI 结构丰富的另一个优点是它提供了一种方法来分析更复杂场景。例如，当叠加线图案出现在半透明或部分反射区域时，可以同时估计它们的斜率。

3. Surface cameras (SCams) 表面相机

根据视图中的像素 p 和视差 d 是焦点 c 的函数，并对场景点在相应深度处的所有对应投影的辐射度进行采样

4. focal stack 焦点堆栈

焦点堆栈：光场结构的一个有用特征，可以构建重聚焦的图像，为此，需要对从该特定深度的点发出的所有光线在焦平面上的孔径进行采样。

三、算法

1. EPI1

该算法分析 EPI 中图案的方向。他们用固定视差的原子构建字典，并在 EPI 的补丁上使用稀疏编码来找到最能描述补丁的字典元素。关键思想是只有那些方向正确的补丁才会被稀疏编码选择。这种方法还允许重建多层深度图。

2. EPI2

该算法分析 EPI 中图案的方向。采用分析方法并使用结构张量计算极线的方向。可以采用不同的方法从结构张量构建深度图，例如，遮挡一致的深度标记，基于正则化的方法等。通过应用二阶结构张量还允许重建多层深度图。

3. LF

该算法使用绝对差异之和以及小矩形块中的梯度差异之和来构建成本量。使用中心视图作为指导，对成本量的每一部分进行单独调整。之后，使用稀疏 SIFT 特征作为指导执行使用图割的多标签优化。在最后一步通过拟合二次函数来细化离散视差图。

4. LF_OCC

该算法细化遮挡边界。细化的候选对象是中心视图中边缘周围的区域。对于这些区域，角块根据遮挡区域和非遮挡区域中的边缘方向进行划分。之后，使用包括遮挡预测的二进制成本对 MRF 进行正则化。

5. MV

该算法使用视图的十字准线。构建了四种不同的成本体积，分别将中心视图像素与左侧、右侧、顶部和底部视图中的像素进行比较。作为成本函数，使用 L1 范数的平均值。然后，通过对水平和垂直方向的最小成本求和来组合成本量。最后，使用赢家通吃策略生成初始视差图，并使用 TGV-L1 去噪对其进行正则化。

6. OFSY 330DNR

该算法基于焦点堆栈对称性构建代价量。通过仅沿特定方向选择视图来构建焦点堆栈，代价计算对遮挡具有鲁棒性。根据代价量，他们使用子标签准确的全局优化计算初始视差图。这个视差图在最后一步被细化，不仅可以平滑视差，还可以平滑法线。

7. OMG_occ

该算法对多个遮挡物的情况进行建模，并得出这种情况下光场的角度和空间斑块之间的关系。在给定初始视差估计和 k-means 聚类的情况下选择非遮挡视图会产生更清晰的代价量，然后使用 MRF 对其进行正则化，其中成对项的权重调整为遮挡边界。

8. PS_RF

根据绝对差之和、梯度差之和、零均值归一化互相关和Census变换 (能够减少光照差异引起的误匹配) 使用四种不同的成本量。之后，构建了两个级联随机森林。一个用于分类，即选择成本的重要组合，另一个用于回归以推断具有亚像素精度的视差值。

9. RM3DE

计算小 1D 窗口中中心视图和外部视图之间的 L2 差异。为了考虑遮挡，他们采用视图 c 和相反视图 -c 的成本之间的最小残差。此外，他们仅根据视图之间的基线考虑其中一个方向的窗口。这个数据项是在一个从课程到精细的方案中实现的，以考虑几乎没有纹理的区域。

10. SC_GC

计算每个 SCam patch的 50% 视图的平均残差，误差最低，并将这些代价拼凑成一个代价量。该代价量以边缘和遮挡感知方式进行优化。然后局部平面拟合细化估计。

11. SPO

SPO对极平面图像进行操作并估计极线的方向。定义了所讨论的线的左侧和右侧的两个区域，并为这两个区域计算直方图。使用高斯导数作为每个像素的权重。比较这些直方图会产生不同离散差异的成本函数。水平和垂直方向的成本量根据置信度度量进行组合。然后，为每个深度标签单独规范化成本量，并通过赢家通吃策略生成视差图。不执行子标签细化。。

12. ZCTV

使用全变分方法对稀疏深度图进行修复和去噪。总变化参数由边缘图和线拟合方差调整。

13. OBER

对于每个像素，OBER 迭代地最小化平滑度度量加上沿 EPI 中相应线的方差，忽略被遮挡的像素。平滑项基于双边滤波器。

14. OBER-cross

使用视图的十字准线，将水平和垂直信息组合成一个联合视差图。

四、光场算法分类

1. Methods based on EPIs

基于极平面的深度估计算法都有一个问题：怎样去融合水平以及竖直平面的极平面图像的估计信息？通常，两个估计之间的加权是基于估计的代价量/分布函数的残差或统计来执行的。

2. Methods based on angular patches

一般来说，基于角度补丁的方法不受视图数量或视差范围的显着限制。

3. Methods based on the focal stack

使用多视角立体的方法原因是遮挡往往在一个方向出现，所以这种方法可以比较部分没有遮挡的堆叠的信息，这种方法没有考虑到多种遮挡和很小的遮挡的方式。

4.Methods based on multi-view stereo (MVS)

一般来说，与仅基于角度补丁的方法相比，基于补丁的方法使深度估计对噪声更加鲁棒，因为他考虑了视图中的空间邻域。但是，如果没有明确建模，它们往往会在存在遮挡的情况下遇到更多问题。

初始的深度图提取

基于代价容器计算的方法必须从代价容器中提取初始深度图。采用额外的正则化，通常适用于中心视图边缘和其他因素。许多算法首先对各自的成本体积切片执行边缘感知正则化。

精细化

生成密集深度图的最后一步可能比之前的方差更大，并且没有效果非常好的通用策略。目标通常只是进一步规范初始结果，并且在本质上往往是相当启发式的。很难评估这些启发式中的哪一个是真正的普遍改进。

五、评价方法

High accuracy metrics

Surface reconstruction metrics

总结

以各种方式彻底评估了 14 种算法，例如关于它们的遮挡处理性能，它们对输入图像错误的鲁棒性以及它们产生光滑表面的能力。除了基准之外，还引入了新的指标来评估算法的最佳情况准确度以及表面法线估计的误差。

在某些方面具有相当强性能的算法是不连续处的 SPO、连续表面处的 'OFSY 330DNR 和用于最高准确度和整体良好性能的OBER-cross。但是，没有一种算法在每个类别中都表现出色。

尽管评估表明最先进算法的整体性能非常好，但仍然存在具有挑战性的开放问题。其中包括更好的遮挡建模、更好的不连续感知正则化、在保持质量相似的同时提高运行时间，以及确定哪种光场表示在哪种情况下产生最佳结果的好方法。

论文阅读：A Taxonomy and Evaluation of Dense Light Field Depth Estimation Algorithms相关推荐

Occlusion-Aware Cost Constructor for Light Field Depth Estimation论文阅读
文章目录前言一.介绍二.相关工作 1.传统方法 2.深度学习方法三.方法 1.LF Structure and Occlusion Analysis 2.Occlusion-Aware Cos ...
A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms
A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms Abstract: 本文主要提出的是稠密的 ...
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation 论文搜索(studyai.com) ...
论文阅读：TensorMask: A Foundation for Dense Object Segmentation
Tensor Mask 文章何恺明还有RBG大神的新作(一作陈鑫磊这个名字也很熟悉啊).之前在instance segmentation方面只看过mask R-CNN的论文,看到这篇文章是de ...
论文阅读：Fast Optical Flow using Dense Inverse Search
文章目录 1. 论文总述 2021_09_14补充: 2. 光流鲁棒性遇到的挑战 3. 保持精度的同时提高速度的一些方法 4. Fast inverse search for corresponden ...
【论文阅读】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
1.摘要一般而言,序列模型与循环网络(recurrent networks)关系紧密(由于RNN的循环自回归结构能较好地表达出时间序列).而传统的卷积网络(convolutional network ...
《A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms》
摘要对现有的多种立体匹配算法进行了比较和进行试验,收集了便于评估的数据集,同时加入了一些新的具有 ground truth 的多帧立体数据集,该数据集和代码都在网站中能找到.建立了具有一般性的软 ...
论文阅读——A Comprehensive Study on Deep Learning-Based 3D Hand Pose Estimation Methods综述阅读2
3D手势姿态估计综述本文通过对大量有代表性的论文研究,提出一种基于输入数据模式的新分类法,即RGB.深度或多模态信息.最后,我们展示了在最流行的RGB和基于深度的数据集上的结果,并讨论了这一快速 ...
论文阅读笔记《Robust Point Matching via Vector Field Consensus》
核心思想本文提出一种基于向量场一致性的(Vector Field Consensus)非刚性(non-rigid)匹配方法(VFC).所谓刚性(rigid)的匹配方法通常是使用参数化模型(如单应 ...

论文阅读：A Taxonomy and Evaluation of Dense Light Field Depth Estimation Algorithms

摘要