【论文阅读】Blur Calibration for Depth from Defocus

题目：Blur Calibration for Depth from Defocus从散焦模糊定标深度
主题：defocus深度，PSF建模
作者：Fahim Mannan
学校：加拿大McGill大学
发表时间：2016
发表地方：CRV

名词解释

calibration校准，刻度，标度
asymmetric非对称的
Depth from Defocus离焦深度法，离焦深度测量
aperture size (A)光圈尺寸
focal length 焦距
focus distance像距
the depth of the scene物距
fixed固定
depend on取决于
Depth from Defocus (DFD) 失焦深度
diffraction衍射

摘要

离焦深度方法，依赖于，在每个图像像素上，测量深度相关的模糊。

离焦模糊估计过程中的一个核心组件是深度变化的模糊核。这个模糊内核通常被近似为高斯或药丸盒内核，它只适用于少量的模糊。

一般，模糊核取决于光圈的形状。随着深度变化很大。为了准确模糊估计，有必要对模糊核精确建模。

本文提出一个简单而准确的方法，实现离焦深度方法的模糊核校正。我们还展示了从一对失焦模糊核估计相对模糊核。我们提出的方法可以估计模糊的尺寸，从单个像素到足够大（实验中77*77).实验结果表明，相对模糊估计方法可以有效地恢复复杂非对称编码光圈的模糊核。

一、Introduction

失焦模糊取决于相机参数，光圈尺寸A，焦距f，像距，物距。当相机参数固定时，模糊随深度变化。DFD预测失焦深度的关键问题是估计每个像素上的失焦模糊，使用已知的相机参数将其转换为深度预测。一般来说，在DFD中，使用两个不同的失焦图像，问题就是找到产生这种看到的失焦图像的深度。
为了准确的估计深度，我们需要对散焦模糊随相机参数和深度的变化进行建模。这是通过模拟不同深度的点光源在相机不同设置下的样子来实现的，也就是点扩散函数(PSF)。

尽管PSF被认为是点光源，但是在实践中拍摄点光源的图像是很有挑战性的。此外，没有真正的点光源，对于某些相机和场景配置，点光源的假设不成立。

一个真正的点光源有一个有限的尺寸，即使在聚焦时也可能不会以单个点的形式出现。我们提出一个简单的方法，校准不同深度、不同相机设置的PSFs。

二、背景

为了激发对模糊内核校准的需要，我们首先看看模糊图像是如何形成的，以及散焦模糊是如何随着深度变化的。在此基础上，研究了基于深度相关模糊核的DFD问题的建模方法和模糊核估计的相关工作。

A.模糊图像形成

首先，我们考虑点光源如何被图1中的薄透镜成像。从距离u处的一个场景点发出的光线从一个薄透镜落在透镜上，然后在距离v处汇聚在透镜的传感器一侧。对于焦距为f的透镜，u与v的关系由薄透镜模型表示为:

如果成像传感器距离镜头s处，则成像的场景点会产生一个半径为r的圆形模糊图案，如图所示。一般来说，模糊模式的形状取决于光圈的形状。对于孔径为a的透镜，薄透镜模型(公式1)和图1中的相似三角形给出了模糊半径(以像素为单位):

变量ρ用于转换从物理像素尺寸。在本文的其余部分,我们将使用σ来表示模糊半径以像素为单位。注意，模糊可以是正的，也可以是负的，这取决于场景点位于焦点平面的哪一侧。对于圆对称孔径，模糊标记对模糊图像的形成过程没有影响。但对于非对称光圈，这两幅图像看起来会略有不同，因为相应的PSFs会水平和垂直翻转。

如果现场深度在当地地区几乎是常数,然后一个模糊图像观察我,可以模仿i0集中图像的卷积,以与深度有关的点扩散函数(PSF) h(σ)。

三、设置和校准

在DFD中，一个典型的方法是将已知的相机参数与薄透镜模糊形成模型的解析方程结合使用，并使用参数化PSF进行深度估计。然而，真正的透镜并不完全遵循薄透镜模型。例如，焦点距离是从传感器平面指定的，而不是从投影中心指定的。此外，光阑的形状、尺寸和模糊尺寸也会发生变化。还有其他的模型假设并不总是适用于真实的图像，例如，两个散焦的图像是对齐的，具有相同的平均强度。为了对DFD模型进行准确的比较，我们需要满足这些一般假设。这是通过执行几何，辐射和PSF校准。

在这篇论文中，我们的目标是从观察到的模糊图像i中找出与深度相关的PSF h(我们有时称之为绝对模糊)。对于真正的散焦图像，透镜和相机传感器会由于衍射和透镜像差(如色差)而产生伪影。因此，准确的PSF估计过程需要捕获离焦尺度、衍射和透镜像差的综合效应。

相对模糊估计需要一对用不同相机参数捕获的散焦图像。最广泛使用的配置包括改变光圈大小或两幅图像之间的焦点。在本文的其余部分中，我们将这些配置称为可变孔径和可变焦点。相对模糊模型的目的是找出较清晰图像的模糊度，从而得到较模糊的图像。如果较清晰的图像具有模糊核hS，而较模糊的图像iB具有模糊核hB，则两幅图像之间的相对模糊为hB 约等于hs*hr。与绝对模糊PSF估计问题类似，估计的相对模糊需要重建模糊PSF的特征。

A.距传感器平面的距离

在校准过程中，我们需要找到一个给定相机设置的深度和PSF之间的配对。**我们改变的相机参数是光圈大小和焦距。**在第二- a节中，我们使用了薄透镜模型，并假设物体和传感器的距离是在薄透镜中心的投影中心。然而，对于真实的透镜来说，这样的投影中心并不存在。此外，模糊形成模型假设传感器在拍摄图像之间移动。但在实际应用中，传感器与物体的距离是固定的，只有镜头系统被移动。在我们的实验中，我们使用了一个50毫米的定焦镜头，上面有聚焦标记。这些聚焦距离表示从传感器平面到聚焦[13]平面的距离。在校准过程中，校准网格与传感器位置之间的距离是手动测量的，以避免模拟真实的透镜。

B.设置和图像预处理

对于PSF校准，我们使用具有已知半径和间距的圆盘网格作为校准图像。识别包含磁盘的补丁，并通过查找这些补丁的质心来估计磁盘中心。与棋盘格模式相比，使用圆盘图像的优点是质心估计比角估计更能消除焦散模糊，特别是在孔径为非圆形的情况下。此外，棋盘只是由两个方向主导。

我们的工作使用的是分辨率为1920×1200的24英寸LED显示屏。我们使用尼康D90相机，在不同的焦距和光圈设置下，使用50mm的定焦镜头捕捉原始图像，并在不同的距离将相机前置与显示器平行。处理管道包括原始图像的辐射校正、放大校正和对准以及平均图像强度的归一化。我们在显示器上呈现不同的校准模式，以及用于DFD实验的噪声和自然图像纹理模式。

图2所示为我们的实验装置所捕获的校准和测试图像。我们使用图2b中的圆盘模式进行PSF估计，使用图2c中的纹理图像进行深度估计。我们使用了另外三张纹理图像，其中两张来自Brodatz纹理库。它们的深度估计精度类似于1=f纹理。图2a中圆点网格的图像仅用于定性比较。

单像素(或点)图像近似于脉冲函数。为了更接近脉冲函数，图像必须在一定距离之外拍摄。对于磁盘映像，我们不必严格满足这种距离约束。在拍摄噪声模式的照片时，图像捕捉距离也变得很重要，因为我们希望在捕获的图像中满足噪声分布。如果图像是近距离拍摄的，那么显示器的颜色滤波阵列(CFA)和显示器像素的大小将会改变噪声的分布。此外，网点图案的图像需要较长的曝光时间。

对于大的模糊，单个像素的图像存在低信噪比问题，甚至可能不可见。因此，使用磁盘映像更方便。噪声模式[3]，[2]也遭受类似的问题，由于大的模糊。Kee等人的[4]也使用了磁盘模式。然而，他们的模式适用于少量的模糊。这是因为他们在估计镜头系统的固有模糊(即即使在图像应该聚焦的情况下也会出现模糊)。Joshi等人提出的校准模式，[1]可以估计相对大量的模糊。

我们的优化方法最接近[1][5][14]。然而，我们的优化目标也使用图像梯度和边界约束。使用我们的校准方法，我们估计了高达77×77像素的模糊(图3)在深度估计实验中使用的相机设置中，最大的模糊核尺寸为51×51。

辐射校正:我们采取图像的LED显示与不同的纹理渲染在它。显示器具有一定的辐射特性，在传感器平面上形成的图像也有其自身的特性，这些特性取决于摄像机的参数。对于不同的职位，这些特征也会在一定程度上发生变化。因此，一个均匀的场景将出现不均匀的捕获图像。大多数DFD模型没有考虑到这一点，因此在应用任何DFD模型之前，需要对捕获的图像进行预处理。在我们的实验中，我们估计了显示器和照相机辐射特性的综合效应。为此，我们在显示器上呈现统一的颜色，并为我们正在校准的相机参数捕获它的图像。然后根据观测到的图像估计二次曲面的中心和曲率，对二次曲面进行拟合。在这项工作中使用的模型是

这是适合使用最小二乘法与ceres求解软件[15]。显示器和摄像机传感器上的彩色滤光片阵列会产生不需要的云纹图案。在我们的实验中，我们发现使用稳健的惩罚函数来解释云纹图案并不会显著地改变二次曲面的参数。估计二次曲线的中心可以得到更好的拟合结果(在校正后的图像中减少了方差)。为了数值稳定，数据点需要居中并缩放。

放大校正和校准:使用不同的焦距设置拍摄的图像会有不同的放大倍数。DFD方法假设一对图像中的相同像素对应于相同的场景点。Watanabe和Nayar在[16]中使用了远心光学来保持两个不同聚焦图像之间的放大系数不变。然而，大多数消费者的镜头并不是远心的。因此，在应用任何模糊估计算法之前，都需要对失焦图像进行配准。对于放大校正，我们找到了一个仿射变换之间的磁盘中心为两个不同的相机设置。

四、PSF和相对模糊估计

A.模糊PSF估计

对定标图像进行辐射校正后，从图像中心提取25个圆盘贴片并取其平均值。然后根据投影的磁盘中心距离创建潜在的锐化磁盘图像。采用锐化和模糊图像对，求解二次规划(QP)问题，得到绝对PSF。

在上述优化问题中，iB为观测模糊图像，is为锐化图像。h是待估计的PSF核。fj是一个应用于图像的过滤器。在实验中,我们使用f1 =δ= Gx f2和f3 = Gy, G是一个高斯分布的空间导数在水平和垂直方向。与核h的元素乘积中的矩阵R是一个空间正则化矩阵，在这种情况下是一个抛物线，以确保核在边缘附近为零。这些约束条件保证了核函数的非负性，并保持了卷积后的平均强度。优化函数类似于Ens和Lawrence提出的，只是在这种情况下，我们在二维和具有显式非负性和单位约束的滤波空间中表示问题。核运算符的卷积运算和导数可以用卷积矩阵[17]表示，优化问题可以用现成的QP求解器解决(在我们的例子中是Matlab的quadprog)。

估计的PSFs如图4所示，以及相应的点图像。由于在梯度上使用二次代价，因此不能抑制小的噪声。可以使用由迭代收缩和阈值化组成的第二个优化阶段来获得更少的噪声和更清晰的PSFs。然而，在我们的实验中，我们使用简单的中值滤波来去除估计的PSF中的大部分噪声。与Joshi等人的相比，我们既使用原始图像，也使用它们的梯度。我们还有一个紧度约束类似于[5,14]。Ens和Lawrence假设了一个循环对称核，并提出了一维核估计问题。和Joshi等人一样，他们只考虑图像的重建误差。

上面图的意思就是，我们用圆盘阵列估计的PSF，比观察单个像素的成像得到的PSF，更好。左边一列就是单个像素的观察到的PSF，右边一列是用圆盘阵列估计得到的。上面一行是聚焦时候的，下面一行是失焦时候的。

B.相对模糊PSF估计

对于相对模糊的PSF估计，我们采用绝对的PSFs，通过将更清晰和更模糊的PSFs分别赋值给iS和iB来使用公式5。λn + 2 = 0的密实度约束放松相对模糊的内核。为了鲁棒性，与绝对PSFs一起使用的还有相应的散焦磁盘映像。我们还可以添加散焦模糊图像的纹理，以进一步提高相对模糊的估计。但是，我们发现PSFs和磁盘对已经足够了。添加额外的图像相当于将卷积矩阵相加。

五、PSF评价

使用单像素图像和不同的DFD模型对PSF估计方法进行了定性和定量评价。利用PSF重建误差和深度估计精度对相对模糊估计精度进行了评价。

A.绝对PSF估计

图3给出了绝对模糊估计过程的示例。我们的方法只需要一个散焦的磁盘图像，如图3a所示。磁盘的真正清晰图像是根据投影磁盘网格的大小来估计的。这是因为磁盘的半径是磁盘中心之间距离的已知分数。利用Eq. 5得到如图3c所示的PSF估计值，与图3d所示的单像素观测图像相似。

图4显示了观察到的单像素图像与估计的PSFs之间的更多比较。图4a所示为聚焦的真实点光源的观察图像。由于点光源是焦点，我们希望图像即PSF是一个点。但是由于点光源的尺寸有限，我们看不到点PSF。相反，我们基于校准盘的PSF估计过程可以克服这些限制，估计出更接近真实PSF的PSF(图4b)。图4c显示了用非常小的孔径拍摄离焦图像的示例。光圈的小尺寸产生了衍射效应，这种效应被从离焦的圆盘图像中估计出来的PSF捕获(图4d)。

B.相对模糊PSF估计

在图5中，我们展示了使用Zhou等人提出的编码孔径进行相对模糊估计的例子，包括[11]、pillbox和绝对模糊PSFs估计。合成孔径,我们把一双光阑和模拟变量集中配置与焦点距离0:7米和一22米,f = 11,ρ= 180 pixels-per-mm。该样本对应于反演深度1:6 D和0:6 D。通过将更清晰图的PSFs(最左边的列)与估计相对模糊的PSFs(第三列)进行卷积，得到了估计的模糊PSFs(最右边的列)。我们可以看到，估计的更加模糊的PSFs与真正的更加模糊的PSFs相当接近(第二列)。例如，对于编码的孔径，相对模糊PSFs可以正确地捕获孔径、方向和边界上的孔。对于实际的PSF(图5的最后一行)，光阑的形状和衍射效果也被精确地捕捉到了。高斯逼近或循环对称约束不可能对这样复杂的形状建模。

C. 使用估计的PSFs的DFD

在本节中，我们评估了使用真实和综合散焦图像的DFD估计的PSFs和相对模糊核的质量。在真实的实验中，我们根据不同的物体到传感器的距离和相机的设置来捕获前端平行纹理的图像。这些图像是用前一节讨论的校准模式同时捕获的。这使我们能够为散焦图像找到相应的PSFs。对于这个实验，我们使用前一节中的相机设置的可变焦距配置。

我们使用27个对象到传感器的距离，范围在0:61 m到1:5 m之间，均匀地(大致地)分布在反深度空间中。我们在反深度空间中选择均匀细分，因为模糊半径随反深度线性变化(回忆式2)。在实践中，这种关系近似线性，因为我们移动的是镜头而不是传感器。捕获的纹理图像经过与标定图像相同的预处理步骤，即辐射校正、定标和对准、平均强度归一化。

在合成实验中，我们使用了[11]中提出的编码孔径对。使用孔径模板，我们生成了一组不同大小(使用公式2)和方向(基于模糊的符号)的PSF内核，以及它们相应的相对模糊内核。相机参数与相对模糊实验相同。与真实的实验相似，场景被认为在0:61 m到1:5 m之间，因此在焦平面的两边都有延伸。一个1=f噪声纹理的512 512图像被用于评估的PSF对综合模糊。这是紧随其后的是添加加性高斯噪声σn = 2%的模糊图像。

在所有的实验中，深度估计都是通过为每个深度假设选择合适的PSFs和评估模型代价来实现的。然后在一个有限的窗口上对每个像素的成本进行平均，深度标签被选择为使每个像素的成本最小化的深度标签。为了评价相对模糊核估计精度，我们考虑了Zhou等人的编码孔径对[11]。图5显示了这种情况下的一对示例孔径对。图6a显示了使用估算相对模糊核的深度估计精度，以及使用地面真值PSF对来自[11]的反褶积方法的深度估计精度。

图6b显示了一个使用真实散焦图像和估计的相对模糊和绝对模糊(BET)进行深度估计的示例。在这两种情况下，真实深度都在估计平均值的2西格玛之内。在[12]中，我们使用估计的绝对模糊和相对模糊来评估不同的DFD模型。

六、结论

本文提出了一种简单、鲁棒的绝对模糊和相对模糊核估计方法。将估算的绝对模糊值与相应的单像素图像进行定性比较。我们证明了我们的方法能够估计从单个像素到相当大的模糊内核(例如77 77)。我们还展示了相对模糊核估计的结果。据我们所知，除了Ens和Lawrence的工作外，还没有任何关于相对模糊核估计的工作。此外，Ens和Lawrence假设了循环对称的相对模糊核，但我们的更灵活，我们已经证明了它的有效性使用复杂编码孔径对[11]以及传统的孔径。我们通过测量与传感器平面的距离，并对每个距离进行校准，从而避免了真实镜头建模的问题。我们的实验表明，我们估计的PSFs和相对模糊可以用于离焦深度。