Sea-thru: A Method For Removing Water From Underwater Images论文研读

摘要

1.介绍

2.相关工作

3.科学背景

4.Sea-thru方法

4.1.成像和距离地图的生成

4.2.场景重建

4.3.向后散射估计

4.4.衰减系数估计

4.4.1 作为z的函数

4.4.2.从一副图像中粗略估计（Z）

4.4.3.精确估计（Z）

4.5.加工

5.数据集

6、结果

7、结论

数据集链接http://csms.haifa.ac.il/profiles/tTreibitz/datasets/sea_thru/index.html

github代码链接https://github.com/jgibson2/sea-thru

摘要

针对于水下图像颜色恢复问题，目前来看仍然是一个挑战。我们最近表明，这部分是由于大气图像形成模型普遍适用于水下图像，并提出了物理上准确的模型。修改后的模型如下：1）信号的衰减系数在整个场景中不是均匀的，而是取决于物体的范围和反射率。2）控制反向散射随距离增加的系数不同于信号衰减系数。在这里，我们介绍了第一种使用RGBD图像通过修改后的模型恢复颜色的方法。Sea-thru方法使用暗度估计反向散射像素及其已知范围信息。然后，它使用对空间变化的光源的估计以获得范围相关的衰减系数。使用我们提供的来自两个光学上不同的水体的1,100幅图像，我们表明，使用修正模型的方法优于使用大气模型的方法。持续去除水将为强大的计算机视觉和机器学习算法打开大型水下数据集，为水下勘探和水下环境保护提供了保障。

1.介绍

水下图像中的色彩重建是一项艰巨的任务，目前尚没有鲁棒的算法。最近，我们发现，部分归咎于常用的图像形成模型，因为它是针对大气而推导的，而忽略了水下光对波长的强烈依赖性。我们提出了一个修改后的模型，该模型显示：1）正向和反向散射信号受不同系数的控制（旧模型假定它们相同）。2）这些系数中的每一个都依赖于除水的光学特性以外的因素（旧模型忽略了它们）。尽管修改后的模型在物理上更准确，但是它具有额外的参数，因此难以应用。在这里，我们介绍了Sea-thru方法，该方法概述了如何估计这些参数以实现更好的场景恢复。

像ImageNet这样的大型图像数据集在点燃人工智能热潮中发挥了作用，在过去的二十年中，它推动了科学和工业领域的许多重要发现。在水下图像领域，水下领域并不缺少大型图像数据集，但是，它并没有从计算机视觉和机器学习方法的强大功能中受益，这使得这些发现成为可能，部分原因是水掩盖了场景的许多计算上有价值的特征。水下照片等于在空中拍摄的照片，但被浓彩色雾覆盖，白点和亮度随距离而变化。很难针对代表全球海洋的不同光学条件来训练基于学习的方法，因为校准后的水下数据集很复杂，并且在逻辑上很难获得。现有方法解决由水引起的偏色问题，要么不稳定，太敏感，要么仅适用于较短的目标范围。因此，大型水下数据集的分析通常需要昂贵的人工。平均而言，人类专家会花费2个小时以上的时间来识别和计数一条长达1小时的视频中的鱼类。

Sea-thru方法旨在始终如一地从水下图像中去除水分，因此可以提高效率来分析大型数据集。它的工作原理如下：给定RGBD图像，它以为雾霾开发的暗通道先验（DCP）启发的方式估算背向散射图像，但要利用已知的距离图，接下来，它使用优化框架通过使用局部空间平均颜色获得的照明图来估计与范围相关的衰减系数。我们表明，可以将距离相关的衰减系数建模为2项指数模型，从而大大减少了优化步骤中的未知数。我们表明，可以将距离相关的衰减系数建模为2项指数模型，从而大大减少了优化步骤中的未知数。我们贡献了1,100多幅图像从两种光学上不同的水中获取（可在http://csms.haifa.ac.il/profiles/tTreibitz/datasets/sea_thru/index.html）。在这些图像和由贡献的另一个水下RGBD数据集上，我们从质量和数量上证明了第一个使用修订后的图像形成模型的Sea-thru优于使用旧模型的其他模型。

2.相关工作

Nayar和Narasimhan开发了恶劣天气的图像形成模型。假设散射系数在每个颜色通道的相机感光度范围内是恒定的，从而导致每个波长的系数。此模型随后被广泛用于恶劣天气，后来又适应水下环境。对于场景恢复，这些方法需要一个以上的场景帧，或额外的信息，例如3D结构。该模型进一步简化为仅包括一个衰减系数，在所有颜色通道上均一。这样做是为了从雾中的单个图像中恢复，后来也用于水下恢复。在水下场景中，对所有颜色通道使用相同的系数是一个非常粗略的近似值，而对每个通道使用系数可以产生不错的效果。不过，正如我们进一步表明的那样，它们的准确性本质上是受模型限制。

之前使用DCP从单幅图像估计后向散射，以及它的一些变体，或者其他先验方法。衰减系数可以用海洋光学仪器如透射仪或分光计来测量。然而，由于光谱灵敏度和接受角度的不同，它们不能被用于成像。此外，这些工具部署起来既昂贵又笨重。因此，最好是直接从图像中估计衰减系数。最基本的方法是对已知距离的标定目标进行拍照。在其中一篇论文中，系数是从估计的遮蔽光中提取的，忽略了光照颜色。在另外一篇中，采用灰色世界假设估计各通道的衰减系数。其他的方法通过使用固定的衰减系数来缓解这个问题，只测量一种水类型。

已知的距离稍微简化了问题，并通过将多幅图像的数据拟合到图像形成模型来估计后向散射和衰减，深层网络最近被用于重建水下场景。然而，他们的训练依赖于纯合成数据，因此高度依赖于仿真模型的质量。到目前为止，所有的方法都假设衰减系数仅仅是水的属性，并且在场景中每个颜色通道都是一致的，但是正如我们所展示的，这是一个错误的假设，导致了重建中的错误。

3.科学背景

水下图像的形成取决于:

其中c = R,G,B为颜色通道，Ic是相机捕捉到的图像(带有失真的颜色)，Dc是包含(衰减的)场景信息的直接信号，Bc是后向散射，一种附加信号，由于悬浮在水柱中的粒子反射光线而使图像退化。组成部分Dc和Bc由两个不同的系数β决定，分别是传输过程(RGB)衰减和后向散射系数。

图2，水下成像由Ic = Dc + Bc形式的方程控制。Dc包含衰减颜色的场景，Bc是一个退化信号，它强烈依赖于水的光学特性，并最终控制了画面。插图显示的相对大小在海水27米处拍摄的麦克白海图。

式1的展开形式如下：

z是相机和场景中物体沿视线的距离(距离)，是场景光，是未衰减的场景，如果沿着z方向没有衰减，将在相机的位置捕获。向量和表示和以及Z和反射系数ρ、环境光光谱E、相机的光谱响应、水体的物理散射系数和光束衰减系数b和β,的相关性，这些都是波长的函数。以前，这是假定的=，并且这些系数对于一个给定的场景有一个单一的值，但是在方法1中，我们已经表明它们是不同的，而且更进一步它们依赖于不同的因素。公式2用于水平方向的成像。然而，在整个工作中，我们将其应用于在不同方向捕获的场景，假设偏差很小。未来的工作应该测试Eq. 2对不同成像方向的适用性。连接RGB系数的方程、和与波长有关的物理量是：

这里，和是可见光范围的极限(400和700nm)， E是景深d处的环境光光谱。光穿透垂直衰减的基础上扩散下降衰减，

不同的光束衰减系数，仅仅是海洋中溶解物质的类型、成分和密度的作用，如果是海洋表面的光，深度d为：

场景光如公式2所示：

其中

4.Sea-thru方法

根据方程式2-4，恢复，需要知道或估计以下参数：通过b，β, 和Kd确定光学水型；环境光，照相机与景物沿视线之间的距离z，拍摄照片的深度d，场景中每个物体的反射率ρ，和相机的光谱响应Sc。在拍摄水下照片时，这些参数几乎是不知道的。在方法1中我们确定了受很大的影响，很大影响受到环境光E的影响。因此，我们定制Sea-thru方法来处理这些特定的依赖关系。因为这些系数随成像角度和曝光而变化，我们假设它们通常不能在图像之间传输，即使是用同一架相机连续拍摄的图像，我们仅从给定的图像中估计相关参数。

4.1.成像和距离地图的生成

其中严重依赖于z，我们需要一个场景的距离图，我们使用结构-运动(SFM)获得，通常用于水下测量珊瑚礁的结构复杂性。我们的方法需要z的绝对值，而SFM只提供缩放范围，所以我们在场景中放置已知大小的对象如图3。当从水下航行器进行成像时，它们的导航传感器可以提供速度或高度。另一种方法是立体成像，这需要使用两个同步相机，并在成像测量开始前进行直接的水中校准。

图3、a)使用Photoscan Professional (Agisoft LLC)从68张照片创建的3D模型，b)该模型得到的图1图像的距离图z(单位为米)。我们在海底放置了一个彩色图表来设置比例。

4.2.场景重建

从方程式1和2我们可以有:

其中。这里我们明确地保留了的对z的依赖性，并对其进行解释。但是我们将忽略其他依赖关系。Jc是一幅仅沿z方向校正颜色的图像，这取决于成像的几何形状，它可能需要进一步的修正，以达到在海面上拍摄的照片色彩。设Js表示在表面拍摄的图像。然后：

其中Wc为相机环境光的白点(即深度d处)，Js为Jc全局白平衡。

4.3.向后散射估计

后向散射随z指数增长，并最终饱和(图2)。场景反射率在哪里Pc→0(所有的光吸收)，或者E→0(完全阴影)，捕获的RGB强度Ic→Bc。我们搜索图像非常黑暗或阴影像素，并使用他们得到一个初步估计的后向散射。我们的方法与DCP相似，它试图找到反向散射信号的位置Dc是最小的，但它与我们利用已知距离图的基本方式不同，而不是试图估算它。此外，我们搜索最暗的RGB，而不是在每个颜色通道中独立地找到最暗的像素，我们没有形成一个暗通道图像。我们的方法识别的少量未连接的像素就足够了，因为我们有相应的范围信息，以及Bc如何与z行为的物理模型。(请参阅第3节中的成像角度)。

我们对后向散射的估计如下:首先我们将距离映射划分为10个均匀间隔的簇，这些簇跨越z的最小值和最大值。在每个范围簇中，我们在Ic中搜索最底层1%的RGB值，我们通过Ω表示。然后在整个图像上，Bˆc(Ω)≈Ic(Ω)是一个高估的后向散射，我们模型:

表达式中表示表现类似于直接信号的小残差项。利用非线性最小二乘拟合对参数进行估计，范围在 [0,1]， [0,5]， [0,1]， [0,5]之间，在这一步，我们忽略的z依赖性。如果有关相机传感器、水类型等信息，，可以进一步细化。

根据场景的不同，可以将残差剔除Eq. 10。发现暗像素的反射率为完全黑色;如果他们在阴影之下;如果z很大;或者如果水非常浑浊，，在所有其他情况下，包含剩余项是重要的。在珊瑚礁场景中，由于其复杂的三维结构，经常有许多阴影像素提供直接估计后向散射。

图4显示了该方法在校准实验中的性能，我们在蓝色水域的一条浮标线上安装了一张图表(以减少从海底到水面的相互反射)，并在我们游向它时拍摄了照片。在远端图像中可以清楚地看到后向散射的遮蔽效应，随着相机和图表之间z的减小而减小(图4a)。对于每一幅图像，我们使用[1]中描述的图表消色差斑块计算地面真实后向散射，并使用这里描述的方法估计它(图4b)。得到的Bc值几乎相同;除了Ic和z之外，不需要其他输入(例如水类型)来获得这个结果。注意,黑块的颜色图表不是Ω捡起的任何图像,表明它确实是一个比真正的黑色或深灰色和更轻阴影像素。

图4。在不同范围内成像的彩色图表。a的上一行为原始图像Ic，下一行为对应的原始图像Ic，Dc或反散射去除图像。b)利用本文描述的方法(x’s)和[1](o’s)中描述的基于色卡的后向散射计算方法计算每个颜色通道的Bc;值几乎是相同的。

4.4.衰减系数估计

4.4.1 作为z的函数

我们之前讲过随范围z变化最大。检验Eq. 3表明这种变化是以指数衰减的形式出现的。在我们描述如何从图像中提取之前，我们用公式表示和Z。

图5是[2]的一个实验，我们将一个彩色图表和尼康相机与图之间的后向散射和衰减都可以忽略，因为图与相机之间的距离z很小，得到Ic→Jc。在这个设置中，颜色损失是由于有效的衰减系数作用在垂直距离海面d，并被捕获在每个深度的环境光Wc的白点D90相机安装在一个框架上20厘米的距离，并降低这个配置从表面到拍摄时水深30米。

从每张图像中，我们计算出有效的，在垂直方向上，有两种不同的方法:从[2]中描述的成对图像中提取，以及使用Eq. 9, Wc提取自颜色图中第二个(24%)灰度斑块的强度。另外，我们用公式3计算的理论值，在这种水的类型使用的光谱响应的相机，水体(作用于垂直方向)的Kd(水的浓度)我们已经测量过了。三种估算方法如图5，表明随距离衰减，这里是d。基于图5中的数据和其他模拟，我们描述了在任意范围z上使用2项指数，形式为:

4.4.2.从一副图像中粗略估计（Z）

假设Bc成功从图像Ic中去除，我们现在可以开始估计，从直接信号Dc，从Eq. 2注意到，直接信号是衰减的场景Jc(在摄像机的位置)的乘积，这样因为空间上的差异，场景Jc的恢复就变成了估计相机和场景之间的光照贴图的问题，鉴于估计当地的光源映射Eˆc (z),我们可以获得粗略估计的（Z）为：

局部光源的估计是计算色恒常性领域的一个重要研究课题，几种方法，最著名的是Retinex模型，它模仿了一个人的能力，以折扣不同的照明，已应用于水下图像，最近的一项研究表明，在大气图像去雾和Retinex之间存在直接的线性关系，如果正确地从原始图像中去除后向散射，我们可以期望许多光源估计方法在水下图像上能很好地工作，这里，我们采用了[24]中描述的局部空间平均颜色(LSAC)方法的一种变体，因为它利用了一个已知的距离图。该方法的工作原理如下:对于给定的像素（x,y）在彩色通道c,通过更新方程迭代估计局部空间平均颜色ac(x, y):

其中邻域Ne定义为与像素在(x, y)处相邻的4个连通像素，且这些像素与邻域阈值∈的距离较近：

这里，对于所有像素点，取a(x, y)的初始值为零，因为经过大量迭代后，初始值不显著。参数p描述了计算平均值的局部支持区域，该区域依赖于图像的大小;较大的p表示对较小的邻域计算局部空间平均颜色。然后，找到局部光源图为, f是一个因素同样基于几何缩放所有颜色通道,可以发现基于现场查看。们使用f = 2跟随[23]作为摄像机和场景之间的垂直方向。

4.4.3.精确估计（Z）

然后，利用已知的距离图z，改进的估计（Z），为了遵从给定的z，我们将公式12改写为:

和最小化:

（Z）是用式11定义的，参数是a b c d。这些参数获得衰减指数的上界和下界为[0，−∞，0，−∞]和[∞，0，∞，0];但可以用公式12得到的粗略估计加以缩小，用精确的估计（Z），通过式8恢复Jc，在Jc中，环境光的空间变化已经被修正，剩下的就是对全球白点Wc的估计。这可以通过使用统计或基于学习的方法来实现(调查见[32]);在这里，对于包含足够多样化的一组颜色的场景，我们采用简单快速的灰色世界假设，对于单色场景(比如我们接下来介绍的数据集D4)，我们使用来自的空间域方法不依赖于颜色信息的[18]。

4.5.加工

我们使用[40]中描述的摄像机管道操作平台将Sea-thru输出转换为标准颜色空间，在步骤6之前将它们插入到管道中，并为白平衡指定一个单位矩阵。

5.数据集

我们提供了5个水下RGBD数据集(表1)。所有的照片都是在自然光照条件下获得的，采用raw格式，对给定的一组照片进行恒定的曝光设置，并包含有彩色图表的多幅图片。

6、结果

7、结论

从海洋的图像形成模型中获得了它的强度，Sea-thru提供了一个没有产生色偏的水下世界场景，它突出和是不同的，以及对Z的依赖性不能被忽略，我们重点关注z依赖的恢复，因为它是最突出的，但在未来的计划也恢复改善对依赖的纠正，由于恢复这些复杂的依赖关系是极具挑战性的，深网的性能应该比我们使用的估算方法要好。由于在这种环境下无法获得地面真实感，他们的训练必须根据正确的图像形成模型进行精心设计的模拟。仔细的模拟也可以帮助解决这项工作中出现的另一个挑战;结果的评估。布在[7]中的数据集是通过在场景中放置多个颜色图表来获得的，但是仅限于图表的评估并不总是能说明全部情况。

Sea-thru是向强大的计算机视觉和机器学习算法开放大型水下数据集的重要一步，在我们的海洋因污染、过度捕捞和气候变化而面临越来越大的压力之际，它将有助于推动水下研究。

数据集链接http://csms.haifa.ac.il/profiles/tTreibitz/datasets/sea_thru/index.html

github代码链接https://github.com/jgibson2/sea-thru