去雾论文A real-time fast defogging system to clear the vision of driver in foggy highway using minimu...

Mandal G, De P, Bhattacharya D. A real-time fast defogging system to clear the vision of driver in foggy highway using minimum filter and gamma correction[J]. Sādhanā, 2020, 45(1): 1-11.

基于最小滤波和伽马校正的雾天高速公路实时快速除雾系统（DCP+GAMMA）

雾是驾驶者在驾驶时面临的最大障碍和不可避免的问题。由于雾天，能见度差，尤其是在清晨和深夜，司机无法看到路上远处的物体。结果，道路事故的可能性增加。在本文中，提出了一种基于视觉的快速实时除雾系统，用于在雾天环境条件下行驶时清除高速公路的视野。所提出的系统可以消除驾驶员视线的模糊，并可以在很短的时间内呈现清晰的道路视野。每帧的处理由四个步骤组成：使用最小过滤器计算大气光，透射图，场景辐射，最后应用伽马校正以完美的对比度调整去除朦胧。为了降低时间复杂度，不是每帧估计大气光，而是以5000帧为间隔计算。在高速公路上进行了白天和晚上的许多实时启发式测试，测试分析表明，除雾后，在大雾期间能见度增加了65%以上。此外，在低雾条件下，能见度也大幅增加。

1 简介

雾是空气中非常细小的水滴，由半径为 1-10 lm 的微小水滴悬浮而成。雾看起来像地球表面附近的厚云 [1]。如果光线落在这些液滴上，那么光线就会被散射，对比度就会消失，从而产生白色浓密的可见性。因此，任何车辆的驾驶员都无法看到很远的物体，并且会因事故的恐慌而非常缓慢地行驶 [2]。这是道路上所有类型车辆以及火车和飞机的常见问题。在高速公路的情况下，驾驶员无法清楚地看到道路、相反方向的车辆、交通信号和障碍物。在火车的情况下，机车驾驶员无法清楚地看到信号和车站。如果飞行的飞行员面临雾天，能见度差，那么起飞和降落就变得非常困难。如果司机在有雾的情况下驾驶，那么很有可能与来自相反方向的车辆或任何行人发生碰撞。全世界每年有近 140 万人死于交通事故，平均每天有 3,287 人死于交通事故。另有 20-5000 万人受伤或致残 [3, 4]。在印度，每年有超过 14.7 万人死亡，超过 47 万人受伤。每年在印度，道路大雾导致超过 11,000 人死亡，近 24,000 人受伤 [5]。

雾以多种方式影响驾驶感知，即降低能见度并影响驾驶速度。因此，驾驶员不能以实际速度行驶，而必须慢速小心地行驶。因此，总旅行时间比实际时间增加，并且很难区分移动物体和静止物体。雾可能存在于早上和晚上，如图 1 所示。驾驶员应非常小心，否则无法了解其他车辆是否在移动或处于停车模式。在能见度低的情况下，估计来自相反方向的车辆的确切距离也非常困难。如果使用远光灯，则它会散布在整个雾中并变得更模糊。因此，在这种情况下使用远光灯也无济于事。由于雾是一种环境条件，因此无法避免。结果，发生了大量的事故，导致死亡和许多人受伤。此外，许多人由于速度慢而迟到到达目的地，许多火车晚点，许多航班被取消。

一些研究人员尝试使用图像处理技术从单个图像中去除雾来解决这个问题 [6-12]。然而，从实时视频中去除雾气仍然是一个开放的研究领域。本文介绍了一种快速除雾技术，实时清除驾驶员视线，保障高速公路安全行驶。剩下的文章组织如下。第 2 节涉及文献调查，第 3 节给出了建议的方法和实施。第 4 节显示了实验和仿真结果、比较和时延分析，然后是第 5 节的结论。

2.文献调查

现有的除雾算法很少。然而，所有这些都适用于单个图像和特定环境，即白天或夜间或海景等。下面解释一些的现有方法。

Lin 等人 [13] 提出了一种使用引导滤波器的视频和图像去雾技术。与图像的深度信息相比，这种技术产生的透射图是平滑的。

Xu 等人 [14] 开发了一种基于通过自适应直方图均衡固定对比度限制的单幅图像去雾算法。它紧扣图像的直方图并将所有裁剪的像素重新分配到每个灰度级一个最大值。因此，可以减少雾。

Shuai 等 [15] 引入了 Wiener Filter 来应对使用暗通道先验的图像明亮区域的颜色失真等问题。该算法使用基于暗通道的中值滤波器来估计中值函数。因此，将雾图像恢复问题转化为优化问题，通过最小化均方误差得到无雾图像。

Tripathi 等人 [16] 提出了一种基于双边滤波的除雾技术。该方法使用非线性分组并从相邻像素中取平均值，在不影响边缘的情况下平滑彩色和灰色图像。双边滤波器用于估计大气光并恢复衰减（降低场景对比度）。该算法将每个像素替换为其相邻像素的权重平均值（可能是：高斯分布、欧氏距离、深度、距离、像素颜色强度等范围差异）。

He 等人 [17] 提出了从单个图像中去除雾度之前的暗通道。此方法侧重于颜色 (RGB) 通道中具有最低强度的像素。在有雾的图像中，空气光是产生低强度暗像素的主要原因。因此，可以通过暗像素来估计雾度透射率。将软匹配与雾霾成像模型相结合，可以恢复无雾图像。

Fattal [18] 引入了一种技术，可以从输入图像中估计有雾场景中的透射（光学）。基于这种近似，场景可见度从散射光中增加，并且恢复了无雾场景对比度。除了传输函数之外，这种方法还表达了一种考虑表面阴影的高级图像构建模型。雾的颜色是用类似的原理估算的。

Mai 等人 [19] 在使用深度场景和学习（监督）参数重建有雾图像之前提出了颜色衰减。使用深度图，可以轻松估计传输并恢复场景可见性。

He 等人 [20] 开发了一种算法，通过最佳传输图从单个输入帧中消除雾。他们精确地检查了视觉模型，并预先在补充边界下重新组织了初步传输图。

Yang 等人 [21] 提出了一种基于超像素的夜间消雾方法。使用虚拟平滑度将输入帧分解为无辉光和辉光模糊的框架。然后为无辉光雾帧中的所有像素计算空气-明暗通道。透射图由引导（加权）过滤器使用暗通道投影。自适应阈值也被提供给传输图以去除噪声，最后恢复帧。

Hu等[22]提出了一种用于海上视觉监视的单幅图像去雾方法。分别提出了散射模型和辐射分解算法来去除空气光上的辉光结果和恢复雾层。然后，投影传输图。最后，提出的辐射补偿程序允许无雾图像保留原始图像的自然辐射数据。

3. 提议的方法

在本文中，介绍了一种快速新颖的方法，可以在白天和夜间驾驶时从驾驶员的视野中实时去除雾气。由于它是一个实时系统，时间复杂度与突出的无雾输出一起是最重要的问题。因此，所提出的模型以独特的方式设计，以便处理每一帧的时间消耗会更少。所提出的模型基于传输图和场景辐射恢复。在使用最小滤波器估计大气光后评估透射图，然后进行伽马校正。大气光根据第一帧的像素强度估计，并在 5000 帧间隔后更新。图 2 表示整个提议系统的流程图。

3.1 实时视频采集

实时动态视频的采集称为视频采集。它是对单个帧进行清晰处理以解决道路朦胧状况问题的主要阶段。在该系统中，高清网络摄像头用于捕捉道路的实时视频。摄像头已根据驾驶员眼睛的位置固定在挡风玻璃内，以生成准确的道路视图。摄像头能够实时采集每秒30帧彩色视频，最大分辨率为1280×720像素。

3.2 帧的隔离

由于相机能够每秒捕获 30 个彩色帧 (fps)，因此为了清楚地处理每一帧，我们需要实时分离所有帧。对于动态实时视频，每一帧的光强在其视觉感知上是不同的。对于 30 fps 的视频，每秒一个接一个地依次运行 30 帧。为了专门处理每一帧，帧的分离是必不可少的。因此，所有 30 帧的分离都是实时完成的，以便清楚地处理每一帧。

3.3 最小滤波器的大气光估计

在计算机图形学和计算机视觉中，大气散射模型[23-27]被广泛用于描述雾霾图像的形成，其公式如下：

其中 I(x) 表示输入有雾图像，“A”表示大气的全局光，J(x) 表示无雾图像，t(x) 表示透射图。它描述了没有散射并影响相机的光量，其给出如下：
t(x)=eβd(x)t(x)=e^{\beta d(x)} t(x)=eβd(x)
其中 β是雾因子，d(x) 表示图像中的深度 [17, 19]。对于干净天气拍摄的图像， β ≈ 0 不考虑其影响，我们得到 I ≈ J。另一方面，当图像在雾天拍摄时，则 β > 0 变得不可忽略。在 (1) 中，J (x)t(x) 是直接衰减，A(1 - t(x)) 是大气光。图像被分成大小为 X 的小块。去雾旨在从 I 中恢复 t、A 和 J [28] 。

在补丁（非天空区域）中，三个颜色通道 (RGB) 中的至少一个具有非常低（或几乎为零）的光强度。最小过滤器应用于三个 RGB 通道的局部补丁。使用此过程获得的图像具有低强度值。像素的最低强度值 Jlowest(x) 计算如下：

其中 J 是无雾输出帧 [17, 25, 28]，Jc 是 J 的颜色通道，Jlowest 是 J 的最低强度并且倾向于为零，X(x) 是位于 x 处的局部补丁。最低强度是两个最少操作符的结果：min c2fr;g;bg 在所有像素上生成（图 3b），而 min y2fXðxÞg 是最小过滤器（图 3c）。最少的运算符是可交换的。

从 RGB 计算最低强度 (Jlow) 后，估计大气光 (A)。选择最亮 (0.1%) 像素的坐标，并从这些像素位置分别获得每个 RGB 颜色通道中的最高强度值 [12, 17]。来自 RGB 通道的这三个强度值被视为大气光 (A)。因此，‘A’ 是一个 3 × 1 向量，其中每个值代表 R、G 和 B 中的最高强度值。假设大气光 (A) 是全局恒定的，并且在所有相邻帧中都不会改变固定的环境条件。因此，重复计算每一帧的大气光 (A) 是没有用的。让我们假设大气光对于视频的所有帧都是恒定的，直到阈值周期。我们使用从第一帧获得的估计大气光 (A) 来恢复接下来的 5000 帧，这降低了时间复杂度。大气光 (A) 的值可以从输入帧中包含最高强度的像素中估计出来。然后计算这些像素（低强度像素）的强度值的平均值，最后估计大气光。

3.4 介质透射率图估计

使用第一帧的大气光 (Ac) 计算每个实时帧的透射图。输入帧的每个像素除以它在“A”中的相应值，以计算三个传输通道 (RGB)。我们首先用“A”对雾度图像（1）的方程进行归一化：

（其中局部补丁 X(x) 是常数，透射率是 t(x)。最低强度 Jlowest 倾向于零，Ac 是大气光的相应值，始终为正值。）
此后，通过在两侧放置最小算子来计算（4）两侧的最低强度：
（5）
由于 J 是无雾图像，因此 J 的最低强度接近于零，即：

由于 Ac 连续为正，所以
（7）

将(7)代入(5)，传输t(x)估计为
（8）

由于天空是无限的，透射率几乎为零，因此方程（8）可用于非天空和天空区域。无需分离天空区域。即使在晴朗的日子里，大气也不会完全清除颗粒。远处的物体总是存在一些雾。然而，雾霾的出现是人类感知深度的基本关键。如果彻底去除雾霾，那么框架可能看起来不自然并且可能会失去深度感。因此，通过熟悉等式（8）中的常数参数 x (0\x B 1))，我们可以为远距离物体保留非常少量的雾，以获得自然外观：
x 的值取决于应用程序。随着我们减小补丁大小，我们可以对 x (&0.7) 使用稍低的值，对于大补丁大小，可以增加 x 值 [12, 17, 28]。在这里，一个常数值已固定为 0.8，因此它几乎适用于所有类型的框架。输入模糊帧的传输图如图 4 所示。

3.5 场景光采恢复

在大气光和估计传输的帮助下地图，场景辐射根据 (1). 然而，直线衰减 J(x)t(x) 可以为零没有任何传输。计算出的场景辐射度 (J) 可能有噪音。因此，传输 t(x) 应该是由下限 t0 控制，即保留轻微的雾度。最终场景辐射 J(x) 由

此处使用典型值 t0 = 0.1。 当框架包含大量天空区域时需要增加它，否则天空区域可能会出现伪影，这意味着框架看起来不会平滑和愉快。由于场景光辉不像大气光那样明亮，去雾后的画面显得暗淡。因此，为了显示 [17]，J(x) 的曝光增加。

3.6 Gamma 校正

完成上述阶段后，由于雾而导致的帧模糊几乎清晰。不过在对比度的调整上还需要更多的改进，这样画面才会更加突出和方便。在这里，对每一帧应用 Gamma 校正方法以获得最终的突出视图。显示屏发光的强度通常不是线性函数。监视器形成的强度取决于所提供电压的功率因数。该功率因数被认为是伽马 [29, 30]。 Gamma 可以通过增加阴影帧的强度来表示

并同时降低亮帧的强度

其中电压 (V) 是与监视器发出的光 (I) 强度相关的电子流，c (gamma) 是功率因数（常数）。不同伽马©值下显示屏的光强输出表示如图5所示。
通过伽马校正方法可以校正非线性函数。使用查找表进行伽马校正的步骤如下：

1取景物辐射后的无雾帧作为输入帧
计算像素的最大强度（考虑估计的大气光）
Gamma 值选择
查找表的设计
输入像素的值映射到查找表

在从估计的大气光中观察强度的极值后，至关重要的一步是形成查找表并选择伽马值 [31]。 8 位图像帧的查找表的形成如下所示。
考虑一个样本帧，其中最高强度为 221，应用的 gamma © 值为 3。因此，每个 Index 位置的查找表的形成将是：

形成查找表后，将输入帧的像素值映射到查找表中的值。观察帧的第一个像素的强度值，然后使用查找表的索引进行匹配（见图 6）。最后，累加查找表中的匹配值。这样，所有的帧都被一个接一个地修正了[32-34]。

3.7 使用处理帧的视频重建

视频重建是通过以静态速度顺序排列多个帧来生成新鲜实时视频的最后阶段。伽马校正完成后，所有处理过的帧就准备好了。最后，通过在相机获取的实际序列中排列所有处理过的帧来重建新视频。在这个提议的系统中，视频重建一直持续到最后。实时视频的重建以30 fps的固定速度（因为获取的实时视频为30 fps）以显示实际视频。它将使驾驶员能够获得舒适的实时视频。

3.8 实时视频显示

在重建新鲜视频时，它以横向模式显示在13英寸全高清显示器（分辨率：1920 9 1200）上。监视器安装在汽车挡风玻璃下方和仪表板上方。因此，驾驶员在驾驶过程中可以有一个舒适的外观。

（待补充……）

4 实验结果

已在高速公路上的不同雾天条件下对所提出的系统进行了严格的实时测试。已观察到原始有雾场景以及在不同有雾条件下重建帧的质量。为了获得准确性，随机帧已被视为观察样本。表 1 给出了该系统获得的精度。

所提出的方法也已应用于“有雾驾驶数据集”[35]（在有雾驾驶期间包含 101 帧）和“有雾的城市景观”[36]。在两个数据集上都观察到了出色的结果。从数据集得到的结果如表 2 所示。

在表 1 和表 2 中，观察到对于大多数帧，使用建议的系统显着地完成了去雾。现将任意车辆除雾前后随速度增加的可见距离（与任何物体可见的最大距离）如表3所示。

4.1 仿真结果

在高速公路上对白天和夜间大雾条件下的车架进行了测试后，观察到了出色的结果。大多数框架都包含突出的道路景观以及可见距离的增加。我们提出的系统的仿真结果如图 7 所示。图 7a-d 分别表示输入有雾帧、计算出的最低强度的帧、估计的透射图和去雾后的最终输出帧。

4.2 与流行方法的定性比较

为了比较不同现有方法的去雾帧的输出，使用了“雾化驾驶数据集”[35]和“雾化城市景观”[36]中的各种雾化帧。图 8a 描绘了要除雾的原始有雾输入帧。图 8b-d 分别显示了 He 等人 [17]、Xu 等人 [14] 和 Zhu 等人 [19] 的结果。所提出技术的结果显示在图 8e 中。如图 8b 所示，大部分雾被消除，但由于图像的对比度较高，因此画面变得更暗。在图 8c 中，Xu 的结果表明，由于直方图均衡，输出在整个帧中被散射光去雾。图 8d 显示了 Zhu 使用先验颜色衰减的结果，这提供了稍微更好的去雾输出，但没有完成亮度和对比度的适当增强。然而，图 8e 表示使用所提出的方法的去雾输出，该方法给出了具有完美对比度调整的突出视图，并且每个对象都突出可见。

4.3 时延分析

在驾驶的情况下，时序因素非常关键。如果驾驶员在发生事故的确切时间无法看到路景，那么发生事故的几率将非常高。实时视频采集和重建视频显示之间应该没有太大区别。在这个提议的系统中，整个过程的时间消耗仅为几毫秒，驾驶员会感觉像原始的实时实时视频。因此，仅计算第一帧的最低像素强度，然后是大气光 (A)。每5000帧间隔更新一次，节省了计算时间。