GridDehazeNet

摘要

我们提出了一种端到端可训练的卷积神经网络（CNN），用于单图像去噪。GridDehazeNet由三个模块组成：预处理、骨干和后处理。与手工选择的预处理方法生成的衍生输入相比，可训练的预处理模块可以生成具有更好多样性和更相关特征的学习输入。在编解码网络或传统的多尺度网络中，由于分层结构，信息流常常受到瓶颈效应的影响，骨干模块在网格网络上通过上采样、下采样块进行密集链接实现了一种新的基于注意的多尺度估计，可以有效地缓解传统多尺度方法中经常遇到的瓶颈问题。后处理模块有助于减少最终输出中的伪影。实验结果表明，GridDehazeNet在合成图像和真实图像上都优于现有技术。主要有三个贡献：（1）该方法不依赖于大气散射模型；（2）预处理模型是可以训练的，相比于人工选择的方法更具有灵活性；（3）基于注意力机制的多尺度网络可以较好的估计模型中的参数，该网络可以高效的交换不同尺度的信息，从而有效缓解多尺度估计的瓶颈问题。

GridDehazeNet

2.1网络体系结构

GridDehazeNet由三个模块组成，即预处理模块、骨干模块和后处理模块。图1为所提出网络的总体架构。预处理模块由卷积层和残差密集块(RDB)组成。它从给定的模糊图像中生成16个特征图，这些特征图将被称为学习输入。

图1 GridDehazeNet架构

骨干模块是最初提出用于语义分割的GridNet的一个增强版本。它根据预处理模块生成的学习输入进行基于注意的多尺度估计。在本文中，我们选择了三行六列的网格网络。每行对应不同的比例，由5个RDB块组成，这些RDB块保持特征映射的数量不变。每一列都可以被视为通过上采样/下采样块连接不同尺度的桥梁。在每个上采样（下采样）块中，特征映射的大小减少（增加）2倍。这里的上采样/下采样是使用卷积层来实现的，而不是传统的方法，如双线性或双三次插值。图2给出了RDB块、上采样块和下采样块的详细说明。每个RDB块由5个卷积层组成:前4层用于增加特征映射的数量，而最后一层融合这些特征映射，然后它的输出与这个RDB块的输入通过通道相加。上采样块和下采样块在结构上是相同的，除了使用不同的卷积层来调整特征地图的大小。在GridDehazeNet中，除了每个RDB块中的预处理模块1×1convolutional层中的第一卷积层外，所有卷积层都使用ReLU作为激活函数。

直接由骨干模块输出构造的去雾图像往往包含伪影。为此，我们引入了后处理模块来提高去雾图像的质量。后处理模块的结构与预处理模块的结构是对称的。

图2

2.2基于通道注意的特征融合

注意到整体框架中，许多地方将水平块的输出和竖直块的输出进行融合，即图中红色圆圈圈住A的地方。此处即为通道注意力的特征融合。融合机制可以定义如下：

2.3损失函数

损失函数包括两部分：平滑L 1损失和感知损失。

平滑L1损失提供了去雾图像和地面真实情况之间的差异的定量度量，它对异常值的敏感度低于MSE loss，因为L1损失可以防止潜在的梯度爆炸。平滑L1Loss:让ˆJi(x)表示去雾图像中的第一个颜色通道的强度，n表示像素总数。平滑L1损失定义为：

感知损失利用从预训练的深度神经网络提取的多尺度特征来量化估计图像和地面真实之间的视觉差异。本文用的是在ImageNet上预训练的VGG-16模型，从前三个阶段（即Conv1-2, Conv2-2，Conv3-3）的每个阶段的最后一层提取特征。感知损失定义为：

其中ϕjj，j=1，2，3，为去雾结果相关联的三个VGG-16的特征图，CjHjw为特征图的尺寸。

总的损失函数为： L=Ls+λLP

其中λ是调节两个损失分量相对权重的参数。本文将λ设为0.04。

3.实验结果

4.结论

我们提出了一种名为GridDehazeNet的端到端可训练CNN，并展示了其对单图像去雾方面的竞争性能。所提出的GridDehazeNet预计将适用于各种图像恢复问题。我们的工作也揭示了大气散射模型在图像去雾中的困惑现象，并提出了在图像恢复算法设计中需要重新考虑物理模型的作用。

GridDehazeNet相关推荐

PSD：由物理先验指导的有原则的合成到真实的去雾（Principled Synthetic-to-Real Dehazing Guided by Physical Priors_CVPR_2021）
概述因为过往基于深度学习去雾的算法当模型用于现实世界的模糊图像时会导致性能下降 ,为此本文提出了一个有原则的合成到真实的去雾(PSD)框架来提高去雾的泛化性能. 从在合成数据上预训练的去雾模型主干开 ...
计算机视觉2021年3月28最新论文
编辑 | | AI速递计算机视觉 3月28日 [1] USB: Universal-Scale Object Detection Benchmark 标题:USB:万能物体检测基准链接:https ...
图像自适应YOLO：模糊环境下的目标检测（附源代码）
关注并星标从此不迷路计算机视觉研究院公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式论文获取|回复"IAYOLO"获取paper 源代码:ht ...

GridDehazeNet

GridDehazeNet相关推荐

最新文章

热门文章