[图像去雨]--Arixv-Gradual Network for Single Image De-raining

摘要：

在单幅图像去雨方面的大多数进展都遇到了一个关键的挑战，即在保留图像细节的同时去除不同尺度和形状的雨条纹。现有的单幅图像消雨方法将消雨条纹直接视为像素级回归过程。然而，他们在过度降雨(如去除无雨区域的纹理细节)和去雨不足(如留下雨纹)之间缺乏平衡。在本文中，我们首先提出了一种由粗到细的渐进式网络(GraNet)，它由粗步骤和细步骤组成，用于研究具有不同粒度的单图像去雨。具体来说，为了揭示粗粒度的雨条纹特征(例如，长而厚的雨条纹/雨滴)，我们提出了一个粗粒度阶段，通过一个由区域感知块组成的局部-全局子网络来利用局部-全局空间依赖性。将粗阶段重建的输出和原图像的残差值作为细粒度阶段输入，细粒度阶段通过去除细粒雨纹(如小雨纹、水雾)，利用具有密集块和合并块的上下文合并子网络得到统一的无雨、重建良好的输出图像。通过对合成数据和真实数据的坚实而全面的实验表明，我们的GraNet在去除不同密度、尺度和形状的雨纹的同时，还能很好地保留无雨区域的图像细节，从而显著优于最先进的方法。

正文：

Motivation:

作者分析了以往方法的缺点，主要是在过度去雨和去雨不足之间找不到平衡点：
1.过度去雨造成无雨区域的细节丢失，c图所示。
2.去雨不足导致还存在雨纹，b图所示。
3.内隐学习倾向于阻碍网络行为的可解释性，在试图理解去雨过程时造成混乱。
因此作者提出了GraNet，用两阶段的方法进行去雨，粗阶段是主要是进行去雨，细阶段是解决上述的平衡问题，进行细节重建或者去除尚存的雨纹。

网络结构：

如图所示，作者提出的去雨网络包含了Coarse-Fine两个stage，作用概括来说就是，Coarse Stage进行粗粒度的去雨，Fine Stage使用输入图像与Coarse stage的残差值作为输入，对图像进行细粒度的去雨并重建图像的细节。
Coarse Stage：Encoder-Decoder带pooling indices的结构，RAblock是region-aware，从文章中看的是non-local dense blocks NLDB，所以这部分整体上就是NLEDN(ACM2018-去雨文章，详情可见之前分享）的网络结构，但是稍有区别。
Fine Stage：输入是一个亮点，是一个粗粒度去雨的图像送入dense block+多层融合的细粒度网络中，针对粗粒度中处理不足的缺点进行修正。相当于是一个递归网络的思想。其中Merging Block是受到pixel shuffle的启发，将输入A先分成K个组[A_0，A_1，A_k]，用下述公式进行融合：

损失函数：MAE Loss

实验结果：

1.Implementation Details：
有一个不能理解的点，训练的时候输入尺寸是需要Resize到长边<=512的，但是测试的时候是保持原尺寸的。
其他都是常规的操作。

2.四个标准数据集上的效果（SOTA，但是不如ICCV2019-ERL-Net):

3.消融实验:

RA：Non-local block Context：Contextual Merging blocks

[图像去雨]--Arixv-Gradual Network for Single Image De-raining相关推荐

hikey970学习-012 hikey970上移植图像去雨深度神经网络算法
摘要:本文在hikey970嵌入式设备上运行图像去雨深度神经网络算法,验证hikey970运行神经网络模型的性能与效果. 一.图像去雨简介图像去雨处理指的是对于一张雨中的图片,去除画面中的雨 ...
Transformer 杀疯了，图像去雨、人脸幻构、风格迁移、语义分割等通通上分
前段时间 Transformer 已席卷计算机视觉领域,并获得大量好评,如『基于Swin-Transformer』.『美团提出具有「位置编码」的Transformer,性能优于ViT和DeiT』.『L ...
图像去雨算法（基于卷积网络）
图像去雨算法文章: https://pdfs.semanticscholar.org/bf10/3b3ea90f0d032d1d73dbb83ae41731ee006f.pdf 相应的代码和论文 ht ...
深度学习：图像去雨网络实现Pytorch （二）一个简单实用的基准模型（PreNet）实现
本文参考文献:Progressive Image Deraining Networks: A Better and Simpler Baseline Dongwei Ren1, Wangmeng Zu ...
图像去雾/图像去雨（matlab/python）
看到许多小伙伴想进行图像去雨,图像去雾的任务,由于以前进行了此类项目,所以在此书写博客进行交流. 代码获取去雨前言从静止图像中去除雨水是一项复杂且具有挑战性的任务.雨滴仅影响图像的很小区域,因此导 ...
【论文分享】联合形态学滤波和卷积稀疏编码的图像去雨
[论文分享]联合形态学滤波和卷积稀疏编码的图像去雨
图像去雨：超详细手把手写 pytorch 实现代码（带注释）
引导数据集准备训练数据集代码测试数据集代码网络模型代码训练代码测试代码参考文献其他数据集准备使用来自第一个参考文献的公开数据集Rain12600和Rain1400,下载链接.其中训 ...
图像去雨实例（一）之AttentiveGAN
论文阅读见:<Attentive Generative Adversarial Network for Raindrop Removal from A Single Image> 首先环境 ...
【Gated Context Aggregation Network for Image Dehazing and Deraining用于图像去雾和去雨的门控上下文聚合网络】，个人笔记，勿喷
摘要图像去雾旨在从模糊图像中恢复未损坏的内容.我们没有利用传统的低级或手工图像先验作为恢复约束,例如暗通道和增加的对比度,而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像.在这个网络 ...

[图像去雨]--Arixv-Gradual Network for Single Image De-raining

摘要：

正文：

实验结果：

[图像去雨]--Arixv-Gradual Network for Single Image De-raining相关推荐

最新文章

热门文章