[图像复原](MPRNet)Multi-Stage Progressive Image Restoration

转载自：https://zhuanlan.zhihu.com/p/357876311

Multi-Stage Progressive Image Restoration 2021 cvpr

目前最强的去噪方法，没有之一。可以去看看它刷榜的战绩。

提出了一个多阶段结构，渐进式的学习复原函数。因此全面分解了回复过程，让每一步变得可操作。

模型先用编码解码结构学习情境特征，之后与一个保留局部信息的高分辨率分支融合。每一个阶段，介绍对每个像素的自适应设计，这个设计利用原像素位监督的注意力来调整局部的注意力。这样多阶段结构的一个关键因素是不同阶段的信息交换。为此，当信息不是按照顺序从前阶段交换到后阶段时，提出了个两面方法。但也设置了特征处理块间的侧连接，用来避免任何信息的缺失。这样产生紧密内部连接的多阶段结构叫MPRNet，有很好的性能提升

首先，现有的多阶段技术，要么使用编码解码器(编码阶段有效传播情境信息，但是在保留空间细节这里做的不好)，要么使用single-scale pipeline[61]（空间精度做的很好，但是语义信息不太行）我们证明了在多阶段图像修复工作上，同时使用两种结构才能更有效(本文核心想法)

一.multi-stage progressive image restoration architecture,MPRNet,主要有一下几个部分：

1.前几个阶段使用了编码解码器来学习多尺度语境信息，最后阶段以图元原尺寸运行，保留细节

2.一个有监督的注意力模块（SAM）,在每两个阶段连接处，实现阶段性学习。在ground truth引导下，这个模块利用先前阶段的预测来计算注意力图，然后用注意力图反过来作用到先前阶段的特征图，然后再传入下一个阶段。

3.一个交叉不同阶段特征的融合机制（CSFF，cross-stage feature fusion），用来帮助从前到后传播多尺度语境特征。此外，这个方法简化了不同阶段间的信息流，更好的优化了网络。

二.MPRNet结构

1.前两层都是基于编码解码器的子网络，可以学习较广泛的情境信息（感受野较大）。因图像复原是一个位置敏感任务（从头到尾都要求像素间的相关性），最后一阶段在原始分辨率上使用一个子网络（没有任何下采样），因此在最终输出是保留着不错的精细结构。

2.替换掉简单的多阶段结构。我们使用有监督的注意力模块，在每两个阶段间。在ground truth的监督下，模型重新缩放先前阶段特征图，然后再传入下一个阶段。

3.引入CSFF机制，

4.每一个阶段都有一条直接通往input的通道.与[68,85]类似，采取多补丁等级制度在输入图片和切分图片为互不相交的patch：阶段一4个，阶段二2个，然后第三层原始图片

5.在任何给定阶段S，取代直接预测X_s，模型预测残差R_s,初试退化图I,有：

正则项取去10e-3

三.各个部分构成：

1.编码解码器子网络（encoder-decoder sub）：

标准U-net基础上改造得到的。首先将所有的卷积模块换成CAB注意力模块，然后将上下采样换成双线性插值加卷积（去除转置卷积的块状效应，破坏结构）

2.原始分辨率子网络（ORSNet）：

为了保持输入的精细细节，引入original-resolution subnetwork(ORSNet)在最后阶段。ORSNet没有使用下采样，并且生成高分辨率的空间特征。它又多个ORBs块构成，每一个ORB都有多个通道注意力块.GAP表示全局平均池化，

3.交叉融合各极端特征（CSFF）：

CSFF模块，设置在两个编码解码器之间，

编码解码器和ORSNet间

注意这里的融合过程，以编码解码器为例：每一个编码器或者解码器都有三个尺度的特征，对应尺度的特征与下一阶段的编码器的特征相加（代码中写的很详细）

CSFF的优点：首先它让网络不易收到信息缺失的影响。其次，一个阶段的多尺度特征帮助下一个阶段的特征补充。最后，它通过简化信息流网络优化进程更稳固。

4.有监督的注意力模块(SAM):

最近的图片复原多阶段网络[68,85],直接再每一阶段直接预测，然后在丢进下一个阶段。本模型在两个阶段间加了监督注意力模块（显著提升网络性能）如图

首先F_in是当前阶段输入SAM的输入，先进行就一个1*1卷积得到残差R_s，然后和退化图加和，得到复原的图片X_s（这个阶段预测的结果）。对应ground turth，我们有明确的监督信息。下一个阶段，每个像素注意力masks又预测出的X_s生成（做1*1卷积，再丢入sigmoid激活）。这个masks用来重新校准F_in（需要将F_in丢入1*1卷积）.最后，注意力增强特征F_out得到，输入下一阶段。

优点有两点：首先，它在每一阶段提供了ground truth的监督。其次，在局部监督预测帮助下，生成注意力图来抑制当前阶段信息量较小的特征（通过自注意力机制计算每个特征的注意力权重？），并且只把有用的信息传递到下一阶段。

四.实验部分：

评价指标使用：PRNR 转为 RMSE .SSIM转为DSSIM

实验细节：编码解码器子网络每一个尺度使用2个CABs，为了下采样，使用步长为2的2*2最大值池化。在最后阶段，使用包含3ORBs的ORSNet，每一个ORB使用了8个CABs。网络在256*256补丁训练，batch16，迭代次数4e5.

收据增强方面，水平竖直反转随机。使用Adam优化器，学习率2e-4,使用cos退火策略渐减少到1e-6.

代码中CAB，ORB都使用了残差链接

复现的时候有很多细节需要注意，作者已经将代码开源，详细的网络架构建议查看代码。

本文给人的最大启发就是多阶段学习和SAM系统，值得学习。详细内容，欢迎讨论

一下附推荐学习的论文或方法，逐一学习，复现：

关于去雨水的模型：

Derain Net[21]，

SEMI[75]，

DIDMDN[86]，

UMRL[80]，

RESCAN[45]，

PreNet[61]，

MSPFN[36]。

去模糊论文：

Unnatural l0 sparse representation for natural image deblurring

Dynamic scene deblurring.

Non-uniform deblurring for shaken images.

From motion blur to motion flow: a deep learning solution for removing heterogeneous motion blur

Blind motion deblurring using conditional adversarial networks

Deep multi-scale convolutional neural network for dynamic scene deblurring

Dynamic scene deblurring using spatially variant recurrent neural networks

DeblurGAN-v2: Deblurring (orders-of-magnitude) faster and better

Scale-recurrent network for deep image deblurring

Human-aware motion deblurring.

Dynamic scene deblurring with parameter selective sharing and nested skip connections.

Multi-temporal recurrent neural networks for progressive non-uniform single image deblurring with incremental temporal training.

Deep stacked hierarchical multi-patch network for image deblurring

Spatially-attentive patch-hierarchical network for adaptive motion deblurring

去噪论文：

Deblurring low-light images with light streaks.

Deep multi-scale convolutional neural network for dynamic scene deblurring

DeblurgGAN: Blind motion deblurring using conditional adversarial networks.

Blind image deblurring using dark channel prior.

Unnatural l0 sparse representation for natural image deblurring.

DeblurGAN-v2: Deblurring (orders-of-magnitude) faster and better

Dynamic scene deblurring using spatially variant recurrent neural networks

Scale-recurrent network for deep image deblurring.

Deep stacked hierarchical multi-patch network for image deblurring.

[图像复原](MPRNet)Multi-Stage Progressive Image Restoration相关推荐

【去噪去模糊去雨】Multi-Stage Progressive Image Restoration 多阶段渐进式通用图像恢复【CVPR2021】
论文:[CVPR2021]Multi-Stage Progressive Image Restoration 多阶段渐进式通用图像恢复参考:多阶段渐进式图像恢复 | 去雨.去噪.去模糊 | 有效教程 ...
Multi-Stage Progressive Image Restoration
代码 Multi-stage progressive image restoration 摘要:作者提出了多阶段架构,逐步学习目标函数.具体来说,作者首先使用编码器解码器架构学习上下文特征,然后在保持 ...
论文笔记：MPRNet: Multi-Stage Progressive Image Restoration
相关方法单阶段.多阶段.注意力方法将图像分割为不重叠的patches:四个用于第一阶段,两个用于第二阶段,原始图像用于最后一阶段.残差学习:XS=I+RSX_S=I+R_SXS=I+RS,损 ...
图像修复(Image Restoration)
1. <Multi-Stage Progressive Image Restoration> --CVPR 2021 创新点: 多阶段的图像修复网络.上采用-下采样的encoder-dec ...
CVPR2021最新接收论文合集！22个方向100+篇论文汇总
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达导读 CVPR2021结果已出,本文为CVPR最新接收论文的资源汇总贴,附有相关文章与代码链接. 官网 ...
【学术相关】CVPR2021最新接收论文合集！22个方向100+篇论文汇总｜持续更新
报道丨极市平台导读 CVPR2021结果已出,本文为CVPR最新接收论文的资源汇总贴,附有相关文章与代码链接. 文章在Github上持续更新,欢迎大家 star/fork(点击阅读原文即可跳转): ...
CVPR 2021 论文和开源项目合集(Papers with Code)
摘自:https://github.com/amusi/CVPR2021-Papers-with-Code CVPR 2021 论文和开源项目合集 CVPR 2021 论文和开源项目合集(Papers ...
Flare7K数据集简介与论文阅读
Flare7K数据集简介与论文阅读概述 1 简介 2 相关工作 2.1 镜头炫光数据集 2.2 单张图像炫光去除 2.3 夜间去雾和夜间可视性增强 3 夜间镜头炫光的物理学分析 3.1 散射炫光 3 ...
CVPR2021论文集锦 | CVPR2021最新论文 | CVPR2021审稿结果 | CVPR2021录取结果
持续更新Github: https://github.com/Sophia-11/Awesome-CVPR-Paper 2021持续论文集锦百度云请在[计算机视觉联盟]后台回复 CVPR2021 往 ...

[图像复原](MPRNet)Multi-Stage Progressive Image Restoration

[图像复原](MPRNet)Multi-Stage Progressive Image Restoration相关推荐

最新文章

热门文章