论文创新，可以看看这几篇去雨文章是怎么做的

（方法三首页demo）

网络结构

CNN结构函数表示：

作者把雨滴视为图像高频部分，通过低通滤波（引导滤波、双边滤波或者滚动滤波）将有雨图I和其无雨图标签J分别分为基础层和细节层：

基础层为平滑后的图像，有：，所以只需要建立两个细节层的映射关系即可，损失函数由原来预测图与标签图的MSE变为了:

训练时，参数设置同第一篇论文一致，输入图像块，输出大小图像。

图像增强处理

网络训练完成后，去雨结果图像可以直接通过以下运算得到：

但是在雨比较大的情况下，会出现雾的情况，影响视觉效果，所以对基础层和输出的细节层做了图像增强：

03. deep detail network (CVPR 2017)

论文在上一篇的基础上进行了进一步优化，设计了一个改进的单图像去雨CNN结构，主要改进点：

建立真实图像和雨图之间的负残差映射，再次缩小映射范围，优化映射空间。
使用残差结构，可以使用更深的网络建立映射关系，并通过先验知识，输入图像细节层。

CNN结构函数表示：

其中，

L为CNN总层数，*表示卷积操作，BN表示batch normalization，表示激活函数ReLU，不使用池化操作。

利用引导滤波将雨迹图划分为细节层和基础层（同上一篇）。

损失函数：

参数设置：层数L=26，优化器：SGD，权重衰减因子，动量0.9，batch size：20，初始学习率：0.1，迭代100K/200K时除以10，共迭代210K次，卷积核大小为3，个数为16。

04. Residual-Guide Network (ACM MM 2018)

同样采用负残差映射的思想设计了一个CNN单图像去雨网络ResGuideNet，主要贡献点：

通过由浅入深的Block结构，获取由粗到细获取负残差输出。
通过联合损失优化每个Block输出，根据集成学习的思想融合所有负残差输出。

CNN结构函数形式：

特征复用：通过密集连接复用每一个Block输出的负残差特征。

循环计算：如结构图左下角左下角所示，为平衡模型参数和性能，每个Block内部的两个卷积层采用循环计算的策略加深Block深度，函数表示：

为了避免结构加深带来的梯度消失的问题，将Block第一个 Conv+LReLU的输出加到每个子循环中：

块间融合：如结构图右下角所示：通过集成学习的思想将不同Block的预测结果concatenate在一起，最后通过卷积得到最后的结果。

损失函数：对于每一个Block，采用+SSIM loss 损失函数：

M个Block和最后merge输出的总损失：

实验细节：环境：python + TensorFlow、NVIDIA GeForce GTX 1080(8GB)，初始化：Xavier，优化器：RMSProp，初始学习率：0.001，batch size：16，迭代次数：50000，每层卷积为：16个，输出层卷积，3个。

05. Lightweight Pyramid Networks (T-NNLS 2019)

为了使去雨网络更轻量化，使其适用于移动设备，作者提出了轻量级的金字塔去雨网络LPNet，参数量少于8K，主要贡献：

将传统的高斯-拉普拉斯金字塔运用到CNN中，使用一个参数量少的小网络可实现很好的结果。
结合多尺度、循环计算和残差学习技术，在大雨场景下，也能很好地实现单图像去雨。

CNN结构函数形式：

a、构建拉普拉斯金字塔

b、特征提取网络

c、循环模块

d、重建高斯金字塔

作者之前提出方法（方法二、方法三）通过引导滤波将图像分解成基础层和细节层，运用细节层训练可以有效减小优化空间，但是引导滤波针对雨量比较厚的图像达不到很好的细节提取效果。于是，作者使用拉普拉斯金字塔将图像分解为不同尺度的图像金字塔，并分别进行去雨处理。

损失函数:

实验细节：

5个尺度的拉普拉斯金字塔：[0.0625, 0.25, 0.375, 0.25, 0.0625]为构建高斯金字塔的固定平滑核。

所有子网络结构相同，卷积核个数不同，卷积核大小为 3x3，卷积核大小为1，每个子网络循环block次数T = 5，激活函数LReLUs，参数为: 0.2。

使用【2】生成的雨图，包含大雨图像和小雨图像，输入大小图像块，Adam优化器，batch size为10，学习率：0.001，epoch为3。

（论文实验结果对比）

用code搞事情

上述论文代码均开源在作者首页，包括matlab或者python+TensorFlow实现。我们借鉴了方法三和论文【2】多任务的思想，参加了马上金融的图像污迹去除赛道，并获得了第一名的成绩。

（提出的人脸去污网络结构）

该模型训练过程中输入数据包括：网纹图像X，真实图像Y，mask图像M。对于真实图像输出分支，目标函数使用均方误差loss1；针对mask输出分支，我们使用交叉熵损失loss2。两者采用1:1的比例相加得到最后需要优化的损失函数loss，具体公式如式：

其中，N为训练图片数量，为卷积神经网络，为网络要学习的参数，除了两个分支上的权重不同以外，其余权重两个分支权重共享，表示为第i张图片的细节层，通过引导滤波所得。

模型的损失函数：

（人脸去污结果）

参考文献

【1】 Deep joint rain detection and removal from a single image

【2】 Multi-task ConvNet for blind face inpainting with application to face verification

长按二维码关注我们

有趣的灵魂在等你

留言请摁