一、引言

二、相关工作

三、多层次边缘特征引导网络

四、实验结果

一、引言

回顾以往图像去噪的方法，作者发现大量的工作指出充分利用图像先验可以有效地提高重建图像的质量。事实上，一些图像先验已经被提出用于图像恢复，如TV先验、稀疏先验和边缘先验。其中，边缘先验是最有效、最易获得的先验之一。作为图像的高频特征的关键组成部分，它一直被广泛应用于图像重建任务中。同时，也有研究在CNN模型中引入边缘来指导图像重建或增强重建图像，例如DEGRRN和DCEF。这两种模型都是先对退化图像应用现成的边缘检测器(如Sobel或Canny)，获得相应的边缘映射，然后将其与输入图像一起发送到网络，重建最终图像。但是现有的边缘提取器很难从噪声图像中提取出清晰的边缘，因此不适合用于图像去噪。

因此，如何从噪声图像中获取准确的边缘，并充分利用这些边缘重建出高质量的无噪声图像是本文工作的重点。为此，作者提出了一种高效的多级边缘特征引导网络(MLEFGN)图像去噪方法。

二、相关工作

图像边缘检测

目前已经设计了许多边缘检测器，如Canny [34]， Prewitt [35]， Sobel和Roberts算子。然而，这些边缘检测器是为清晰的图像设计的，很难从噪声图像中获得清晰准确的图像边缘。为了解决这个问题，作者打算利用CNN强大的建模能力来提取图像的边缘。如图3所示，本文的目的是建立一个Edge-Net，从噪声图像中直接预测出清晰准确的图像边缘。

三、多层次边缘特征引导网络

图像去噪的退化模型可以表述为y = x + v，其中y是由清晰图像x得到的噪声图像，v是加性高斯白噪声(AWGN)。图像去噪的目标是将有噪声的图像y重构为清晰的图像x。也就是说，给定训练数据，解决下面这个问题：

作者针对此问题提出了一个MLEFGN图像去噪网络，如图4所示：

MLEFGN可分为三个阶段：

首先定义 $I_{noisy}$ 和 $I_{clear}$ 分别是模型MLEFGN的输入和输出。因此，第一阶段的边缘重建可以表示为

其中E是Edge-Net，等式左边是预测的图像边缘。

然后，构建了一个双路径网络用于第二阶段的特征提取。在每条路径上，使用简化版的密集块(DB)[40]和两个残差组(RGs)来提取相应的特征：

其中等式左边分别表示提取的图像的低频和高频(图像边缘)特征，等式右边的F表示相关的路径网络。这两个分支是相互独立的。

为了充分利用图像的边缘，在第三阶段引入边缘引导模块来重建最终的去噪图像：

其中等式左边表示重构的去噪图像。

现在，给定训练集 $\{I^i_{noisy},I^i_{clear},I^i_{edge}\}^M_{i=1}$ ,需要解决下列问题：

其中F表示MLEFGN网络，E表示Edge-Net。

需要注意的是，Edge-Net作为MLEFGN的子网络，以端到端方式与整个模型一起训练。

下面详细介绍每个阶段：

A、第一阶段：边缘重建

如图4所示，紫色块代表Edge-Net, Edge-Net由两个卷积层、两个残差块(RB)和一个密集块(DB)组成。其中，卷积层用于改变图像的空间维度，RB和DB用于提取图像特征。图5(a)和(c)分别显示了RB[41]和DB[40]：

这里残差块没什么好说的，对于DB，块中的每一层以前馈的方式连接到其他每一层。因此，第p层接收到前面所有层 $(X_0,X_1,...,X_{p-1})$ 的特征映射作为输入：

其中括号里是直接拼接起来的。还有一个问题是这种密集连接机制会带来大量的参数。为了解决这一问题，在块的尾部引入了1x1卷积层，以减少模型参数。

在这个阶段，作者发现直接学习噪声图像与其对应的清晰边缘之间的映射是很难的，因此，他将这个问题转化为特征去除问题——建立一个网络来学习如何同时去除低频特征和图像噪声，使剩下的特征都是所需的图像边缘。在Edge-Net中定义所有卷积层为R(·)，Edge-Net的算子可以重写为

这里的损失定义为：

这里的 $I_{edge}$ 可以通过现存的边缘检测器从干净图像中提取。

B、第二阶段：特征提取

为了充分提取和利用图像和边缘特征，作者构建了一个双路径网络，分别提取图像和边缘特征。在这个阶段，网络的每一条路径都包含一个DB和两个RG。其中，DB用于提取特征，RG用于进一步细化提取的特征。

C、第三阶段：边缘引导图像去噪

作者提出了一种多级指导机制。如图4所示，将Stage-II中各模块的输出视为一个level；因此，将所有提取的特征分为三层，将第i层图像与边缘特征融合定义为

其中等式右边两项分别表示第i层(i = 1,2,3)提取的图像和边缘特征映射，之后可以得到三个输出对应等式左边。

作者发现直接连接这些特征不能达到最好的结果，使模型难以收敛。为了解决这一问题，作者设计了一种简单的倒金字塔模块(IPM)来进行特征融合和图像重建。如图4所示，该模块位于MLEFGN的尾部，由三个RG组成。所有这些特征( $f^1_{fuse},f^2_{fuse},f^3_{fuse}$ )将被发送到模块，RG将用于连接和融合相邻级别的特性

其中中括号是拼接操作， $F_{RG}^i$ 表示第i个RG， $I_{IPM}^i$ 表示相应的输出。损失如下：

其中 $I_{clear}'=I^3_{IPM}$ ，表示重建的去噪图片。因此，MLEFGN的总损失可以改写为

四、实验结果

代码：GitHub - MIVRC/MLEFGN-PyTorch: This repository is a PyTorch version of "Soft-edge Assisted Network for Single Image Super-Resolution". (IEEE TNNLS 2020)

多层次边缘特征引导的图像去噪网络相关推荐

Enriched Feature Guided Refinement Network for Object Detection（面向目标检测的丰富特征引导细化网络）
Jing Nie1∗ †, Rao Muhammad Anwer2∗, Hisham Cholakkal2, Fahad Shahbaz Khan2 Yanwei Pang1‡, Ling Shao2 ...
深度强化学习引导的脑网络分析图神经网络
https://www.sciencedirect.com/science/article/pii/S0893608022002507#fig1https://www.sciencedirect.co ...
文献阅读-ICRA2020-用于机器人手术器械的实时细分的注意力引导的轻型网络
文章序号.所属单元及链接:0059-Computer Vision for Medical Robots 一作所属单位:中科院自动化所读后体会:论文创新点:实时轻量.注意力机制.性能优异. 用于机器 ...
（四十七：2021.08.25）《ENCASE：使用专业特征和深度卷积网络相结合来对ECG进行分类》
<ENCASE:使用专业特征和深度卷积网络相结合来对ECG进行分类(ENCASE: an ENsemble ClASsifiEr for ECG Classification Using Exp ...
Linux系统的安装（自动引导安装、网络安装、分区选择）
Linux系统的安装(自动引导安装.网络安装.分区选择) Cobbler配置 yum install httpd -y yum install cobbler cobbler-web pykickst ...
gcn在图像上的应用_每日摘要|基于CNN 特征的图像卷积网络识别杂草和作物
文章信息标题:CNN feature based graph convolutional network for weed and crop recognition in smart farming ...
linux系统安装自主分区,Linux系统的安装（自动引导安装、网络安装、分区选择）...
Linux系统的安装(自动引导安装.网络安装.分区选择) Cobbler配置 yum install httpd -y yum install cobbler cobbler-web pykickst ...
论文笔记：CBDNet图像去噪网络
文章目录前言传统深度卷积神经网络去噪方法的局限性本篇论文的改进方法其主要贡献在于以下几点: 一.论文介绍噪声模型网络结构损失函数 1.非对称损失 L a s y m m \mathcal ...
哈工大与北大提出注意力引导的图像去噪
点击我爱计算机视觉标星,更快获取CVML新技术本文由我爱计算机视觉粉丝菜鸟青年投稿. 哈尔滨工业大学与北京大学的研究人员在神经网络Top期刊NeuralNetworks上2020年联合发表<A ...

多层次边缘特征引导的图像去噪网络

一、引言

二、相关工作

三、多层次边缘特征引导网络

四、实验结果

多层次边缘特征引导的图像去噪网络相关推荐

最新文章

热门文章