【图像恢复】Dynamic Attentive Graph Learning for Image Restoration

ICCV 2021 基于动态图神经网络的图像修复方法

论文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Mou_Dynamic_Attentive_Graph_Learning_for_Image_Restoration_ICCV_2021_paper.pdfhttps://openaccess.thecvf.com/content/ICCV2021/papers/Mou_Dynamic_Attentive_Graph_Learning_for_Image_Restoration_ICCV_2021_paper.pdfgithub地址： GitHub - jianzhangcs/DAGL: Dynamic Attentive Graph Learning for Image Restoration, ICCV2021 [PyTorch Code]

多数现有的non-local方法为每个query分配固定数量的非局部连接，忽略了非局部关联的动态性。此外，非局部相关性通常是基于像素的，但容易因图像退化而产生偏差。为了克服这些缺陷，本文提出了一种动态的图注意力模型，该模型在图像去噪、图像去马赛克、和图像去块效应等图像重建任务中取得目前最优的性能。

摘要

自然图像的非局部自相似性已被证明是图像恢复的有效先验。然而，大多数现有的non-local方法为每个query分配固定数量的非局部连接，忽略了非局部关联的动态性。此外，非局部相关性通常是基于像素的，但容易因图像退化而产生偏差。为了克服这些缺陷，这篇文章提出了一种动态的图注意力模型(DAGL)，研究图像恢复过程中块级别的动态非局部相似性。具体地说，文章中提出了一种动态的图模型，可以以执行patch-wise的图卷积，每个节点具有动态的和自适应的邻节点数量。这样，局部图像内容可以通过其连接的邻节点自适应地调节重建过程。基于块的非局部连接也可以强化消息传递的过程。文章中提出的模型在图像去噪、图像去马赛克、和图像去块效应等图像重建任务中取得目前最优的性能。

Introduction

图像恢复(IR)通常是一个不适定的反问题，目的是通过被各种退化因素从其退化的测量中恢复高质量的图像。退化过程可以定义为：。其中H为线性退化矩阵，n表示附件的噪声。根据H，IR可以分为许多子任务，如去噪、压缩伪影减少、去马赛克、超分辨率、压缩感知等。

大多数图像恢复算法学习大量外部的数据，没有使用到图像内部的先验！

自相似假设相似的内容会在整个图像中再次出现，并且局部内容可以在其他相似的地方帮助下恢复。

非局部神经网络通过深度网络利用自相似性，随后将其引入许多图像恢复任务。然而，这些像素级的非局部方法很容易受到损坏图像中的噪声信号的影响。

在N3Net中，提出了一种可微k近邻(KNN)方法。然而，由于信道特征融合的限制，N3Net只能在一个小的搜索区域（10×10）和少量的匹配patches内执行非局部操作。

最近的一些方法提出了更有效的patch-wise非局部方法。但他们遵循与现有的非局部方法相同的范式来构建完全连接的相关性。

一般来说，不同图像内容的可重复性是不同的，导致在恢复不同图像内容时对非局部相关性的要求不同。

图卷积网络(GCN)是一种特殊的非局部方法，旨在通过建立非欧几里得空间中的长程相关性来处理图数据。

受GAT的启发，本文提出了一种用于图像恢复的动态注意图学习模型(DAGL)。本文提出的DAGL中，损坏的图像在一个基于局部特征块构建的图像自适应图中恢复。

Proposed Method

Framework

DAGL 结构如图1所示，主要由两个组件组成。特征提取模块feature extraction module（FEM），多头基于图的特征融合模块 graph-based feature aggregation module （GFAM）with multiple heads（M-GFAM）。与很多图像恢复任务相似，添加global pathway from input to the final output，这可以鼓励网络绕过低频信息。特征提取模块由几个残差块组成（RBs），残差块去除了batch normalization （BN）层！基于图的特征融合模块是所提出DAGL的核心，它是基于图注意网络（GAT）来实现的。

网络使用的是L2损失函数进行优化！

H代表DAGL网络，θ代表学习的参数。

Graph-based Feature Aggregation Module

现有的深度非局部方法和基于图的图像恢复方法为每个查询/节点分配了固定数量的邻居。主要的区别是，深度非局部方法涉及搜索区域中的所有项来更新一个查询query项，并且基于图形的方法为每个节点选择K个最近邻。GFAM基于三维特征patch构建长程相关，并为每个查询patch分配动态的邻居数量。

GFAM如图2所示，主要包含三个阶段：

Initialization
Dynamic Graph Construction
Feature aggregation

Initialization.

需要首先初始化一些元素来构建图

，V为节点集合，

为边的集合。

Dynamic Graph Construction.

图节点直接由G‘’中的特征块分配：

在建立图连接时，根据最近的原理为每个节点选择一个动态的邻居数。为此，作者设计了一个动态KNN模块，为每个节点生成一个自适应阈值，以选择相似性高于阈值的邻居。

具体来说，给定特征块G‘集，我们首先将每个特征块展平（Flatten）为一个特征向量。通过点积可以有效地计算成对相似性，得到相似性矩阵。让我们考虑，M的第i行，表示第i个节点与其他节点之间的相似性。的平均值是不同节点对第i个节点的相当平均的重要性。因此恰当的阈值选择Ti如图2（b）所示。

为了提高适应性，我们进一步应用节点特异性仿射变换来计算Ti：

【提出的方法以特征块为基本单元计算两两之间的相似度，通过一个动态自适应的阈值过滤掉低相似度的非局部链接，生成一个动态Graph。为了保证可学习，阈值的计算方式和阶段过程如下，巧妙的运用了ReLU来截断低相似度非局部连接。】

Feature aggregation.

在邻接矩阵A的指导下，特征聚合过程是所有连通邻居的加权和，表示为：

然后我们从图中提取所有的特征块，使用torch.nn.Fold 操作将这个更新的局部patches数组组合到一个特征图中，这可以看成是Unfold 的逆操作。特征块之间存在重叠，使用平均操作来处理重叠的区域。此外，在GFAM中还使用了全局残差来增强输出。

为了稳定图卷积的训练过程，作者扩展了该方法，使用多头图是有益的，在图中用M-GFAM表示。多头设计允许我们的方法在不同位置联合聚合来自不同表示子空间的信息。

K个结果被连接在一起，并再次由一个1×1的卷积层（融合）。

Experiments

PPT获取：my_code/DAGL-李强-11.2.pptx at main · LiQiang0307/my_code · GitHub

【图像恢复】Dynamic Attentive Graph Learning for Image Restoration相关推荐

ECCV2020｜图像重建(超分辨率，图像恢复，去雨，去雾等)相关论文汇总（附论文链接/代码/解析）
转载自https://zhuanlan.zhihu.com/p/180551773 原帖地址: ECCV2020|图像重建/底层视觉(超分辨率,图像恢复,去雨,去雾,去模糊,去噪等)相关论文汇总(附论 ...
[KDD 2022]ROLAND Graph Learning Framework for Dynamic Graphs
ROLAND: Graph Learning Framework for Dynamic Graphs 介绍对于动态图,现有的工作有以下局限: 静态图模型不能很好地迁移到动态图上现有的评估方式都不 ...
[万字综述] 21年最新最全Graph Learning算法，建议收藏慢慢看
今天小编给大家带来了一篇极全的2021最新图学习算法综述.该综述不仅囊括了目前热门的基于深度学习的图学习方法,还全面介绍了其它三个大类:基于图信号处理的方法.基于矩阵分解的方法.基于随机游走的方法.因 ...
CVPR 2020 论文大盘点-图像增强与图像恢复篇
本文继上一篇 CVPR 2020 论文大盘点-去雨去雾去模糊篇之后,继续盘点CVPR 2020 中低层图像处理技术,本篇聚焦于图像视频的增强与恢复,含如下四个方向: 图像与视频增强(Image&am ...
Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings
摘要:在本文中,我们提出了一个端到端的图学习框架,即迭代深度图学习(IDGL),用于联合和迭代地学习图结构和图嵌入.IDGL的关键理论是基于更好的节点嵌入来学习更好的图结构,反之亦然(即基于更好的图结 ...
论文Spatial-Temporal Transformer for Dynamic Scene Graph Generation
最近由于要做SGG方向,恰巧之前保存过这篇论文 2107.12309.pdf (arxiv.org)https://arxiv.org/pdf/2107.12309.pdf 代码地址: GitHub ...
【CV】用于图像恢复的深度学习方法综述论文（2022年）
论文名称:A survey of deep learning approaches to image restoration 论文下载:https://www.sciencedirect.com/sc ...
UA MATH575B 数值分析下III 图像恢复
UA MATH575B 数值分析下III 图像恢复图像去噪的优化模型算法实现图像去噪的优化模型假设VVV代表原图,观测到的图像是WWW,WWW是原图与噪声的叠加W=V+ξW=V+\xiW=V+ ...
【论文】最新图学习推荐系统综述 | Graph Learning Approaches to Recommender
0 前言还记得在知乎上回答过两个关于图的相关问题: 问题1:有必要学习图论么? 当时我的回答是:广义上来讲,任何数据在赋范空间内都可以建立拓扑关联,也就是可以构成graph,所以学习图论很有用. ...

【图像恢复】Dynamic Attentive Graph Learning for Image Restoration

【图像恢复】Dynamic Attentive Graph Learning for Image Restoration相关推荐

最新文章

热门文章