【论文解读】图像超分最新记录!南洋理工提出图神经网络嵌入新思路,复原效果惊艳...
文章来源于极市平台,作者Happy
paper: https://arxiv.org/abs/2006.16673
code: https://github.com/sczhou/IGNN(尚未开源)
导读:该文可能是首次提出将图神经网络嵌入到图像超分领域中,其实它也是图像块自相似性的一种应用,之前笔者分享过类似的方法(采用卷积方式进行块相似性搜索),而这篇论文则是采用图神经网络搜索块相似性。这种块相似性搜索技术与传统方法中的搜索比较类似,可谓是传统方法与深度学习相结合的又一个进展。对图像复原方向感兴趣的小伙伴可以关注一下这篇论文。
Abstract
自然图像中的非局部自相似性时一种非常有效的先验信息,在传统图像处理中被广泛研究与应用,比如非局部均值、BM3D等图像降噪方法以及基于Self-Similarity图像超分和图像去模糊等等。然而该非局部自相似性在深度学习领域却鲜少见诸于研究,现有深度非局部方法仅仅探索了同尺度的相似块,因此图像复原的性能会受限于同尺度信息的有限性,而其他尺度的信息可能包含更多有用的信息。
该文作者对自然图像中的跨尺度块相似块(即相似块可能出现在图像的不同尺度)进行探索,并提出一种新颖的Internal Graph Neural Network
进行跨尺度的相似块探索,作者构建了一种跨尺度图用于为LR图像中的块搜k近邻相似块,得到k个HR近邻块并采用自适应集成方式进行信息汇聚。因此,HR信息可以通过k个HR近邻块传递给LR图像块并辅助图像纹理细节复原。
最后,作者通过实验证实了所提方法的SOTA性能。
Method
在这部分内容中,首先介绍一下已有非局部方法的广义形式,然后所提到的跨尺度图汇聚模块,最后介绍所提出的快尺度图像神经网络(IGNN)。
Background
非局部汇聚策略被广泛应用于图像复原领域,比如非局部均值和BM3D采用非局部相似性属性进行图像降噪。在深度学习领域,非局部神经网络与k近邻网络被提出用于探索图像的非局部自相似性。非局部块的汇聚过程可以描述为:
如果我们将特征块以及加权连接视作定点与边的话,上述过程可以视作GNN。之前已有非局部方法进行通尺度相似性探索,但是通尺度相似性对于图像超分的性能提升极为有限。
Cross-Scale Graph Aggregation Module
在已有的非局部深度学习方法中,特征块的大小往往相同。尽管它们在图像降噪方面表现良好,但是它难以获取高分辨率信息,对于超分的性能提升极为有限。考虑到自然图像的块自相似性会跨尺度出现,作者提出一种跨尺度图像神经网络。下图给出了跨尺度图汇聚模块示意图。
对于LR中的每个查询块(图中黄色框),从下采样图像中搜索k个最相似块并进行对应的HR块信息汇聚。跨尺度块的连接可以通过图方式进行建模,每个特征块是一个定点,边用来衡量块之间的相似性。下图给出了本文所提出的GraphAgg模块示意图,它包含两个操作:Graph Construction与Patch Aggregation。
Graph Construction
首先对低分辨率图像
采用双三次插值进行s倍下采样,得到,其中下采样比例等于上期望的上采样尺度。因此,所找到的k近邻特征块与期望的HR特征块具有相同尺寸。
为得到k近邻特征块,首先采用VGG19的前三层对
提取嵌入特征.参考传统非局部方法中的块匹配方法,对于中的查询特征块,首先按照欧式距离寻找k个近邻块,然后可以得到k个大小的来自特征块。该过程见上图中的红色线过程,称之为定点映射。
通过上述过程可以完成跨尺度k近邻图
构建,表示一个包含LR块集合与HR近邻块集合的块集合,表示边集合。为度量顶点(即特征块)之间的相似性,采用进行度量并用于估计汇聚权值。
注:作在
而非上进行相似块搜索可以减少被搜索空间;同时仅仅搜索k近邻可以进一步减少计算复杂。
Patch Aggregation
受启发于Edge-Conditioned Convolution(ECN)
,作者采用如下方式进行相似块汇聚:
其中
表示第r个近邻HR特征块,与此同时,作者还引入
patch2img
操作进行输出特征块变化。作者提出采用一种自适应ECN(即)估计顶点之间的汇聚权值(注:加权权值需要进行归一化哦)。
为充分利用
,作者采用一个
Downsampled-Embedding sub-Network,DEN
进行特征嵌入并与通过concat融合得到并用于后续网络。
Adaptive Patch Normalization
作者观察到:通过GraphAgg模块得到的k个HR近邻块包含某些低频成分(比如颜色、亮度等)。除了前述提到的自适应加权外,受启发与AdaIN,作者还提出一种自适应块归一化(AdaPN)操作进行近邻块对齐。该过程可以描述为:
通过该对齐操作,可以将紧邻快的低频信息进行迁移同时保持高频纹理信息不变。
Cross-Scale Internal Graph Neural Network
Experiments
为验证所提方法的有效性,作者在DIV2K数据集上进行了训练,输入块大小为
,同时采用随机镜像、旋转等增广。优化器为Adam,初始学习率为0.0001,每200000迭代折半,合计训练800000迭代。损失函数为。在GraphAgg模块中,k=5,搜索窗口设置为30.注:GraphAgg是一种“即插即用”的模块,它可以轻易嵌入到其他超分网络中。
下表给出了所提方法与其他SOTA方法的性能对比,取得了目前最佳的PSNR指标。
此外,作者还进行了一些消融实验分析。下图对比了GraphAgg与常规非局部集成思路的对比。可以看到:简单的平均方式会产生假性纹理,而所提方法则有效避免了该问题。
下面两个表分别对比了(1)GraphAgg与其他非局部方法的性能;(2) GraphAgg插入不同位置的性能对比。
下面两个表分别对比了(1)不同搜索方位下的性能对比;(2)不同近邻数的性能对比。可以看到:搜索范围为30,近邻为5即可取得非常好的性能,进一步提升无明显提升。
最后,作者对比AdaPN与ECN的作用与性能对比,见下表。
最后的最后,多附上几个效果图,没办法,论文效果太赞了。
Conclusion
虽然该文并非首个将图像块跨尺度自相似性引入到图像超分领域,但其创新性的采用图方式进行最近邻相似块的搜索,同时进一步将图像超分的指标刷到的新的高度。
目前作者尚未开源代码,甚至期待开源并尝试一番。笔者最近也是在尝试非局部均值、双边滤波思想与图像超分的融合之道,但尚未取得这么好的效果。但这篇论文提供了一个非常好的方案:采用图神经网络嵌入图像块自相似性,好像看到了自己方案的前进之路。
◎作者档案
Happy,一个爱“胡思乱想”的AI行者
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑获取一折本站知识星球优惠券,复制链接直接打开:https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群请扫码进群:
【论文解读】图像超分最新记录!南洋理工提出图神经网络嵌入新思路,复原效果惊艳...相关推荐
- 【论文解读】ICLR 2021丨当梯度提升遇到图神经网络,“鱼和熊掌”皆可兼得
论文:https://arxiv.org/pdf/2101.08543.pdf 代码:https://github.com/nd7141/bgnn 无论是分子设计.计算机视觉,还是组合优化和推荐系统等 ...
- 图像超分论文阅读列表 super_resolution_paper_lists
文章目录 1. Up-sample operation Real-Time Single Image and Video Super-Resolution Using an Efficient Sub ...
- 深度学习磁共振图像超分与重建论文阅读
深度学习磁共振图像超分与重建算法研究 Super-resolution reconstruction of MR image with a novel residual learning networ ...
- 图像超分中的深度学习网络
图像超分中的深度学习网络 质量评估 操作通道 有监督算法 预上采样 后采样超分 逐步上采样 迭代上下采样 上采样的学习方式 残差块 递归学习 多路径学习 密集连接 通道注意力机制 其他卷积 像素递归网 ...
- 【达摩院OpenVI】AIGC技术在图像超分上的创新应用
团队模型.论文.博文.直播合集,点击此处浏览 一.背景 近10年来,深度学习技术得到了长足进步,在图像增强领域取得了显著的成果,尤其是以GAN为代表的生成式模型在图像复原.老片修复,图像超分辨率等方面 ...
- 深度学习图像融合_基于深度学习的图像超分辨率最新进展与趋势【附PDF】
因PDF资源在微信公众号关注公众号:人工智能前沿讲习回复"超分辨"获取文章PDF 1.主题简介 图像超分辨率是计算机视觉和图像处理领域一个非常重要的研究问题,在医疗图像分析.生物特 ...
- 《深度学习》图像超分初识
一:简介 图像超分(super-Resolution)是将低分辨率的图像或者视频序列恢复出高分辨率图像. 可以用在视频数字高清播放,视频监控,视频编码,图像还原和医学影像等领域,按照类别可分为单个图像 ...
- 图像超分综述:超长文一网打尽图像超分的前世今生 (附核心代码)
文章目录 一.目的 二.研究背景 三.存在的问题 四.研究现状 五.各算法创新点及核心代码总结 SRCNN ESPCN VDSR DRCN DRRN EDSR SRGAN ESRGAN RDN WDS ...
- 图像超分——Real-ESRGAN快速上手
契源 想必每个自媒体行业从业者都面临过这样一种情况:从网络上找到一张素材做封面,然而素材图片往往太模糊.那么,有没有办法对其进行高清修复呢?这就是计算机视觉领域的子领域图像超分所研究的主要问题. 在我 ...
最新文章
- Mongodb部署及使用
- python嵌套字典赋值_Python:更新深度嵌套字典中的值
- 设计模式(二) 工厂模式
- java 远程udp_远程客户端不接收UDP数据包
- php 插入数据 不成功,thinkphp5连接oracle用insert插入数据失败
- 同时存多个变量缓存 微信小程序_CPU缓存一致性协议MESI,memory barrier和java volatile...
- js和ajax点赞功能代码_Redis实现点赞功能模块,你了解多少?
- Oracle 11gR2 RAC OCR和votingdisk故障恢复案例
- 长肥管道(LFT)中TCP的艰难处境与打法
- iOS9使用提示框的正确实现方式(UIAlertView is deprecated)
- 基于YOLO的目标检测系统实践
- Leetcode122. 买卖股票的最佳时机 II(贪心)
- BZOJ3145 [Feyat cup 1.5]Str 后缀树、启发式合并
- java数字代码_Java基础08—数字类处理(示例代码)
- fedora 14 安装virtualbox
- android 谷歌地图离线访问,Android版谷歌地图更新 新增离线浏览功能(图)
- 基于天天动听API开发在线音乐查询网站
- Android资深开发者告诉你:简历这样写绝对吸引面试官眼球,面试电话接到手软
- 移动光猫怎么设置虚拟服务器设置,移动光猫如何设置自带的WIFI无线功能
- 参观一家买过十年货的淘宝店是怎样的体验?——新魔术8000生产基地探秘