Transformer在图像复原领域的降维打击，ETH提出SwinIR：各项任务全面领先

作者丨happy
编辑丨极市平台
本文原创首发于极市平台，转载请获得授权并标明出处。

原文链接：https://arxiv.org/abs/2108.10257

code：https://github.com/JingyunLiang/SwinIR

期待已久的SwinIR终于刊出来了，它是ETH团队在Transformer+low-level方面的最新力作，大幅超越了之前华为诺亚提出的IPT。从某种程度上来看，这篇文章没有什么创新点，只是将微软的Swin Transformer在low-level任务上进行了应用。Whatever，无论是经典图像超分(即退化方式为bicubic)，还是真实场景图像超分，亦或图像降噪与JPEG压缩伪影移除，所提SwinIR均取得了显著优于已有方案的性能。笔者这里尤其期待SwinIR在真实场景图像超分方面的应用与效果，期待作者尽快开源。

Abstract

图像复原(存在已久的low-level视觉问题)旨在根据低质图像(比如，下采样的、带噪的、压缩的图像)复原高质量图像。现有优异图像复原方案往往采用CNN，鲜少有Transformer(已在high-level视觉任务中取得骄人成绩)类方案在该类问题中进行探索尝试。

本文基于Swin Transformer提出一种强基线模型SwinIR用于图像复原。SwinIR包含三部分：浅层特征提取、深层特征提取以及高质量图像重建。具体而言，深层特征提取由多个RSTB(Residual Swin Transformer Blocks)构成，每个RSTB由多个Swin Transformer层与残差连接构成。

相比CNN方案，Swin具有以下几个优势：

基于内容交互的图像内容与注意力权值可以视作空域可变卷积；
RSTB中的移位窗口机制可以进行长距离依赖建模；
更优的性能、更少的参数(可参见下图：SwinIR具有更少的参数量、更优的性能)。

我们在三个极具代表性的任务(图像超分、图像降噪以及JPEG压缩伪影移除)上进行了实验。实验结果表明：所提SwinIR能够以0.14~0.45dB优于其他SOTA方案，同时参数量降低高达67%。

全文链接：Transformer在图像复原领域的降维打击，ETH提出SwinIR：各项任务全面领先

关注极市平台公众号，获取最新CV干货

Transformer在图像复原领域的降维打击，ETH提出SwinIR：各项任务全面领先相关推荐

站在CNN肩膀上的巨大腾飞，Swin Transformer：实现对各类SOTA的降维打击
作者丨陀飞轮@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/360513527 导读本文介绍了一种称为Swin Transformer的新型transformer, ...
ChatGPT类工具如何实现「降维打击」| 聊天机器人闭门研讨观点总结
导读随着ChatGPT出现,语言大模型的进步与对话交互方式相结合,正在搅动科研.产业,以及普通人的想象力.我们对智能的探索是正在步入决胜之局,还是仍在中场酣战:是需要精巧完备的一致系统,还是可以遵循 ...
不想被AI降维打击？美国“四院院士”写的DL科普书了解一下
在人工智能『AI』如此火爆的当前,媒体铺天盖地的报道,好像每个人不了解一下 AI 的知识,就会被 AI 替代一样.不管是媒体的背书,亦或者知识更新的必要性,每个人的确有必要去了解一下当前这个最火爆的这 ...
一汽奔腾b7o价位_全新第三代奔腾B70有何资格对合资品牌降维打击？
一直以来自主品牌在人们心中的形象都远低于合资品牌,不外乎"产品可靠性差"."没有核心技术"."缺乏原创设计"等负面印象.但是随着全新第三代奔 ...
从「降维打击」谈「降维」
生活中常常听到一个词:降维打击. 如何理解? "王健林的小目标和我的小目标"就是最好的诠释. 对于数据来说,虽然不存在「打击」之说,但先对其降一波维,利用可视化的方式从整体上对数据 ...
如何完成点、线、面的发展，实现降维打击
本来这篇文章是参加24届"光亚展"之后部门的发展路线规划,写着写着就超纲了.但是这篇文章是表述了自己对于企业在"群雄逐鹿"的市场中站稳.显露头角的发展方向和发力 ...
Web3+品牌的大杀器：DAO如何实现对传统品牌彻底的降维打击
01 DAO是品牌的大杀器在我之前的文章就有预测过,Web3与品牌的结合只有两条路径,一个是Web3会自生长原生品牌发起向现实中的品牌扩大共识,另外一个是Web3是只属于现实中具有某些特性的品牌的沃 ...
科技公司逐鹿手机配件赛道，“降维打击”会出现吗？
文|智能相对论(aixdlun) 作者|佘凯文从去年开始,大宗原材料价格不断上扬,不少材料价格在今年纷纷到达历史巅峰,这深刻地影响着中国制造业,在家电产品外,手机配件也成为"受害者&quo ...
特斯拉降维打击国产电动车怎么“盘”？
[TechWeb]特斯拉近日在国内的售价跳水,引起不小风波.事情发生的有点快,我们先来回顾下近期特斯拉在中国的"小动作". 马斯克:建厂.降价.发新车今年1月7日.特斯拉在上海的 ...

Transformer在图像复原领域的降维打击，ETH提出SwinIR：各项任务全面领先

Abstract

Transformer在图像复原领域的降维打击，ETH提出SwinIR：各项任务全面领先相关推荐

最新文章

热门文章