OverNet-250FPS SISR实时算法- | Lightweight Multi-Scale Super-Resolution with Overscaling Network
SISR实时性问题一直比较关注,之前的IMDN在速度方面还差那么一点。这篇文章号称达到250FPS,却没有跟IMDN比较,感觉很奇怪~
论文地址:https://arxiv.org/pdf/2008.02382.pdf
github地址:https://github.com/Yaziwel/OverNet/blob/master/OverNetModel.py
Abstract:
由于深度卷积神经网络(CNN)的发展,超分辨率(SR)取得了巨大的成功。但是,随着网络深度和宽度的增加,基于CNN的SR方法在实践中已面临计算复杂性的挑战。此外,它们中的大多数为每个目标分辨率训练的专用模型,从而失去通用性并增加了内存需求。为了解决这些局限性,我们提出OverNet,这是一个深层但轻量级的卷积网络,可通过一个模块以解决SISR中任意比例因子的问题。我们做出了以下贡献:首先,我们引入了轻量级的递归特征提取器,该提取器通过跳过和密集连接的新颖递归结构来强制信息的有效复用。其次,为了最大程度地发挥特征提取器的性能,我们提出了一种重建模块,该模块可从超尺度特征图生成准确的高分辨率图像,并可独立用于改进现有架构。第三,我们引入了多尺度损失函数以实现跨尺度的泛化。通过广泛的实验,我们证明了在标准基准测试中,我们的网络性能优于以前的最新结果,同时使用的参数比以前的方法少。
Introduction:
现有基于深度网络的SISR算法主要有以下缺点:
1.网络深度和宽度的增加极大地增加了计算需求和内存消耗。 这使得现代架构在实践中不太适用,例如移动和嵌入式视觉应用
2.随着网络深度的增加,低阶特征信息在连续的非线性运算中逐渐消失以产生输出。 但是,这些低阶特征对于网络重建高质量图像至关重要
3.现有算法对于特定SR尺度因子(如2x,3x,4x)需要训练专用模型,而没有合理的模型应对任意比例因子的模型
为了解决这些问题,我们提出了Overscaling Network(OverNet),这是一种用于SISR的新型轻量级方法。 OverNet由两个主要部分组成:轻量级特征提取器和称为Overscaling模块(OSM)的重建模块。其中创新主要有3点:轻量级特征提取器,Overscaling模块和multi-scale loss function。
Overscaling Network:
如上图所示,OverNet主要包含Feature Extractor和Overscaling Module模块,通过Arbitrary Scale Factors解决任意尺度问题。
A.Feature Extractor:
没有什么好说的,就是以Residual Block+Channel Attention 为basick block,再利用密集连接的方式组成Group。最后同样适用密集连接3个Groups的方式组成。
B.Overscaling Module:
特点是先生成一个overscaled特征图,设置尺度为S+1,其中S是目标尺度。操作流程为:
1.对特征提取的的特征图I-L,使用3x3卷积和pixelshuffle上采样为4+1倍特征图I-OHR
2.对I-OHR使用3x3卷积和Bicubic下采样为目标尺度图像
3.对输入低分辨率图像I-LR进行Bicubic上采样与2中结果相加
C.Multi Scale Loss:
对应图中的Arbitrary Scale Factors,将生成的4X图像结果下采样到1.1-3.9倍尺度因子的多组结果,应用损失函数,这里也就实现了单个模型生成任意尺度结果的功能:
好处:与单尺度训练相比,在不同目标尺度上具有这种多尺度损失的训练同时为模型提供了额外的监督。 结果,强制执行该模型以学习如何生成高度代表性的超尺度特征图,从中可以准确地恢复任意比例的HR图像,从而增强了网络在各个比例上的泛化能力。
Experiments:
效果好,速度快,实现也比较简单!
OverNet-250FPS SISR实时算法- | Lightweight Multi-Scale Super-Resolution with Overscaling Network相关推荐
- 《MA‑CRNN: a multi‑scale attention CRNN for Chinese text line recognition in natural scenes》论文阅读
参考博文: CRNN的一个变种,可以读一读,看看相对于CRNN来说有什么变化?以及为什么? 文章目录 make decision step1:读摘要 step2:读Introduction step3 ...
- Paper:2020年3月30日何恺明团队最新算法RegNet—来自Facebook AI研究院《Designing Network Design Spaces》的翻译与解读
Paper:2020年3月30日何恺明团队最新算法RegNet-来自Facebook AI研究院<Designing Network Design Spaces>的翻译与解读 导读: 卧槽 ...
- 速度最快250fps!实时、高性能车道线检测算法LaneATT
CVPR 2021 车道线检测方向论文:Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection . 论文: http ...
- 新开源!实时语义分割算法Light-Weight RefineNet
点击我爱计算机视觉标星,更快获取CVML新技术 前几日52CV君分享了论文<Real-Time Joint Semantic Segmentation and Depth Estimation ...
- 250fps,实时、高性能车道线检测算法 LaneATT——Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection
论文:https://arxiv.org/pdf/2010.12035.pdf 代码:https://github.com/lucastabelini/LaneATT 摘要 现代车道检测方法在复杂的现 ...
- 日常视频一秒变游戏,人物可以随意操控:全靠Facebook的实时算法
圆栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI 这是风和日丽的一天,有位黑衣男子照常开始了网球训练. (请忽略这是卡塔尔公开赛上的费德勒.) 突然之间,球场变成了游戏,他也成了主人公 ( ...
- TMS320多核 DSP 实时算法实现
特点 学习如何使用开发工具,利用该处理器的最大性能和功能 了解从架构.开发工具和编程模型(如 OpenCL 和 OpenMP)到调试工具的丰富内容 详细介绍了各种多核音频和图像应用 一套丰富的经过测试 ...
- 基于AR的实时算法在虚拟屏幕上播放视频及实现
AR(Augmented Reality)是计算机视觉方面一个重要的研究方向,原来听说过,感觉很有意思,故究其原理,用一定的视觉算法加以实现. 这里主要用到相机标定和一些图像的投影透视变换的技术,标定 ...
- ICS-GNN:Lightweight Interactive Community Search via Graph Neural Network
1.问题定义 给定一个查询节点,求出此节点所属的社区.社区搜索用途(可以为许多应用提供候选集:friend recommendations,fraudulent graph discover) 2.现 ...
最新文章
- 干货 | 一文搞懂极大似然估计
- Python学习笔记十 IO编程
- python读文件代码-简单了解Python读取大文件代码实例
- 虚拟化、完全虚拟化、半虚拟化和准虚拟化技术区别
- 转:UniqueID和ClientID的来源
- HDU - 2196 Computer(树形dp)
- 怎样将Embedding融入传统机器学习框架?
- Python适合大数据处理吗?
- 每天一个实用小技巧!教你在Mac上快速输入长文本
- sorted是python的内置函数吗_Python中的内置sorted()函数
- 喜欢 TypeScript 的人,一点都不比 Python 少
- 李少华 linux内核,腾讯云CMQ消息队列在Linux环境下的使用
- sunplus8202V双无线游戏手柄设计
- ueditor滚动条
- 2013-2017蓝桥杯省赛C++A组真题总结(题型及解法)
- 《别闹了,费曼先生》读书笔记
- dwg格式的计算机图,例举电脑dwg文件怎么打开
- html 旋转木马 轮播,JS实现旋转木马轮播图
- mac清空废纸篓怎么恢复?
- 新辰:一位90后的电商梦 自述创业失败的教训