腾讯图像超分辨率算法RealSR,开源了
近日,腾讯优图实验室提出一种新的图像超分辨率算法RealSR并开源。该算法在CVPR-NTIRE-2020真实图像超分比赛中以明显优势获得双赛道冠军。
赛事介绍
在2020年的NTIRE真实图像超分比赛中,腾讯优图团队参加Image Processing artifacts及Smartphone Images两个Track均以明显优势获得第一名。NTIRE比赛是图像增强领域的权威赛事(https://data.vision.ee.ethz.ch/cvl/ntire20/),由ETH Zurich(苏黎世联邦理工学院)的Computer VisionLaboratory组织,和CVPR共同举办。其中真实图像超分比赛专注于无监督超分技术(更贴合真实场景需求),吸引了包括INRIA, 北京大学等国内外知名研究机构及高校, 以及Samsung, Huawei等关注移动设备超分的国内外公司参与。
比赛获奖证书
超分辨率是什么
超分辨率是指将低质量压缩图片恢复成高分辨率图片的过程。随着移动互联网的快速发展,智能设备逐渐普及到生活的每个角落。随之而来的是大量真实的图像数据,由于存储和传输的需要,这些图片的质量会被压缩,为了使用户获得更加高质量的视觉体验,图像恢复/超分辨率算法应运而生。超分辨率作为一项底层视觉任务,其重要性毋容置疑,最直观的效果就是人眼感官质量的提升。如下图所示,左边是一张LR图片,右边分别是三种不同方法的对比(最右边是我们提出的RealSR方法结果),可以看到RealSR在模糊/噪声的去除表现上,明显优于当前最优开源方法EDSR/ZSSR,获得了更加清晰/无噪的高分辨率结果。
RealSR和已有方法对比
算法创新设计
与已有的超分辨率方法相比,RealSR的创新主要体现在三个方面:
1. RealSR采用了自主设计的新型图片退化方法,通过分析真实图片中的模糊和噪声,模拟真实图片的退化过程
2. 不需要成对的训练数据,利用无标记的数据即可进行训练。
3. 可以处理低分辨率图像中的模糊噪声问题,得到更加清晰干净的高分辨结果。
算法的主要步骤可以分为两个模块:退化模型的估计,超分模型的训练。方法框架如下图所示
RealSR算法框架
比赛官方结果
在官方汇报的比赛结果中,RealSR队伍(Impressionism)在合成数据和真实数据两个赛道上均获得了第一名。Track 1主办方评价说,RealSR生成的结果几乎没有噪声,甚至在视觉效果上超过了监督方法,是真实图像超分研究的一个里程碑式的创新。Track 2主办方评价,相比于其他参赛者方法,RealSR生成了更加清晰更加干净的结果,在MOR视觉得分上以较大优势领先。
Track 1 榜单结果
Track 2 榜单结果
业务落地
超分算法广泛应用于图片、视频修复技术中,以能够以较低的储存和传输成本获得更高清的视觉感受。另外超分算法也服务于人脸人像等深度合成技术,有助于生成细节更逼真的效果。老旧照片的修复同样也需要使用人像清晰化技术。
随着播放设备的能力逐渐提高,用户对于图像/视频质量的追求也在不断上升,提升图像视频的质量的需求越来越多。为了在不同场景中提升用户体验,算法需要考虑更加复杂的降质模型,准确地估计图像中的退化,从而改善生成结果,视觉感官更加真实。
Real-SR开源!
https://github.com/Tencent/Real-SR
(点击文末阅读原文直接访问)
请给项目 一个 Star !
欢迎提出你的 issue 和 PR!
国内镜像地址:
https://git.code.tencent.com/Tencent_Open_Source/Real-SR
(登录后才能访问公开项目)
腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像
腾讯图像超分辨率算法RealSR,开源了相关推荐
- 图像超分辨率算法:CVPR2020
图像超分辨率算法:CVPR2020 Unpaired Image Super-Resolution using Pseudo-Supervision 论文地址: http://openaccess.t ...
- 深度学习(二十)——Ultra Deep Network, 图像超分辨率算法
http://antkillerfarm.github.io/ Ultra Deep Network FractalNet 论文: <FractalNet: Ultra-Deep Neural ...
- 网络通道数2的倍数_利用双通道卷积神经网络的图像超分辨率算法
发布时间: 2016-05-25 摘要点击次数: 288 全文下载次数: 39 DOI: 10.11834/jig.20160503 2016 | Volumn 21 | Number 5 图像处理和 ...
- 这可能是目前最好的图像超分辨率算法,刚刚开源了
(欢迎关注"我爱计算机视觉"公众号,一个有价值有深度的公众号~) CVPR 2018 Workshop NTIRE2018图像超分辨率的优胜方案开源了! 该算法在NTIRE2018 ...
- 小米9拍照黑科技:基于NAS的图像超分辨率算法
作者:Xiangxiang Chu, Bo Zhang等 丨 机器之心编译丨 雷军表示:这是一篇小米最新出炉的论文,基于弹性搜索在图像超分辨率问题上取得了令人震惊的结果,该模型已开源. 本篇是基于 N ...
- PULSE:一种基于隐式空间的图像超分辨率算法
分享一篇 CVPR 2020 录用论文:PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generati ...
- 经典论文复现 | 基于深度卷积网络的图像超分辨率算法
过去几年发表于各大 AI 顶会论文提出的 400 多种算法中,公开算法代码的仅占 6%,其中三分之一的论文作者分享了测试数据,约 54% 的分享包含"伪代码".这是今年 AAAI ...
- 超分辨率算法大战!AI in RTC 创新挑战赛——20万巨奖等你来拿!
AI in RTC 创新挑战赛--超分辨率挑战开始了! 报名直达: https://challenge.rtcdeveloper.com/ai-in-rtc/ 还未加入的小伙伴要抓紧啦! 比赛概况 超 ...
- 深度学习图像超分辨率最新综述:从模型到应用
点击我爱计算机视觉标星,更快获取CVML新技术 今日arXiv新上论文<Deep Learning for Image Super-resolution:A Survey>,详细回顾了近年 ...
最新文章
- Linux安全检查方法
- hihocoder #1333 : 平衡树·Splay2
- ddl mysql_mysql 5.6 在线 DDL
- 撰写科研海报(poster)的必看技巧
- django 上传文件夹_django上传文件
- 上个ensp实验只发了配置,这次是命令条目
- WCF消息之XmlDictionaryWriter
- 如何在shell单元建立washer_如何成为一个优秀的工程师
- 可以添加自定义的Select控件
- 小孔成像实验探究的软件_小孔成像法观察日食
- HowToDoInJava Spring 教程·翻译完成
- 如何在Windows的PHPstudy中使用redis数据库
- Linux下安装mysql后无法启动的解决方法
- python学习之内部函数:
- 现代通信原理4.1:随机变量
- 51单片机之《概述》
- 停车场管理系统项目计划书
- 获取当天开始时间以及结束时间
- kdiff3的主窗口说明 Base Local Remote 分别代表什么分支
- android amr 播放器,Android使用createInnerAudioContext无法播放amr?