哈工大鹏程lab武大提出对比学习+超分模型,实现了新的SOTA
关注公众号,发现CV技术之美
✎ 编 者 言
对比学习在high-level任务上取得了显著的成功,但获得的全局视觉表征不适应丰富纹理和上下文信息的low-level任务,本文对对比学习框架的改进并联合超分辨率模型实现了新的SOTA。
详细信息如下:
论文名称:A Practical Contrastive Learning Framework for Single Image Super-Resolution
论文链接:https://arxiv.org/pdf/2111.13924.pdf
作者单位:哈工大、鹏城实验室、武汉大学
01
看点
本文中提出了一种对比学习框架,从样本构建和特征嵌入两个角度研究了基于对比学习的SISR。现有的方法使用一些简单的样本构建方法(比如将低质量输入视为负样本,GT视为正样本),并采用先验模型(比如预训练的VGG)来获得特征嵌入,而不是探索任务友好的模型。为此,
本文提出了一个有效的和任务特定的数据增强策略,以产生多个信息积极和硬负样本
没有采用预训练网络,而是设计了一个继承自鉴别器网络的简单有效的嵌入网络,可以与主SR网络进行迭代优化,从而使其任务泛化。
02
方法
前瞻
针对数据,用表示学习模型和InfoNCE损失来提取表示,基于softmax,对于第个样本,被计算为:
其中,为超参数,为来自同一样本的随机数据扩增而生成的正样本表示。K是负样本的个数,这些负样本是从数据集中随机选取的其他图像。总对比损失为:
当有一个以上的正样本时,对于第幅图像,对比度损失调整为:
其中P为正集的个数,总损失公式不变。对比学习有利于各种下游任务,并实现有前景的表现。可以发现,要使用对比学习方法,需要精心设计的样本选择和构建策略,需要探索一个与任务相关的潜在空间。
正负样本生成
信息正样本生成:除了唯一的HR,还应用不同的高通核在HR图像,进一步生成锐化图像作为正集。对于第个图像,正集表示如下:
Sharpen是一个随机的锐化函数。这与现有的基于对比学习的SR方法不同,现有的方法只考虑HR作为正样本。为了生成信息量更大的正样本,我们对HR应用了不同的高通核。这个正样本生成策略的设计遵循如下两点:
SR任务的目标是获得细致的结果。为此可以使用一些信息丰富的正样本来为重建结果引入更多高频细节。
SR是一个不适定问题,LR和HR图像的映射是“一对多”的。除了给定的HR之外,还有许多可能的HR样本。这些生成的正样本可以看作是其中较为粗糙的一部分。
硬负样本生成:最近的研究只是简单地对降质图像进行任务处理,这易于识别。为此,本文采用多个负样本,这可以缩小求解空间,进一步提高SR网络的性能。具体来说,首先从HR生成轻微模糊的图像作为的硬负样本集,因为它们接近GT,从而使重建的SR图像更接近HR。负样本集的生成如下:
其中默认使用。Blur采用高斯核模糊函数。
特征嵌入网络
最近的工作基于预先训练的VGG模型设计了一个对比损失。本文则认为任务友好的嵌入网络更好,因为VGG获得的特征往往是分类任务的高级语义信息。此外,一个好的SR嵌入网络应该是退化感知的,这样即使SR非常接近HR,对比损失也可以工作,即 一个好的嵌入网络能分辨出细节的变化。
本文发现在GAN框架中学习到的鉴别器是退化感知的,因为它可以正确地分类输入图像的真伪,通过强制其区分SR和HR图像,获得任务友好的嵌入网络,如下图。值得注意的是,为了增强高频分量的学习,我们将图像分离为低频和高频分量,只使用频率分量来训练嵌入网络。
本文使用Haar小波变换提取信息高频分量:LL、LH、HL、HH。然后将三个高频相关的分量(LH、HL和HH)叠加作为输入,并将其输入到鉴别器中。采用对比度鉴别器丢失来训练而不是二元分类。这是一种使用softmax交叉熵公式的单-批分类,计算如下:
其中是提取和叠加LH,HL和HH的操作。
对比损失
为了充分利用这些正负样本,本文通过嵌入网络对多中间特征进行对比损失。SR图像、正样本和负样本的特征表示分别用,,表示,上标为中的层数索引,对比损失如下:
其中,s是相似函数,采用像素级余弦相似度的平均值作为特征图之间的度量:
故总对比损失为:
其中其中为训练图的数量,为特征层的数量,本实验中设置为4。整体损失定义为:。
03
实验
消融实验
不同损失与预训练模型与w/o小波变换的消融实验:
定量评估
定性评估
END
欢迎加入「超分辨率」交流群
哈工大鹏程lab武大提出对比学习+超分模型,实现了新的SOTA相关推荐
- ICCV2021 比MoCo更通用的对比学习范式,中科大MSRA提出对比学习新方法MaskCo
关注公众号,发现CV技术之美 今日分享 ICCV2021论文『Self-Supervised Visual Representations Learning by Contrastive Mask P ...
- 架构 encoder_一种新的超分模型蒸馏架构 (ECCV2020)
Learning with Privileged Information for Efficient Image Super-Resolution,ECCV2020 作者信息: Paper: Lear ...
- 爱奇艺在DCN、EDVR等 4K 超分模型上的 10倍加速实践
编者荐语: 为了进一步提高模型推理性能,爱奇艺对TensorRT底层机制做了详细的解析.如何对复杂模型推理进行TensorRT的格式转换.以及TensorRT的int8量化推理内部机制,以及如何更好提 ...
- ICCV2021 香港理工、阿里达摩院提出RealVSR:视频超分任务中的新数据集与损失方案...
关注公众号,发现CV技术之美 今日分享论文『Real-world Video Super-resolution: A Benchmark Dataset and A Decomposition bas ...
- 简洁的架构还能高效和准确?清华华为提出新型残差循环超分模型:RRN!
分享一篇视频超分辨率的论文 Revisiting Temporal Modeling for Video Super-resolution,其为BMVC 2020 论文,该文的结果目前在视频超分的几个 ...
- 【对比学习】CUT模型论文解读与NCE loss代码解析
标题:Contrastive Learning for Unpaired Image-to-Image Translation(基于对比学习的非配对图像转换) 作者:Taesung Park, Ale ...
- MolCLR | 对比学习在分子图表示任务中大有作为
今天给大家介绍卡耐基梅隆大学Amir Barati Farimani团队近期发表在arxiv上的关于如何利用对比学习和图神经网络进行分子表示,并服务于下游任务的研究.分子机器学习在分子性质预测和药物发 ...
- 深度学习系列48:超分模型Real-ESRGAN
1. 模型介绍 1.1 退化模型 首先训练数据使用了2个first-order: 最后一步加入了振铃和过冲现象: 1.2 SRCNN 将CNN用到超分领域的第一篇文章: 论文中卷积核和通道数的实验设置 ...
- 26FPS在线输出720P视频的视频超分模型:DAP
作者单位:苏黎世联邦理工.鲁汶大学.维尔兹堡大学 论文链接:https://arxiv.org/pdf/2202.01731v1.pdf 编者言:不同于现阶段VSR的两大热点研究方向:真实世界/盲VS ...
最新文章
- Effective C++学习笔记(Part Five:Item 26-31)
- 提示语_《流浪地球》里洗脑的交通提示语怎么来的?吴京可能要“负全责”
- The writeAsCsv() method can only be used on data sets of tuples.
- 骚年快答 | 技术中台与业务中台都是啥?
- python多进程通信manager_python中进程间数据通讯模块multiprocessing.Manager的介绍
- Android Lint 检查规则的定制(基本篇)
- 人工神经网络----Hebbian学习规则
- 第一章 硬件介绍和环境配置
- idea社区版使用maven运行web项目
- windows7、windows8、windows10、xp系统下载安装包及教程(U盘制作、直接安装)
- 软件实习项目4——校园一卡通管理系统(代码实现)
- 程序员必备高频英语词汇
- MATLAB绘图——加强篇
- SpringBoot RESTful API 架构风格实践
- JVM-内存区域与OOM
- 水文预报中的确定性系数如何计算确定
- php电子杂志,Phpwind推电子杂志《站长天下》 网罗站长故事
- 用python随机获取中文名字
- SMP、COW、PVP、MPP计算机相关
- 【英文语法】英语是世界上最容易的语言(语法汇总)
热门文章
- 基于人机交互设备测量用户情绪。
- 鼎信诺oracle_鼎信诺审计系统操作说明
- spring ioc原理_这70 道Spring高频面试题,你不好奇吗?
- android 瀑布流_软件工程过程模型之瀑布模型
- java复制文件夹_java实现拷贝一个文件夹,里面存在目录和文件,使用文件创建和文件流...
- linux怎么查看数据库性能,正确评估SQL数据库性能,你必须知道的原理和方法!...
- 原生ajax crossO,Ajax问题,求助
- 虚拟机如何连接服务器系统,Horizon 连接服务器最大连接数和虚拟机配置
- cad 打开硬件加速卡_CAD卡顿?电脑带不动?几个简单实用的方法,解决CAD运行卡顿问题...
- python两个一维数组合并_python:16.合并两个排序的链表