CVPR 2021 Pre-Trained Image Processing Transformer

在图像处理任务中，预训练面临着以下两个挑战：第一，特定任务的数据可能是有限的。如医学图像和卫星图像这一类涉及付费数据或数据隐私的图像。各种不一致的因素(如相机参数、光照、天气等)会进一步干扰捕捉到的训练数据的分布。二、直到测试图像出来，才知道需要哪种类型的图像处理作业。因此，必须在手头准备一系列的图像处理模块。它们有不同的目标，但一些底层操作可以共享。目前计算机视觉和自然语言处理方面的预训练时很普遍的，主要研究的是预测试分类任务，例如目标检测模型的骨干通常是在ImageNet分类上进行预训练。目前计算机视觉和自然语言处理方面的预训练很普遍。然而图像处理任务中的输入和输出都是图像。直接应用这些现有的预训练策略可能是不可行的。此外，如何在训练前阶段有效地解决不同目标图像处理任务依旧是一个难题。

针对上述问题，论文利用transformer架构开发了一个用于图像处理的端到端的预训练模型，即image processing transformer (IPT)。由于预训练的模型需要兼容不同的图像处理任务，包括超分辨率、去噪、去雨线，整个网络由多个对应不同任务的头尾对和单一共享体组成。将训练图像输入到特定的头部，生成的特征被裁剪成小块(即“单词”)，并将其简化为序列。采用transformer对分别用于编码器和解码器的位置嵌入和任务嵌入的扁平特征进行处理。另外，根据具体的任务要求，强制结尾部分对输出大小不同的原始图像进行预测。此外，还引入了不同输入块间关系上的对比损失，以更好地适用于不同的图像处理任务。如下图所示。

由于transformer的潜力开发需要大规模数据集，论文准备ImageNet来训练IPT模型，其中包含1000个类别的各种高分辨率图片。对于ImageNet中的每张图片，论文使用几个精心设计的操作来为不同的任务生成多个已损坏的对应图像。例如，超分辨率任务的训练样本是通过对原始图像进行降采样生成的。论文用于训练IPT的完整数据集包含大约1000万张图片。在多个基准测试上的实验结果表明，预训练的IPT模型经过微调后，在自身任务上有明显的增强，可以超过大多数现有的方法。

CVPR 2021 Pre-Trained Image Processing Transformer相关推荐

异常检测阅读笔记《Inpainting Transformer for Anomaly Detection》CVPR 2021
异常检测阅读笔记<Inpainting Transformer for Anomaly Detection> CVPR 2021 来源:2021年的CVPR,原文论链接论文的方向是图像方 ...
用于点云视频时空建模的点4D transformer网络（CVPR 2021）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨paopaoslam@知乎来源丨泡泡机器人SLAM 标题:Point 4D Transfor ...
CVPR 2021 Oral | Transformer再发力！华南理工和微信提出UP-DETR：无监督预训练检测器...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达本文作者:飞奔的啦啦啦 | 来源:知乎 https://zhuanlan.zhihu.com/p/31 ...
CVPR 2021 | 基于Transformer的端到端视频实例分割方法
实例分割是计算机视觉中的基础问题之一.目前,静态图像中的实例分割业界已经进行了很多的研究,但是对视频的实例分割(Video Instance Segmentation,简称VIS)的研究却相对较少.而 ...
CVPR 2021 | Transformer进军low-level视觉！北大华为等提出预训练模型IPT
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达作者丨Happy 来源丨极市平台导读来自Transformer的降维打击!北京大学.华为诺亚等最新发 ...
繁凡的对抗攻击论文精读（二）CVPR 2021 元学习训练模拟器进行超高效黑盒攻击（清华）
点我轻松弄懂深度学习所有基础和各大主流研究方向入门综述! <繁凡的深度学习笔记>,包含深度学习基础和 TensorFlow2.0,PyTorch 详解,以及 CNN,RNN,GNN,AE, ...
CVPR 2021 论文和开源项目合集(Papers with Code)
摘自:https://github.com/amusi/CVPR2021-Papers-with-Code CVPR 2021 论文和开源项目合集 CVPR 2021 论文和开源项目合集(Papers ...
66篇论文入选CVPR 2021，商汤的秘籍竟是“大力出奇迹”
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达鱼羊发自凹非寺量子位报道 | 公众号 QbitAI CVer ...
悉尼科技大学入选 CVPR 2021 的 9 篇论文，都研究什么？
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨Pablo@知乎(已授权) 来源丨https://zhuanl ...
CVPR 2021 | 论文大盘点：3D目标检测
作者丨我爱计算机视觉@知乎来源丨https://zhuanlan.zhihu.com/p/389319123 编辑丨3D视觉工坊本篇汇总 3D 目标检测相关论文,包含基于单目.基于深度图.基于激光 ...

CVPR 2021 Pre-Trained Image Processing Transformer

CVPR 2021 Pre-Trained Image Processing Transformer相关推荐

最新文章

热门文章