[论文阅读] Prototype Augmentation and Self-Supervision for Incremental Learning
论文地址:https://openaccess.thecvf.com/content/CVPR2021/html/Zhu_Prototype_Augmentation_and_Self-Supervision_for_Incremental_Learning_CVPR_2021_paper.html
代码:https://github.com/Impression2805/CVPR21_PASS
发表于:CVPR 21
Abstract
尽管深层神经网络在许多单个任务中的表现令人印象深刻,但在增量学习新任务时,深层神经网络会遭受灾难性的遗忘。最近,人们提出了各种增量学习方法,一些方法依靠存储数据或复杂的生成模型取得了可接受的性能。然而,存储以前任务的数据受到内存或隐私问题的限制,而生成模型在训练中通常是不稳定和低效的。在本文中,我们提出了一个简单的基于非示范的方法,名为PASS,以解决增量学习中的灾难性遗忘问题。一方面,我们提出为每个旧类记忆一个代表类的原型,并在深度特征空间中采用原型增强(protoAug)来保持以前任务的决策边界。另一方面,我们采用自监督学习(SSL)来为其他任务学习更多的通用和可转移的特征,这表明SSL在增量学习中的有效性。在基准数据集上的实验结果表明,我们的方法明显优于基于非示范的方法,并且与基于示范的方法相比取得了相当的性能。
I. Motivation
本文的方法包含两个部分:Prototype Augmentation与Self-Supervision。对于PA,其解决的是决策边界在训练新任务后发生漂移,从而导致灾难性遗忘的问题,属于比较经典的motivation,没有什么好说的;而这里的自监督SS就比较有意思了,文中指出对于旧任务最优的参数可能对于新任务而言是一种糟糕的参数初始化,因此使用自监督学习来学习更具有可转移性的特征,这样既能使新任务的特征更容易被学习,同时也能尽可能去保证旧任务的特征不被破坏。
II. Method
图中的左右两部分分别展示了SS与PA的步骤。对于自监督,具体做法是对输入新类样本进行旋转,从而制造"伪"新类,通过让分类头尝试去区分新类与伪新类从而达到更自然特征过渡的目的;对于原型扩充,其实就是给原型向量添加高斯噪声。
III. Prototype Augmentation
本文没有显式的去存储旧类的原始图像,所以可以认为是一种无示范的方法。不过,对于现在大多数的无示范方法,虽然没有去存储旧类样本本身,取而代之的值存储旧类的原型向量(即该类所有样本的特征平均)。而对该原型向量的扩充方式也很简单,就是加个高斯噪声:Ftold,kold=μtold,kold+e∗rF_{t_{o l d}, k_{o l d}}=\mu_{t_{o l d}, k_{o l d}}+e * r Ftold,kold=μtold,kold+e∗r
IV. SSL based Label Augmentation
本文的自监督思想主要来源于此文[1]。具体做法是,对于KKK个新类的所有任务样本,对其进行数据扩充,也就是旋转90,180,270度:Xt′=rotate(Xt,θ),θ∈{90,180,270}\mathbf{X}_{t}^{\prime}=\operatorname{rotate}\left(\mathbf{X}_{t}, \theta\right), \theta \in\{90,180,270\}Xt′=rotate(Xt,θ),θ∈{90,180,270} 。按照我们以往的认知,将一个样本旋转后,其类别是保持不变的。但是这里将经过三种不同旋转方式处理后的样本视为了三种"新类",并赋予相应的新类标签Yt′\mathbf{Y}_{t}^{\prime}Yt′(而非Yt\mathbf{Y}_{t}Yt)。文中指出这一做法可以放松学习过程中的不变约束,从而提升任务的性能。这种解释相当于也是加入自监督提升性能的"套路"。
[论文阅读] Prototype Augmentation and Self-Supervision for Incremental Learning相关推荐
- [论文阅读] Maintaining Discrimination and Fairness in Class Incremental Learning
论文地址:https://openaccess.thecvf.com/content_CVPR_2020/html/Zhao_Maintaining_Discrimination_and_Fairne ...
- 论文阅读 [TPAMI-2022] Augmentation Invariant and Instance Spreading Feature for Softmax Embedding
论文阅读 [TPAMI-2022] Augmentation Invariant and Instance Spreading Feature for Softmax Embedding 论文搜索(s ...
- 论文阅读 【CVPR-2022】 A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation
论文阅读 [CVPR-2022] A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation st ...
- 论文阅读:Natural Language Processing Advancements By Deep Learning: A Survey
文章目录 一.介绍 二.背景 1.人工智能和深度学习 (1)多层感知机 (2)卷积神经网络 (3)循环神经网络 (4)自编码器 (5)生成对抗网络 2.NLP中深度学习的动机 三.NLP领域的核心概念 ...
- 强化学习泛化性 综述论文阅读 A SURVEY OF GENERALISATION IN DEEP REINFORCEMENT LEARNING
强化学习泛化性 综述论文阅读 摘要 一.介绍 二.相关工作:强化学习子领域的survey 三.强化学习中的泛化的形式 3.1 监督学习中泛化性 3.2 强化学习泛化性背景 3.3 上下文马尔可夫决策过 ...
- 【论文阅读】Misshapen Pelvis Landmark Detection WithLocal-Global Feature Learning for DiagnosingDevelop
作者及团队:刘川斌 Chuanbin Liu; 谢洪涛; 张思成; 毛振东; 孙俊; 张永东 会议及时间:IEEE Transactions on Medical Imaging 2020-12| 期 ...
- 【论文阅读】Search-Based Testing Approach for Deep Reinforcement Learning Agents
文章目录 一.论文信息 二.论文结构 三.论文内容 Abstract 摘要 一.论文信息 题目: Search-Based Testing Approach for DeepReinforcement ...
- [论文阅读] | Data Augmentation By Paring Sample Mixup
写在前面:3月份在写毕业论文的时候,翻到了2020年8月15日整理的两篇关于数据增广的论文:Paring Sample和Mixup.这两篇论文均发表在2018年ICLR会议(International ...
- 【论文阅读笔记】FLAME: Taming Backdoors in Federated Learning
个人阅读笔记,若有错误欢迎指正 会议: USENIX Security Symposium 2022 论文地址:[2101.02281] FLAME: Taming Backdoors in Fed ...
最新文章
- AI性能基准测试从此有了「中国标准」!英伟达、谷歌可以试试
- linux Fedora安装桌面,CentOS6.x\Red Hat\Fedora\Linux 安装Wine 1.7.48 桌面运行环境教程
- Pimple - 一个简单的 PHP 依赖注入容器
- pixel 解锁_如何在Google Pixel 4和Pixel 4 XL上禁用面部解锁
- 后Kubernetes时代的微服务
- 【Python】绘制哆啦A梦
- jmespath查找JSON的工具
- sheet中没有getcolumns()方法吗_家庭亲子教育中的八种方法,你做到了吗?
- select for update作用
- 了解Go编译处理(一)—— go tool
- 券商卖的雪球票息高,券商赚的什么钱?(雪球原理入门)
- hog特征与fhog特征
- google 搜索十大搜索技巧和实用小技巧
- 支付结算周期:D0 D1 T0 T1的区别
- Linux中netstat -anp命令
- maven model inspection
- 相机基础知识和佳能相机DPP
- U盘文件乱码的解决方案
- 28个墨迹photoshop笔刷
- buuuctf-Check_1n
热门文章
- 微弱信号相关检测程序matlab,基于MATLAB微弱信号的相关检测设计与仿真.pdf
- 孙河php_2月20日出走孙河桥-温榆河-沙河水库
- nvidia的jetson系列的方案_NVIDIAJetson系统在工业网络中的集成
- python个数计算公式_用python计算1-100的合数的个数
- 大工20春《计算机应用基础》在线测试,大工20春《计算机应用基础》在线测试1答案...
- G - Periodic Strings (周期串)
- 《视觉SLAM十四讲——从理论到实践》学习笔记
- Altium AD20原理图页码自动编号,右下角标题栏
- 阿里字节面试题,多线程打印程序
- UML--实现图(组件图、配置图)