iCaRL: Incremental Classifier and Representation Learning

1.Background

针对图像分类网络的增量学习，即让网络在保留旧类别知识的同时，学习新知识。提出了一种iCaRL算法，这个算法可以让分类器（softmax分类器）和数据表征（CNN）同时学习。

2. Base ideas

Formally,类增量学习算法具有以下三个要求

不同时间段出现的数据，模型应该是可训练的
在任何时候，模型都应该对已出现的数据保持呈现较高的性能
它的算力要求以及内存应该维持在有限的界限，至少增长的很慢

与早期的网络不同的是，之前的网络受限于固有的数据表征，因此与深度学习架构不兼容

本文提出了三个点：

最邻均值样例规则分类
基于牧群的优化样例选择
使用知识蒸馏和原型排练的表征学习

3.Conclusion

论文分类准确率来源两个方面

使用新数据与部分旧数据微调网络
使用更为鲁棒的分类算法——最近邻

ICaRL防止灾难性遗忘的主要方法是：

只需要用一部分的旧数据而非全部的旧数据，就能同时训练得到分类器和数据特征，从而实现增量学习。

它从每个就类别中选择一部分有代表性的数据(examplar set)来代表就类别，然后把新类别的数据和这个就类别的exemplar set 进行混合来训练模型。模型训练结束后，再从新数据中挑选出部分exemplar来更新exemplar set

iCaRL: Incremental Classifier and Representation Learning相关推荐

[论文翻译] iCaRL: Incremental Classifier and Representation Learning
iCaRL: Incremental Classifier and Representation Learning Abstract 人工智能道路上的一个主要的开放性问题是开发渐进式学习系统,随着时间 ...
[论文阅读] iCaRL: Incremental Classifier and Representation Learning
论文地址:https://openaccess.thecvf.com/content_cvpr_2017/html/Rebuffi_iCaRL_Incremental_Classifier_CVPR_ ...
对比学习系列论文MoCo v1（二）：Momentum Contrast for Unsupervised Visual Representation Learning
0.Abstract 0.1逐句翻译 We present Momentum Contrast (MoCo) for unsupervised visual representation learni ...
（转）Predictive learning vs. representation learning 预测学习与表示学习
Predictive learning vs. representation learning 预测学习与表示学习 When you take a machine learning class, ...
[MOCO v1] Momentum Constrast for Unsupervised Visual Representation Learning(CVPR 2020)
文章目录 1. Motivation and Contribution 1.1 Motivation 1.2 Contribution 2. Method 2.1 Contrastive Learni ...
表征学习Representation Learning
1入门 https://zhuanlan.zhihu.com/p/136554341 2. representation learning 解耦(disentangled).可解释( Interpre ...
【论文导读】Time-Series Representation Learning via Temporal and Contextual Contrasting（时间和上下文对比的时间序列表示学习）
Time-Series Representation Learning via Temporal and Contextual Contrasting(通过时间和上下文对比的时间序列表示学习) 论文信 ...
【论文阅读】Representation Learning with Multiple Lipschitz-constrained Alignments on Partially-labeled
标题长度受限,完整的该论文标题为: 论文标题:Representation Learning with Multiple Lipschitz-constrained Alignments on Par ...
对比学习系列论文CPC（二）—Representation Learning with Contrastive Predictive Coding
0.Abstract 0.1逐句翻译 While supervised learning has enabled great progress in many applications, unsupe ...
CFNet：End-to-end representation learning for Correlation Filter based tracking
论文题目:End-to-end representation learning for Correlation Filter based tracking, CVPR2017 论文主页:http:// ...

iCaRL: Incremental Classifier and Representation Learning

文章目录

iCaRL: Incremental Classifier and Representation Learning

1.Background

2. Base ideas

3.Conclusion

iCaRL: Incremental Classifier and Representation Learning相关推荐

最新文章

热门文章