[论文阅读] End-to-End Incremental Learning
论文地址:https://doi.org/10.1007/978-3-030-01258-8_15
代码:https://github.com/fmcp/EndToEndIncrementalLearning
发表于:ECCV 18
Abstract
尽管近年来深度学习方法因其最先进的结果而脱颖而出,但它们仍然受到灾难性遗忘的困扰,即在用逐渐增加的新类别进行训练时,整体性能急剧下降。这是由于目前的神经网络架构需要整个数据集,包括旧的和新的类的所有样本,以更新模型。而随着类的数量增加,这种要求很容易变得不可持续。我们提出了一个方法来解决这个问题,即使用新的数据和仅对应于旧类样本的一小部分示例集来逐步学习深度神经网络。这是基于一个由蒸馏措施组成的损失,以保留从旧类中获得的知识,以及一个交叉熵损失来学习新类。我们的增量训练是在保持整个框架端到端的情况下实现的,即共同学习数据表示和分类器,这与最近没有这种保证的方法不同。我们在CIFAR-100和ImageNet(ILSVRC 2012)图像分类数据集上广泛评估了我们的方法,并显示出最先进的性能。
Method
本文算是比较早期的深度网络类增量学习方法,前作为LwF(ECCV 16[1])与iCaRL(CVPR 17[2])。LwF是无示例(exemplar-free)的,而iCaRL是有示例的,本文也是一种有示例的方法(性能上更好)。LwF,iCaRL以及其他的做法都有个特点,其基本思想都是把网络拆成特征提取器和分类头,并对这两个组件分别进行finetune,并不是端到端的。本文的最大亮点是特征与分类是共同学习的,可以认为本质上是对iCaRL的小改。
简单总结的话,就是多了个finetune的步骤。以往的方法有个问题,尽管用蒸馏损失去约束了旧知识,但毕竟新样本的数量是要比示例集大的,这就形成了一种典型的类不均衡问题,因此模型还是会倾向于去"照顾"新类的预测效果。为此,本文引入了herding selection的概念,从新样本中抽出一个和示例集一样大的子集,然后再用个更小的学习率finetune。这样的话就消除了类不均衡,从而实现了一定的性能提升。
注:herding selection在这里对应的就是经典的示例集构建方法,即选择离平均特征最接近的样本(聚类中心)。
Reference
[1] Li, Zhizhong, and Derek Hoiem. “Learning without forgetting.” IEEE transactions on pattern analysis and machine intelligence 40.12 (2017): 2935-2947.
[2] Rebuffi, Sylvestre-Alvise, et al. “icarl: Incremental classifier and representation learning.” Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2017.
[论文阅读] End-to-End Incremental Learning相关推荐
- 【论文阅读】Rethinking Spatiotemporal Feature Learning For Video Understanding
[论文阅读]Rethinking Spatiotemporal Feature Learning For Video Understanding 这是一篇google的论文,它和之前介绍的一篇face ...
- 论文阅读: Channel Augmented Joint Learning for Visible-Infrared Recognition
论文阅读: Channel Augmented Joint Learning for Visible-Infrared Recognition code: https://gitee.com/mind ...
- 【论文阅读】Decision Transformer: Reinforcement Learning via Sequence Modeling
[论文阅读]Decision Transformer: Reinforcement Learning via Sequence Modeling 1 本文解决了什么问题? 本文将强化学习抽象为一个序列 ...
- 【论文阅读】Gait Lateral Network: Learning Discriminative and Compact Representations for Gait Recognition
Gait Lateral Network: Learning Discriminative and Compact Representations for Gait Recognition 摘要: I ...
- 【论文阅读】Parametrized Deep Q-Networks Learning: RL with Discrete-Continuous Hybrid Action Space
[论文阅读-深度强化学习打王者荣耀]Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Contin ...
- 论文阅读:Self-supervised video representation learning with space-time cubic puzzles
论文名称:Self-supervised video representation learning with space-time cubic puzzles(2019 AAAI) 论文作者:Dah ...
- 阅读笔记《Class Incremental Learning With Few-Shots Based on Linear Programming for Hyperspectral Image 》
Class Incremental Learning With Few-Shots Based on Linear Programming for Hyperspectral Image Classi ...
- 论文阅读:Self-Supervised Video Representation Learning With Odd-One-Out Networks
目录 Contributions Method 1.Model 2.Three sampling strategies. 3.Video frame encoding. Results More Re ...
- 【论文阅读】Color Constancy by Learning to Predict Chromaticity from Luminance
论文:Color Constancy by Learning to Predict Chromaticity from Luminance 作者:Ayan Chakrabarti 年份:2015 期刊 ...
- 论文阅读32 | Channel Augmented Joint Learning for Visible-Infrared Recognition
论文:Channel Augmented Joint Learning for Visible-Infrared Recognition 出处:CVPR 2021 1.摘要 这篇文章介绍了一种通道增强 ...
最新文章
- Python爬虫实战糗事百科实例
- .Net 程序员面试 C# 语言篇 (回答Scott Hanselman的问题)
- python使用matplotlib可视化堆叠的柱状图(stacked bar plot)、多个类别的数据在分类变量层面累积堆叠起来
- ios自动布局(1)
- exchange迁移测试作业
- clion 远程调试配置失败 Failed to reload 错误
- UNIX系统编程(1)
- 如果在系统里面无法格式化磁盘可以尝试以下方法
- Eclipse创建JavaWeb工程
- 基本数据类型和包装类型
- Linux 命令出现号(大于号)如何退出
- 最强开源OCR!印刷体古籍文字识别超越著名商业软件ABBYY
- MySQL 基本应用 count() 与 group by
- Delphi 7生成XML
- PyCharm中文指南2.0
- 【leetcode】722. Remove Comments
- Google Android8.1镜像WIFI提示“已连接但无法访问互联网“的解决办法
- 按职能和级别来分,UI设计师能胜任哪些高薪岗位?
- jdk安装,提示错误1335
- java excel 单元格类型,POI Excel 单元格内容类型判断并取值
热门文章
- 安装rpm包完成却报错(桌面软件类安装包),可以在usr/share/applications目录下找到图标打开
- matlab合成音乐原理,matlab 做音乐合成
- zabbix监控mysql 图_zabbix监控mysql
- localdate存mysql相差一天_如何在保存到mySQL数据库时阻止LocalDate更改
- web css圆弧波浪线,web前端入门到实战:css实现波浪线及立方体
- python tkinter背景图片_如何在tkinter中有背景图像和按钮?
- python中完整类的定义_详解Python中类的定义与使用
- 使用python的笔记
- 自动驾驶——localization的学习笔记
- Linux文件权限管理 chmod 读、写、可执行