持续学习-Continual learning
当前主流的针对神经网络模型的持续学习方法可以分为一下几类：
1. Regularization： 在网络参数更新的时候增加限制，使得网络在学习新任务的时候不影响之前的知识。这类方法中，最典型的算法就是EWC。
EWC https://github.com/GMvandeVen/continual-learning
2. Ensembling： 当模型学习新任务的时候，增加新的模型（可以是显示或者隐式的方法），使得多个任务实质还是可以对应多个模型，最后把多个模型的预测进行整合。增加子模型的方式固然好，但是没多一个新任务就多一个子模型，对学习效率和存储都是一个很大的挑战。goole发布的PathNet是一个典型的ensembling算法。
3. Rehearsal： 这个方法的idea非常的直观，我们担心模型在学习新任务的时候忘记了旧任务，那么可以直接通过不断复习回顾的方式来解决，在模型学习新任务的同时混合原来任务的数据，让模型能够学习新任务的同时兼顾旧任务。不过，这样做有一个不太好的地方就是我们需要一直保存所有旧任务的数据，并且同一个数据会出现多次重复学习的情况。其中，GeppNet是一个基于rehearsal的经典算法。
4. Dual-memory： 这个方法结合了人类记忆的机制，设计了两个网络，一个是fast-memory（短时记忆），另一个是slow-memory（长时记忆），新学习的知识存储在fast memory中，fast-memory不断的将记忆整合transfer到slow-memory中，其中GeppNet+STM是rehearsal和dual-memory相结合的一个算法。
5.Sparse-coding: 灾难性遗忘是因为模型在学习新任务（参数更新）时，把对旧任务影响重大的参数修改了。如果我们在模型训练的时候，人为的让模型参数变得稀疏（把知识存在少数的神经元上），就可以减少新知识记录对旧知识产生干扰的可能性。Sensitivity-Driven是这类方法的一个经典算法。
有关增量学习的相关论文
- CVPR2017_iCaRL- Incremental Classifier and Representation Learning
- CVPR2019_Learning a Unified Classifier Incrementally via Rebalancing
- ICCV2019_Continual Learning by Asymmetric Loss Approximation with Single-Side Overestimation
持续学习-Continual learning相关推荐
- 持续学习 (continual learning/ life-long learning)详解
作者:夕小瑶的卖萌屋-- 「小鹿鹿鹿 」 问题定义 我们人类有能够将一个任务的知识用到另一个任务上的能力,学习后一个任务时也不会忘记如何做前一个任务.这种能力叫持续学习 (continual lear ...
- 持续学习(continual learning/ life-long learning)
持续学习,泛化知识的能力是强人工智能的重要特征.人工智能的重要研究目标是构建具备持续学习能力的智能体,该智能体可以根据自身经验构建对世界的复杂理解,从而利用更复杂的知识进行自主的渐进式 ...
- 持续学习 (continual learning/ life-long learning)讲解
- 机器学习学习笔记-持续学习（Continual Learning/ Life-long Learning）
任务: 将旧任务学习的知识应用到新的任务上,同时在旧任务上的表现不会出现太大的损失. 问题: (1)将旧任务的知识利用,从而更快适应新任务. (2)在学习新任务的同时在旧任务上的表现不会出现太大下降. ...
- 一时学习一时爽，持续学习持续爽
问题定义 众所周知,柯洁是超级厉害的围棋高手. 众所周知,小夕是超级厉害的卖萌小能手斗地主民间高手. 燃鹅,如果这时候把斗地主的规则教给柯洁,那么柯洁凭借已有的围棋知识,可以轻松的与小夕大战一场.并且 ...
- 【Lifelong learning】Continual Learning with Knowledge Transfer for Sentiment Classification
链接:http://arxiv.org/abs/2112.10021 简介 这是一篇在情感分类Sentiment Classification运用连续学习Continual Learning的pape ...
- 连续学习入门（一）：Continual Learning / Incremental Learning / Life Long Learning 问题背景及研究挑战
说明:本系列文章若无特别说明,则在技术上将 Continual Learning(连续学习)等同于 Incremental Learning(增量学习).Lifelong Learning(终身学习) ...
- 【论文整理】小样本学习Few-shot learning论文整理收藏（最全，持续更新）
一.综述类 1. Generalizing from a Few Examples: A Survey on Few-Shot Learning 2. Generalizing from a few ...
- 持续学习研究过程Continural Learning Study
本篇文章为研究索引 前言:持续学习主要是,神经网络中为解决灾难性遗忘问题的算法研究. 灾难性遗忘:随着增量学习过程中分类模型的迭代,神经网络会对不同的任务作出分类预测,如果用新的机制去预测分类的时候, ...
最新文章
- C#中使用WCF一些常见问题及解决方案
- 如何在Java中检查字符串是否为数字
- Linux下判断cpu物理个数、几核
- django Sometimes request.session.session_key is None
- 深入理解MySQL底层架构，看这一篇文章就够了！
- 《Groovy语言规范》-语法（一）
- android adb驱动win7,adbwin7下载地址_win7安装adb驱动的方法
- ISO27001标准
- Windows一键修改IP、DNS等网络配置（AutoHotkey实现）
- 人大金仓数据库sql语句_人大金仓数据库问题记录
- 【学习备忘录】ele项目的环境配置
- 人民币对美元汇率中间价报6.7969元 下调115个基点
- 【Mysql】慢SQL优化详解 Mysql案例
- 五一就要到了，我用Python制作一款钉钉低价机票提示器！
- 2023最新素材解析网站源码搭建和原理，附带PHP小例子。
- 用Python中的py2neo库操作neo4j，搭建简单关联图谱—基于家有儿女中的人物关系
- 学习maven的系列教程（正）
- 功能测试非常重要的43个功能测试点...
- 计算机附录的相关文件,计算机化系统附录与计算机文件编制验证实际操作2.pptx...
- shared_ptr