incremental learning(增量学习是什么意思）

有时候真的从ai的理解反复横跳，从一个不明觉厉ai的概念的小白到初识neural network的科研菜鸡。概念上跟着吴恩达大佬刷新了一下，其实只是看上去nn和大脑神经相似而已，本质上就是让机器给我们一个函数，一个“黑盒”，输进去data,出来我们想要的结果。

增量学习（incremental learning）从某种角度来说，有点契合我们人类持续不断地学习的状态，我们永远鼓励大家接受新事物，学习新知识。然而就要考虑到之前的学到的（旧知识）

一般的机器学习模型在新任务上训练时，在旧任务上的表现通常会显著下降。

学生的我深有体会，学了新的，忘了旧的，哎呀喜新厌旧。

出现遗忘，对于ML来说，一个普遍缺陷：「灾难性遗忘(catastrophic forgetting)」

造成灾难性遗忘的一个主要原因是「传统模型假设数据分布是固定或平稳的，训练样本是独立同分布的」TM不说人话，独立同分布属于同一组数据，且每个样本之间互不影响，平稳顺滑固定我就不解释了。

但当数据变为连续的数据流时，训练数据的分布就是非平稳的，模型从非平稳的数据分布中持续不断地获取知识时，新知识会干扰旧知识，从而导致模型性能的快速下降，甚至完全覆盖或遗忘以前学习到的旧知识。

前面好好地，后面给我来那么大的波动不好学啊

所以为了克服这个问题，我们希望模型一方面必须表现出从新数据中整合新知识和提炼已有知识的能力(可塑性)，另一方面又必须防止新知识对已有知识的显著干扰(稳定性)。这两个互相冲突的需求构成了所谓的「稳定性-可塑性困境(stability-plasticity dilemma)」。高级啊

解决灾难性遗忘最简单粗暴的方案就是使用所有已知的数据重新训练网络参数，

以适应数据分布随时间的变化。

尽管从头训练模型的确完全解决了灾难性遗忘问题，但这种方法效率非常低，

极大地阻碍了模型实时地学习新数据。

增量学习和持续学习(Continual Learning)、终身学习(Lifelong Learning)的概念大致是等价的

要注意增量学习和在线学习的区别，

在线学习通常要求每个样本

只能使用一次，且数据全都来自于同一个任务，

而增量学习是多任务的，

但它允许在进入下一个任务之前多次处理当前任务的数据」

增量学习有如下几个特点

1.学习新知识又能够保留以前大部分知识

2.计算能力与内存应该随着类别数的增加固定或者缓慢增长

3.模型可以从新任务和新数据中持续学习新知识，

当新任务在不同时间出现，它都是可训练的

增量学习常见的三种划分方式：

正则化(regularization)
回放(replay)
参数隔离(parameter isolation)

详情请参考增量学习(Incremental Learning)小综述_算法_文文学霸-DevPress官方社区

incremental learning(增量学习是什么意思）相关推荐

增量学习（Incremental Learning)
语义分割中的增量学习语义分割中的增量学习设置为:在第t个step,学习新的类别ct,ct的label仅包含当前学习的ct类别,所以在学习时要保证既学习到当前类别知识,又不能灾难性遗忘之前的类别知识. ...
增量学习/Incremental learning
文章目录简介其他值得一看的论文小样本类增量学习开源代码与资料简介类别增量学习(Class-Incremental Learning)的前世今生.开源工具包下图展示了一个形象的例子, 训练 ...
深度自适应增量学习（Incremental Learning Through Deep Adaptation）
翻译论文:Incremental Learning Through Deep Adaptation 代码:https://github.com/rosenfeldamir/incremental_le ...
终身学习（LifeLong Learning）/ 增量学习（Incremental Learning）、在线学习（Online Learning）
1.在线学习实时获得一个新样本就进行一次模型更新.显然,在线学习时增量学习的特例,而增量学习可视为"批模式"的在线/离线学习. online主要相对于offline或者说batc ...
论文浅尝 | Dynamic Weighted Majority for Incremental Learning
Yang Lu , Yiu-ming Cheung , Yuan Yan Tang. Dynamic Weighted Majority for Incremental Learning ofImba ...
[论文阅读] Large Scale Incremental Learning
论文地址:https://openaccess.thecvf.com/content_CVPR_2019/html/Wu_Large_Scale_Incremental_Learning_CVPR_2 ...
【论文总结】Incremental Learning of Object Detectors without Catastrophic Forgetting（附翻译）
Incremental Learning of Object Detectors without Catastrophic Forgetting 无灾难性遗忘的增量学习目标检测器论文地址:https ...
Cognitively-Inspired Model for Incremental Learning Using a Few Examples（附翻译）
Cognitively-Inspired Model for Incremental Learning Using a Few Examples 2021年1月27日,来自留校儿童的心酸科研,冲鸭文 ...
阅读笔记《Class Incremental Learning With Few-Shots Based on Linear Programming for Hyperspectral Image 》
Class Incremental Learning With Few-Shots Based on Linear Programming for Hyperspectral Image Classi ...

incremental learning(增量学习是什么意思）

incremental learning(增量学习是什么意思）相关推荐

最新文章

热门文章