持续学习(continual learning/ life-long learning)
持续学习，泛化知识的能力是强人工智能的重要特征。人工智能的重要研究目标是构建具备持续学习能力的智能体，该智能体可以根据自身经验构建对世界的复杂理解，从而利用更复杂的知识进行自主的渐进式的训练与改进。
深度学习模型的学习过程通常是局部或孤立任务中的固定数据集，这令模型难以产生更复杂和自主的智能行为。持续学习（Continual Learning），也称终身学习（Life-long learning）是解决此类问题的研究方向，它的目标是扩展模型适应能力，令模型能够在不同时刻学习不同任务的知识，同时不会遗忘先前任务的特征。
在深度神经网络上进行持续学习有两个目标：一是应对神经网络由于其自身的设计天然存在的灾难性遗忘问题 (McCloskey and Cohen, 1989)，二则是使训练模型更为通用，即令模型同时具备可塑性（学习新知识的能力）和稳定性（对于旧知识的记忆能力）。
可以持续学习的深度学习系统的难点在于设计一个对新输入敏感但不会受到颠覆性干扰的系统。当前主流的针对神经网络模型的持续学习方法可以分为一下几类：
- Regularization： 在网络参数更新的时候增加限制，使得网络在学习新任务的时候不影响之前的知识。这类方法中，最典型的算法就是EWC。
- EWC https://github.com/GMvandeVen/continual-learning
- Ensembling： 当模型学习新任务的时候，增加新的模型（可以是显示或者隐式的方法）
持续学习(continual learning/ life-long learning)相关推荐
- 持续学习 (continual learning/ life-long learning)详解
作者:夕小瑶的卖萌屋-- 「小鹿鹿鹿 」 问题定义 我们人类有能够将一个任务的知识用到另一个任务上的能力,学习后一个任务时也不会忘记如何做前一个任务.这种能力叫持续学习 (continual lear ...
- 持续学习-Continual learning
当前主流的针对神经网络模型的持续学习方法可以分为一下几类: 1. Regularization: 在网络参数更新的时候增加限制,使得网络在学习新任务的时候不影响之前的知识.这类方法中,最典型的算法就是 ...
- 持续学习 (continual learning/ life-long learning)讲解
- 机器学习学习笔记-持续学习（Continual Learning/ Life-long Learning）
任务: 将旧任务学习的知识应用到新的任务上,同时在旧任务上的表现不会出现太大的损失. 问题: (1)将旧任务的知识利用,从而更快适应新任务. (2)在学习新任务的同时在旧任务上的表现不会出现太大下降. ...
- 一时学习一时爽，持续学习持续爽
问题定义 众所周知,柯洁是超级厉害的围棋高手. 众所周知,小夕是超级厉害的卖萌小能手斗地主民间高手. 燃鹅,如果这时候把斗地主的规则教给柯洁,那么柯洁凭借已有的围棋知识,可以轻松的与小夕大战一场.并且 ...
- 连续学习入门（一）：Continual Learning / Incremental Learning / Life Long Learning 问题背景及研究挑战
说明:本系列文章若无特别说明,则在技术上将 Continual Learning(连续学习)等同于 Incremental Learning(增量学习).Lifelong Learning(终身学习) ...
- 持续学习研究过程Continural Learning Study
本篇文章为研究索引 前言:持续学习主要是,神经网络中为解决灾难性遗忘问题的算法研究. 灾难性遗忘:随着增量学习过程中分类模型的迭代,神经网络会对不同的任务作出分类预测,如果用新的机制去预测分类的时候, ...
- Prompt 学习和微调综述 (Prompt Learning and Tuning)
原文:Prompt 学习和微调综述 (Prompt Learning and Tuning) 一文总结Prompt Learning/Tuning. >>加入极市CV技术交流群,走在计算机 ...
- 深度学习和浅层学习 Deep Learning and Shallow Learning
由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门课的 project 中见识过了 deep learning 的效果, ...
最新文章
- AMD Zen 2新架构2018年初发布 再提升15%性能
- (转)layoutSubviews总结
- FFmpeg转码指令（测试通过）
- 记录 之 tf.placeholder() 函数的意义及用法
- vb for循环 combobox的使用 Print的使用
- LeetCode 605 种花问题
- Imagine开源图片压缩程序源码
- CV《物体识别与检测4 - 人脸验证》
- hdmi中深度色彩像素打包
- 2021系统分析师论文题目记忆
- Linux下mysql数据恢复
- 杨凌职业技术学院计算机专业宿舍,杨凌职业技术学院宿舍条件怎么样,有独立卫生间和空调吗...
- Kafka的数据结构与算法
- oracle优化器analyzed,Oracle Optimizer:迁移到使用基于成本的优化器—–系列1.2-数据库专栏,ORACLE...
- 关于视频编码I P B帧存储，编码，解码，显示顺序的理解
- 共享IPFS生态红利丨IPFS合伙人招募大会哈尔滨站圆满落幕
- python制作飞机大战游戏准备工作相关知识点
- php电商开源框架,Fecshop是基于php Yii2框架之上开发的一款优秀的开源电商系统
- 正大国际期货：期货投资你的感悟是什么？
- 渲染TA实战：摄影测量游戏模型制作指南