李宏毅机器学习之Life Long Learning

Life-long Learning需要解决的问题

Knowledge Retention

学习完任务2后任务1的正确率下降了

如果一起学，可以学的很好，为什么分开学，就乱了，Catastrophic Forgetting

EWC 核心思想：在二次训练的时候，之前比较重要的参数尽量不要去改

theta1 在平原上，所以变化对任务1的影响不大，所以对应的b1也比较小, theta2相对曲线比较陡峭，容易对任务1产生影响，所以对应的b2会比较大。

Knowledge Transfer

知识迁移与life-long learning的区别

life-long learning的一般评估方法

GEM 核心思想：学习新任务的时候，考虑以前任务的梯度方向

Model Expansion

学习的顺序也很重要

李宏毅机器学习之Life Long Learning相关推荐

李宏毅机器学习课程－Transfer Learning
深度学习 -> 强化学习 ->迁移学习(杨强教授报告) 李宏毅机器学习课程-Transfer Learning 迁移学习-吴恩达 freeze 待处理的理解深层神经网络中的迁移学习及Te ...
【李宏毅机器学习】Why Deep Learning（p15）学习笔记
李宏毅机器学习学习笔记汇总课程链接这集语音部分属实听不明白了qaq 文章目录 Deep is better Fat+Short vs Thin+Tall Modularization 模块化做d ...
李宏毅机器学习——强化学习Reinforcement Learning
目录应用场景强化学习的本质以电脑游戏为例强化学习三个步骤第一步:有未知参数的函数第二步:定义Loss 第三步:Optimization RL的难点类比GAN Policy Gradien ...
李宏毅机器学习课程－Structured Learning
Simple structured learning framework for python pystruct-github Slides for explaining structured pre ...
李宏毅机器学习——循环神经网络(二)
引言本文是接上一篇李宏毅机器学习--循环神经网络(一) Learning Target 在RNN中如何定义损失函数呢.还是以Slot Filling为例,给定一些句子作为训练数据并且要给这些句子一 ...
2018-3-21李宏毅机器学习笔记十一-----Brief Introduction of Deep Learning？
我觉的有用的: BP神经网络_百度百科 https://baike.baidu.com/item/BP%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/4581827?fr=a ...
【李宏毅机器学习】Tips for Deep Learning（p14）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Recipe if Deep Learning Do not always blame Overfitting 针对不同的状况使用不同的方法在训练集上 ...
【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记
李宏毅机器学习学习笔记汇总课程链接 Deep Learning 文章目录 Deep Learning Deep Learning attracts lots of attention Ups and ...
李宏毅机器学习-explainable machine learning（机器学习的可解释性）及代码
目录为什么需要机器学习的可解释性? Interpretable VS Powerful 什么叫做好的 Explanation explainable ML的分类 Local Explanation( ...

李宏毅机器学习之Life Long Learning

李宏毅机器学习之Life Long Learning

Life-long Learning需要解决的问题

Knowledge Retention

Knowledge Transfer

Model Expansion

李宏毅机器学习之Life Long Learning相关推荐

最新文章

热门文章