李宏毅机器学习之Life Long Learning

Life-long Learning需要解决的问题

Knowledge Retention

学习完任务2后任务1的正确率下降了

如果一起学,可以学的很好,为什么分开学,就乱了,Catastrophic Forgetting

EWC 核心思想:在二次训练的时候,之前比较重要的参数尽量不要去改

theta1 在平原上,所以变化对任务1的影响不大,所以对应的b1也比较小, theta2相对曲线比较陡峭,容易对任务1产生影响,所以对应的b2会比较大。

Knowledge Transfer

知识迁移与life-long learning的区别

life-long learning的一般评估方法

GEM 核心思想:学习新任务的时候,考虑以前任务的梯度方向

Model Expansion

学习的顺序也很重要

李宏毅机器学习之Life Long Learning相关推荐

  1. 李宏毅机器学习课程-Transfer Learning

    深度学习 -> 强化学习 ->迁移学习(杨强教授报告) 李宏毅机器学习课程-Transfer Learning 迁移学习-吴恩达 freeze 待处理的 理解深层神经网络中的迁移学习及Te ...

  2. 【李宏毅机器学习】Why Deep Learning(p15) 学习笔记

    李宏毅机器学习学习笔记汇总 课程链接 这集语音部分属实听不明白了qaq 文章目录 Deep is better Fat+Short vs Thin+Tall Modularization 模块化 做d ...

  3. ​李宏毅机器学习——强化学习Reinforcement Learning

    目录 应用场景 强化学习的本质 以电脑游戏为例 强化学习三个步骤 第一步:有未知参数的函数 第二步:定义Loss 第三步:Optimization RL的难点 类比GAN Policy Gradien ...

  4. 李宏毅机器学习课程-Structured Learning

    Simple structured learning framework for python pystruct-github Slides for explaining structured pre ...

  5. 李宏毅机器学习——循环神经网络(二)

    引言 本文是接上一篇李宏毅机器学习--循环神经网络(一) Learning Target 在RNN中如何定义损失函数呢.还是以Slot Filling为例,给定一些句子作为训练数据 并且要给这些句子一 ...

  6. 2018-3-21李宏毅机器学习笔记十一-----Brief Introduction of Deep Learning?

    我觉的有用的: BP神经网络_百度百科 https://baike.baidu.com/item/BP%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/4581827?fr=a ...

  7. 【李宏毅机器学习】Tips for Deep Learning(p14) 学习笔记

    李宏毅机器学习学习笔记汇总 课程链接 文章目录 Recipe if Deep Learning Do not always blame Overfitting 针对不同的状况使用不同的方法 在训练集上 ...

  8. 【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介(p12) 学习笔记

    李宏毅机器学习学习笔记汇总 课程链接 Deep Learning 文章目录 Deep Learning Deep Learning attracts lots of attention Ups and ...

  9. 李宏毅机器学习-explainable machine learning(机器学习的可解释性)及代码

    目录 为什么需要机器学习的可解释性? Interpretable VS Powerful 什么叫做好的 Explanation explainable ML的分类 Local Explanation( ...

最新文章

  1. 能打开java文件_用java打开一个本地文件
  2. python是什么编程教程-一个新手,什么编程都没学过怎么学好Python?
  3. 函数 —— strtok() 例如:按照字符拆分字符串,放入新定义的数组中;按照字符拆分字符串,放入原先的数组中
  4. eclipse导入Java文件后出现中文乱码
  5. 示范对外接口参数文档
  6. Java学习笔记8-1——汇编语言入门
  7. JAVA内部类示例分析
  8. python 教材为什么喜欢用spam举例_斯坦福大学教授列举出的python入门最容易犯的错误,你中招了吗?...
  9. Go 语言 Gin 框架实战项目笔记
  10. 微软公告:Visual Basic 6 完全兼容 Windows 8 的整个产品周期
  11. python更改端口
  12. 彻底理解Cisco NAT内部的一些事
  13. 【图数据库】Neo4j下载、安装、配置、服务注册(国内ftp快速下载)
  14. Python的学习笔记案例4--52周存钱挑战4.0
  15. 编程基础巩固——英语单词记忆技巧
  16. 统一网络存储NAS+SAN=FAS
  17. php做网站需要的技术,建网站需要什么技术
  18. 对接熊迈SDK工作记录之实时视频和云录像功能集成
  19. JAVA联机版五子棋——源码(一个类一个main暴力开发)
  20. antd走马灯组件自定义前进后退按钮

热门文章

  1. 美国男人欢迎中国的丑女人?------------说说洁
  2. Spring Boot搭建Web服务器,实现用户注册登录功能
  3. 关于迭代速度很快的解决方案
  4. VUE3 实现前台图片标注添加矩形框、图片放大、缩小、鼠标滚轮缩放
  5. 2017.7.7 C组总结
  6. 6.S081参考书笔记 —— 第7章调度、进程交互
  7. 将简体字转换成繁体字
  8. python控制苹果手机触摸屏失灵怎么办_iPhone手机触屏不灵敏怎么办 触屏失灵乱跳等问题解决方法大全必看...
  9. 2022新版QQ微信域名防红PHP源码+强制跳转打开
  10. 移动通信第三章,组网技术基础