基本知识简介

一. 基本概念

Life Long learning 也可以被叫做continual Learning、incremental learning，强调在不断的，一直学习下去。相比于传统的机器学习，我们只针对一个特定的任务（例如：猫狗图片分类），Life Long Learning则是会有一系列顺序的任务（任务之间存在一定关系），即由多个传统机器学习任务组成（如下图）

二. 相关问题：灾难性遗忘

提到Life Long learning，最直接也是必须要面对的就是新知识的获取必然会导致旧知识的遗忘，这也就是灾难性遗忘。当前面对这个问题也提出了许多方法，如下图：

这里主要讲一下Regularization-based中的Prior-focused的几个案例。

三.解决方案

Selective Synaptic Plasticity

L1(θ)=L(θ)+λ∑bi(θi−θib)2L^1(\theta) =L(\theta)\ +\ \lambda \sum{b_i(\theta_i\ - \ \theta_{i}^b)^2}L1(θ)=L(θ) + λ∑bi​(θi​ − θib​)2
其中L(θ)L(\theta)L(θ)为当前任务的损失函数，后面一项目的是让参数不要偏离太多，b代表当前参数的影响程度，b越大说明这个参数对模型影响越大，越容易提高模型损失。

这里有图片帮助理解，颜色越深说明损失越小，在Task1上，梯度自然指向深的地方，假设θ\thetaθ走一步走到了b点，对于当前我们可以求出损失的二阶导数，发现在θ2\theta_2θ2​上变化很剧烈，因此b2也需要设立相对较大，保护这个方向的参数。
现在你肯定好奇那么这个b怎么确定呢？这个就是接下来要分析的方法。

Elastic Weight Consolidation (EWC)

两个公式：
这个是我们的损失：
L1(θ)=L(θ)+λ∑Fi2(θi−θib)2L^1(\theta) =L(\theta)\ +\ \lambda \sum{\frac{F_i}{2}(\theta_i\ - \ \theta_{i}^b)^2}L1(θ)=L(θ) + λ∑2Fi​​(θi​ − θib​)2
这个是F求解方式
F=[∇log(p(yn∣xn,θA∗))∇log(p(yn∣xn,θA∗))T]F\ =\ [\nabla log(p(y_n|x_n,\theta^*_A))\nabla log(p(y_n|x_n,\theta^*_A))^T]F = [∇log(p(yn​∣xn​,θA∗​))∇log(p(yn​∣xn​,θA∗​))T]
可以看一下代码具体展示细节：

Memory Aware Synapses (MAS)

累计损失方法是少一个1/2，所以就不写了

Sliced Cramer Preservation (SCP)

介绍完这几种理论，其实还有一些方法可以。例如可以用GAN方法生成出之前训练的参数或者添加一些新的network去稳定数据，这里大家可以自行收集。

OSAKA论文

一. 背景

OSAKA：

1. 任务变化随机采样的（个人理解是任务是任何时候随机到来，且数据也是随机）
2. 任务边界未知（没有明确有多少个任务）
3. 目标分布是有相关性的
4. 多种不稳定的级别设定
5. 任务会可再现（以前的任务会重新产生）
   可以发现，我们之前看到的方法具有明确的任务边界以及任务不再线，与OSAKA的场景发生了不同，同时OSAKA目标是评价累积的正确率而不是只看最终正确率。
   针对这个，作者结合MAML思想，一方面让模型能尽快收敛，另一方面，也希望模型使用能更加适应新任务。同时由于任务是可再现的，因此我们需要采取一个指标就是判断当前任务和之前训练过的是否接近，从而进行学习而且不会灾难性遗忘。

二. 方法

作者提出了continual-MAML，这个模型包括两方面，一个是进行预训练，与MAML一致，目的是尽快收敛获得好的模型参数。
之后针对不同时间到来的任务进行学习

简要介绍一下算法：
首先是预训练，θ\thetaθ是元学习中模型初始参数ϕ\phiϕ是训练θ\thetaθ参数，我们inner loop不断更新θ\thetaθ之后累积梯度更新ϕ\phiϕ
之后我们进行对当前任务学习，一样先将训练好的ϕ\phiϕ传给我们的参数，然后去更新一轮新的参数，若两个参数之间所带来的损失小于设定值，我们即更新学习率，g是一个函数，映射在0-1之间，这种情况，可以发现是当新任务相近时，所以我们可以去调整我们的原始参数。否则只是去适应参数，更多的细节大家可以看论文和代码介绍的。

Life Long Learning论文初探————Online Fast Adaptation and Knowledge Accumulation（OSAKA）相关推荐

1. 论文解读：《Learning Linear Transformations for Fast Image and Video Style Transfer》，CVPR 2019

   论文解读:<Learning Linear Transformations for Fast Image and Video Style Transfer>,CVPR 2019 0. 论文 ...

2. 【论文整理】小样本学习Few-shot learning论文整理收藏（最全，持续更新）

   一.综述类 1. Generalizing from a Few Examples: A Survey on Few-Shot Learning 2. Generalizing from a few ...

3. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks（MAML）研读笔记

   这里是引用 MAML全文目录 论文地址 摘要 介绍 相关概念 model-agnostic N-way K-shot Task 5-way 5-shot的实验设置 算法流程 fine-tune算法流程 ...

4. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks阅读笔记

   Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks-阅读笔记 Abstract MAML算法 问题设置 MAML算法 M ...

5. Deep Learning论文笔记之（八）Deep Learning最新综述

   Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...

6. Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现

   Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文, ...

7. 【论文泛读】 Deep Learning 论文合集

   [论文泛读] Deep Learning 论文合集 文章目录 [论文泛读] Deep Learning 论文合集 Batch Normalization: Accelerating Deep Netw ...

8. A Survey on Transfer Learning 论文阅读笔记与总结

   一.引入 第一作者:Sinno Jialin Pan,南洋理工大学副教授,中大数学学士.硕士,香港科技大学博士,研究方向:迁移学习 期刊:IEEE TRANSACTIONS ON KNOWLEDGE ...

9. 原创 | 机器学习在分子动力学领域顶会论文初探

   作者:王可汗 校对:陈之炎本文约2000字,建议阅读5分钟本文解读了机器学习在分子动力学领域的最新研究,带你速读4篇相关领域的最新顶会论文. 分子动力学是现代计算凝聚态物理的重要力量,它经常用于模拟材 ...

最新文章

1. SpringBoot-web开发(二): 页面和图标定制(源码分析)
2. 2021年码农应该了解的所有机器学习算法
3. lintcode：Unique Characters 判断字符串是否没有重复字符
4. VS如何更改项目类型？
5. Spring MVC和JQuery用于Ajax表单验证
6. select poll epoll
7. 参数估计法——最大似然估计和贝叶斯参数估计
8. 大数据分析平台应注意哪些方面
9. java堆内存与栈内存
10. 【2019百度之星初赛二1003=HDU6676】度度熊与运算式 1（思维）
11. 最小的浏览器-橘子浏览器才1M大小
12. Updating HP ESXi Hosts with VUM
13. 生成专题2 | 图像生成评价指标FID
14. 微信 动画表情 骰子 猜拳
15. Java、计算税收（Java8）
16. 三点求圆心坐标（三角形外心）
17. 互联网舆情监测公司监测哪些内容，TOOM北京舆情监测公司
18. Vs2010安装svn
19. 运维工程师历年企业笔试真题汇总
20. 丹纳赫集团在中国本土研发并生产的首台流式细胞分选仪正式交付

热门文章

1. ContentProvider android:exported=true
2. 关于executeUpdate方法返回的值问题
3. Invalidate()函数
4. BPM与OA的简单了解
5. C语言BCC异或效验
6. 常用布局方式与常用css
7. EasyExcel导入和导出excel数据表格用法示例
8. 数据库码的概念，全码的例子与范式的联系
9. 民锋国际期货：期货交易 | 博弈之道，遵守法则
10. Swift强大的数组