Meta-Learning

元学习包括Zero-Shot/One-Shot/Few-Shot 学习，模型无关元学习(Model Agnostic Meta Learning) 和元强化学习（Meta Reinforcement Learning）等

元学习的训练样本和测试样本都是基于任务的，训练样本来源于多个任务，首先学习一个任务共有的函数FϕF_{\phi}Fϕ。如下图所示训练任务有两个，目标任务有一个。用于训练任务的训练集称为support set，测试集称为query set。

利用不同的任务的support set得到映射函数fθ^1f_{\widehat{\theta}^{1}}fθ1，fθ^2f_{\widehat{\theta}^{2}}fθ2，

从图中可以看出，元学习的损失通过NNN个训练任务query set上损失相加得到。若定义在第n个任务query set 的损失是 lnl^{n}ln，则对于N个任务来说，总的损失为 L(ϕ)=∑n=1NlnL(\phi)=\sum_{n=1}^{N} l^{n}L(ϕ)=∑n=1Nln。

传统深度学习与元学习的区别如下图：

传统深度学习：定义一个网络架构，初始化参数，然后通过自己选择的优化器更新参数，图中通过两次epoch更新最终得到网络输出 θ^\hat{\theta}θ^

注意到红色方框中的东西都是人为设计定义的

元学习：自动学习或者说代替方框中的东西，不同的代替方式就发明出不同的元学习算法。对应与三个方框分别是：

学习网络结构 Network Architecture Search (NAS)
学习参数的初始化，例如MAML算法，Reptile算法
学习优化器

与其他几种学习方法思想区别：

终身学习：一个模型可以做所有的任务
元学习：掌握其他任务的内在原理从而举一反三
迁移学习种的预训练：感觉很像元学习中的学习参数的初始化。但是预训练后的模型，需要根据下游任务增加不同的网络结构；（不确定，需要进一步学习）

参考：
https://zhuanlan.zhihu.com/p/108503451

Meta-Learning相关推荐

理解Meta Learning 元学习，这篇文章就够了！
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 AI编辑:我是小将本文作者:谢杨易 1 什么是meta lear ...
初识元学习-Meta learning
目录: meta learning的出现 1.meta learning的出现 Meta Learning,元学习,也叫 Learning to Learn(学会学习).是继Reinforcement ...
元学习(meta learning) 最新进展综述论文，28页pdf
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 本文综述了元学习在图像分类.自然语言处理和机器人技术等领域的应用.与深度学习不同, ...
（转）Paper list of Meta Learning/ Learning to Learn/ One Shot Learning/ Lifelong Learning
Meta Learning/ Learning to Learn/ One Shot Learning/ Lifelong Learning 2018-08-03 19:16:56 本文转自:http ...
元学习Meta learning深入理解
目录基本理解元学习与传统的机器学习不同在哪里? 基本思想 MAML MAML与pre-training有什么区别呢? 1. 损失函数不同 2. 优化思想不同 MAML的优点及特点 MAML工作机理 ...
如何通过Meta Learning实现域泛化（Domain Generalization）？
©作者 | 丘明姗单位 | 华南理工大学研究方向 | 领域泛化域泛化(Domain Generalization)中有很多工作是用 meta learning 做的.Meta learning ...
元学习Meta Learning/Learning to learn
目录元学习训练用途学习方法元学习和迁移学习的区别和联系元学习 Meta Learning/Learning to learn即利用以往的知识经验来指导新任务的学习,使网络具备学会学习的能力 ...
论文笔记：Visual Question Answering as a Meta Learning Task
Visual Question Answering as a Meta Learning Task ECCV 2018 2018-09-13 19:58:08 Paper: http://opena ...
【李宏毅2020 ML/DL】P97-98 More about Meta Learning
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本节内容综述本节课由助教陈建成讲解. 本节 Outline 见小细节. 首先是 What is meta ...
【李宏毅2020 ML/DL】P88-96 Meta Learning – MAML | Reptile
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本节内容综述元学习就是 Learn to learn ,让机器变成 a better learner .Me ...

Meta-Learning

Meta-Learning相关推荐

最新文章

热门文章