元学习

元学习（meta-learning），或者学会学习（learning to learning），指通过学习一系列相似任务，归纳（抽象）出这些任务的本质规律（通用属性——权重/超参）。当面对全新的任务时，可以根据学得的规律，做微调，便可快速适应。

元学习架构

元学习现状

1 基于模型 model-based
数据一次性喂入，学习1个模型的参数
2 基于度量 metric-based
学习核变换参数
3 基于优化 optimization-based
学习元模型参数

MAML

模型无关的元学习model agnostic meta learning ，包括一个base-model learner和一个meta-learner，每个base-model learner 学习一个specific task，meta-learner学习多个specific task的平均性能θ，作为新任务的初始化参数。

算法原理

所有任务共享初始参数θ，学习一个好的初始化参数（提供一个指导方向），避免新任务从头开始学
MAML已经被证明与MLP一样可以近似任意函数

算法流程

读后总结

1 适用场景

task不同但相关
输入空间相同，数据分布不同，即同构
标签空间相同
预测函数f不同

2 优点

快速适应，适用于few-shot learning
参数可用gradient descent训练

3 缺点

所有base-model和meta-model参数空间的自由度相同
存在元过拟合问题，因为所有task（训练及测试）需要来自同一个分布,当分布选择不合理，或者采样时多样性不足会导致这一问题。
虽然可以解决少样本问题，但是训练所需样本量的大小（信息量）没有固定的范围，需要通过试验确定
在算法层面上，训练是以批处理的方式进行的，并不是顺序、增量的。
二次梯度可能不稳定

后续研究

关于task的选取，Chelsea 小姐姐团队还有后续的研究，可以实现无监督元学习，如任务的自动获取——《unsupervised meta-learning for RL》
同时，他们也做了关于算法背后的理论研究，如从概率角度、分层贝叶斯角度解释其工作原理——《meta-learning and universality：deep representations and gradient descent can approximate any learning algorithm》
ppt建议看NIPS2018上Sergey Levine的《what‘s wrong with meta-learning》和《meta-learning frotiers：universal，uncertain and unsupervised》

参考文献

[1]:《Model vs Optimization meta learning》Oriol Vinyals NIPS2017
[2]:《model agnostic meta learning for fast adaptation of deep networks》 Chelsea finn 2017
[3]:《ICML 2019 tutotrial》
[4]:《Incremental Learning-to-Learn with Statistical Guarantees》
[5]:《meta-learning and universality：deep representations and gradient descent can approximate any learning algorithm》

元学习笔记——MAML相关推荐

(二)元学习算法MAML简介及代码分析
欢迎访问个人网络日志
【小样本基础】Meta-Learning 元学习流程：图解MAML代码
本篇博客将从理论和实践的角度介绍元学习算法,分别从论文,代码,流程图,以及内外循环四个角度介绍了MAML的参数更新过程. 前言:上图是元学习算法maml的流程图.最左侧是结点的嵌入,也是maml的输入 ...
基于元学习和自我监督的图像翻译预训练
提示:系读文章的笔记,侵删. 文章目录前言一.摘要二.结论与展望 1.结论:新的小样本多任务图像到图像的转换 2.展望:提高性能和稳定性三.介绍四. 背景和相关工作 1 数据集(风暴事件图像 ...
深度 | 学习如何学习的算法：简述元学习研究方向现状
要想实现足够聪明的人工智能,算法必须学会如何学习.很多研究者们曾对此提出过不同的解决方案,其中包括 UC Berkeley 的研究人员提出的与模型无关的元学习(MAML)方法.本文将以 MAML 为例 ...
【工大SCIR】AAAI20 基于反向翻译和元学习的低资源神经语义解析
论文名称:Neural Semantic Parsing in Low-Resource Settings with Back-Translation and Meta-Learning 论文作者:孙 ...
EMNLP2021论文：元学习大规模多标签文本分类
每天给你送来NLP技术干货! 来自:南大NLP 01 - 研究动机大规模多标签文本分类(简称LMTC)是自然语言处理领域中一个十分重要的任务,其旨在从一个大规模的标签集合(标签集合大小一般以千为数量 ...
【转】学习如何学习的算法：简述元学习研究方向现状
要想实现足够聪明的人工智能,算法必须学会如何学习.很多研究者们曾对此提出过不同的解决方案,其中包括 UC Berkeley 的研究人员提出的与模型无关的元学习(MAML)方法.本文将以 MAML 为例 ...
元学习概述（Meta-Learning）
转载自: 凉爽的安迪-深度瞎学一文入门元学习(Meta-Learning) 写在前面:迄今为止,本文应该是网上介绍[元学习(Meta-Learning)]最通俗易懂的文章了( 保命),主要目的是想对 ...
Python 元学习实用指南：1~5
原文:Hands-On Meta Learning with Python 协议:CC BY-NC-SA 4.0 译者:飞龙本文来自[ApacheCN 深度学习译文集],采用译后编辑(MTPE)流 ...

元学习笔记——MAML

目录

元学习