什么是元学习 (Meta Learning)

元学习（Meta Learning）

元学习介绍

元学习希望使得模型获取调整超参数的能力，使其可以在获取已有知识的基础上快速学习新的任务。

元学习目的

元学习和机器学习的区别在于：机器学习是先人为调参，之后直接训练特定任务下深度模型。元学习则是先通过其它的任务训练出一个较好的超参数，然后再对特定任务进行训练。

这些超参数可以是初始化参数、选择优化器、定义损失函数、梯度下降更新参数等。

元学习流程

在机器学习中，训练单位是样本数据，通过数据来对模型进行优化；数据可以分为训练集、测试集和验证集。

在元学习中，训练单位是任务，一般有两个任务分别是训练任务（Train Tasks），和测试任务（Test Task）。

（1）训练任务

在训练任务中给定hhh个子训练任务，每个子训练任务的数据集分为 Support set 和 Query set。

首先通过这hhh个子任务的 Support set 训练，分别训练出针对各自子任务的模型参数θk∗\theta^*_kθk∗。
然后用不同子任务中的 Query set 分别去测试θk∗\theta^*_kθk∗的性能，并计算出预测值PikqP^{kq}_iPikq和真实标签YikqY^{kq}_iYikq的损失lkl_klk。
接着整合这hhh个损失函数为L(φ)L(\varphi)L(φ)：L(φ)=l1+...+lk+...+lhL(\varphi)=l_1+...+l_k+...+l_hL(φ)=l1+...+lk+...+lh
最后利用梯度下降法去求出超参数φ\varphiφ去更新参数{θi∗}i=1k\{\theta^*_i\}^k_{i=1}{θi∗}i=1k，从而找到最优的超参设置φ∗\varphi^*φ∗；如果φ∗\varphi^*φ∗不可求，则可以采用强化学习或者进化算法去解决。

（2）测试任务

测试任务是正常的机器学习的过程，它将数据集划分为训练集和测试集。

训练任务的目的是找到一个好的超参设置φ∗\varphi^*φ∗，利用这个先验知识可以对特定的测试任务fff进行更好的进行训练。

参考文献：

一文通俗讲解元学习（Meta-Learning）

什么是元学习 (Meta Learning)相关推荐

元学习(meta learning) 最新进展综述论文，28页pdf
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 本文综述了元学习在图像分类.自然语言处理和机器人技术等领域的应用.与深度学习不同, ...
元学习Meta Learning/Learning to learn
目录元学习训练用途学习方法元学习和迁移学习的区别和联系元学习 Meta Learning/Learning to learn即利用以往的知识经验来指导新任务的学习,使网络具备学会学习的能力 ...
初识元学习-Meta learning
目录: meta learning的出现 1.meta learning的出现 Meta Learning,元学习,也叫 Learning to Learn(学会学习).是继Reinforcement ...
元学习Meta learning深入理解
目录基本理解元学习与传统的机器学习不同在哪里? 基本思想 MAML MAML与pre-training有什么区别呢? 1. 损失函数不同 2. 优化思想不同 MAML的优点及特点 MAML工作机理 ...
元学习—Meta Learning的兴起
来源:专知 [导读]元学习描述了训练深度神经网络相关的更高级别的元素.在深度学习文献中,"元学习"一词经常表示神经网络架构的自动化设计,经常引用" AutoML" ...
元学习(meta learning)和小样本学习(few-shot learning)
Meta learning few-shot learning是meta learning中的一种.可将few-shot learning看做是meta leaning即可. Meta learnin ...
《元学习meta learning)》2020综述论文大全！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]元学习旨在学会学习,是当下研究热点之一.最近来自爱丁堡大学的学者发布了关于 ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...
Meta Learning在NLP领域的应用
Hi,这里是哈林,今天来跟大家聊一聊Meta Learning在NLP领域的一些应用. 哈林之前在学校科研的方向是NLP,个人对如何将先进的机器学习算法应用到NLP场景很感兴趣(因为好水paper), ...