【李宏毅】元学习（Meta learning）的概念与步骤

1 概念
2 元学习步骤
- 2.1 定义一组学习算法
- 2.2 评价一个学习算法 F F F 的好坏

只讲了元学习概念和步骤，简单做了解，稍微复杂一点的都没讲，更详细的笔记可以参考【学习笔记】元学习（Meta Learning）学习笔记，学习的是李宏毅老师的教程，可以参考从零开始，了解元学习，里面包含了代码实现。

1 概念

元学习就是一台机器学习如何去做学习，根据过去任务的经验变成了一个厉害的学习者。
具体的模型架构解释：

首先，上图描述的是传统机器学习在做的事情——由人来设计一套学习算法，然后这个算法会输入一堆训练资料，通过长时间的训练得到算法里的参数，这堆参数拟合出一个函数 f ∗ f^* f∗，然后用测试资料来测试这个 f ∗ f^* f∗，如果效果达标就证明机器学到了该特定任务的实现函数。
而Meta Learning做的事情与上述描述不同的地方在于，将其中由人来设计学习方法的过程，改成了由机器来设计一套学习方法。
如上图所示，如果将原本机器学习中的训练资料记为 D t r a i n D_{train} Dtrain，那么在Meta Learning中的训练资料变为一堆 D t r a i n D_{train} Dtrain和一堆 f ∗ f^* f∗的组合，然后现在机器要求解的结果不再是 f ∗ f^* f∗，而是一个新的函数 F F F，这个决定在给定 D t r a i n D_{train} Dtrain的情况下 f ∗ f^* f∗的结果。

机器学习：定义一组函数集→定义损失函数来判断哪些函数比较好→找出最好的函数 f ∗ f^* f∗
元学习：定义一组学习算法函数集→定义损失函数来判断哪些学习函数比较好→找出最好的学习函数 F F F

2 元学习步骤

2.1 定义一组学习算法

先定义一个网络架构
初始化参数 θ 0 \theta^0 θ0
从某一个分布里面提取出数值来当作初始参数
根据初始参数 θ 0 \theta^0 θ0 和训练资料 D t r a i n D_{train} Dtrain 计算梯度 g 0 g_0 g0
用梯度 g 0 g_0 g0 更新初始参数 θ 0 \theta^0 θ0 得到 θ 1 \theta^1 θ1
Update方法： θ 0 \theta^0 θ0- g 0 × g_0\times g0×学习率
根据 θ 1 \theta^1 θ1 和训练资料 D t r a i n D_{train} Dtrain 计算梯度 g 1 g_1 g1
重复梯度下降过程……
最后得到参数 θ ^ \hat\theta θ^

以上的步骤可以看作是一个函数，输入是训练资料 D t r a i n D_{train} Dtrain，输出是参数 θ ^ \hat\theta θ^：

图中红色方框部分都是人工去设置的，不同的设置会导致不同的结果。
而元学习就是试图把人工设置的红色方框部分变成机器去设置，机器去学习，而不需要人。
比如说：参数初始化部分，我们不自己手动设置，而是让机器随便弄出一堆初始参数，这一堆初始参数就是这个学习算法函数集（Learning Algorithm）。

2.2 评价一个学习算法 F F F 的好坏

和机器学习类似，用 F F F 来学习一些 task，比如猫狗分类（task1），把训练数据集代进这个 F F F，学习出了一个训练结果 f 1 f^1 f1（是一个训练算法），然后用测试数据集代进训练算法 f 1 f^1 f1，得到 l 1 l^1 l1（测试结果不仅仅可以是分类任务中的分类损失，也可以定义为损失下降的速率等等，取决于我们希望F学习到什么样的算法效果）。
F F F 要学习一堆 task，在其它task上的过程：

最后，函数 F F F 的损失函数就定义为所有Task上的损失的总和：
L ( F ) = ∑ n = 1 N l n L(F)=\sum^N_{n=1}l^n L(F)=n=1∑Nln
L ( F ) L(F) L(F) 越小， F F F 越好。所以最好的 F F F 就是：

因此，和机器学习不同：机器学习是有训练资料和测试资料；而元学习是有训练任务和测试任务（每一种任务里面都有训练资料和测试资料），如下图：

元学习通常和小样本学习（Few-shot learning）放在一起讨论。
小样本学习：每一种类别只给很少的资料，比如只给一张猫的图一张狗的图。在小样本学习中，往往把 Task 里面的训练资料叫 Support set，测试资料叫做 Query set。

通过上面的公式得到 F ∗ F^* F∗ 以后，训练完毕，接下来测试：
把测试task里面的训练集代进 F ∗ F^* F∗ 中，得到 f ∗ f^* f∗，然后把测试task里面的测试资料代进 f ∗ f^* f∗ 中，得到 l l l，这个 l l l 就是整个方法的好坏。

【李宏毅】元学习（Meta learning）的概念与步骤相关推荐

元学习Meta Learning/Learning to learn
目录元学习训练用途学习方法元学习和迁移学习的区别和联系元学习 Meta Learning/Learning to learn即利用以往的知识经验来指导新任务的学习,使网络具备学会学习的能力 ...
元学习(meta learning) 最新进展综述论文，28页pdf
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 本文综述了元学习在图像分类.自然语言处理和机器人技术等领域的应用.与深度学习不同, ...
初识元学习-Meta learning
目录: meta learning的出现 1.meta learning的出现 Meta Learning,元学习,也叫 Learning to Learn(学会学习).是继Reinforcement ...
元学习Meta learning深入理解
目录基本理解元学习与传统的机器学习不同在哪里? 基本思想 MAML MAML与pre-training有什么区别呢? 1. 损失函数不同 2. 优化思想不同 MAML的优点及特点 MAML工作机理 ...
什么是元学习 (Meta Learning)
目录元学习(Meta Learning) 元学习介绍元学习目的元学习流程元学习(Meta Learning) 元学习介绍元学习希望使得模型获取调整超参数的能力,使其可以在获取已有知识的基础上 ...
元学习—Meta Learning的兴起
来源:专知 [导读]元学习描述了训练深度神经网络相关的更高级别的元素.在深度学习文献中,"元学习"一词经常表示神经网络架构的自动化设计,经常引用" AutoML" ...
元学习(meta learning)和小样本学习(few-shot learning)
Meta learning few-shot learning是meta learning中的一种.可将few-shot learning看做是meta leaning即可. Meta learnin ...
《元学习meta learning)》2020综述论文大全！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]元学习旨在学会学习,是当下研究热点之一.最近来自爱丁堡大学的学者发布了关于 ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...
李宏毅机器学习35——meta learning
摘要: 这节课学习了meta learning(元学习) 元学习是通过一系列task的训练,让机器成为一个更好的学习者,当机器遇到新的学习任务时,就能更快的完成.类比到现实生活中,元学习不是指某一类的 ...

【李宏毅】元学习（Meta learning）的概念与步骤

【李宏毅】元学习（Meta learning）的概念与步骤

1 概念

2 元学习步骤

2.1 定义一组学习算法

2.2 评价一个学习算法 F F F 的好坏

【李宏毅】元学习（Meta learning）的概念与步骤相关推荐

最新文章

热门文章