走进元学习：概述不同类型的元学习方法

2020-10-04 12:30:00

全文共1596字，预计学习时长4分钟

图源：unsplash

元学习是深度学习领域中最活跃的研究领域之一。人工智能界的一些学派赞同这样一种观点：元学习是开启人工通用智能（AGI）的垫脚石。

近年来，元学习技术的研究和开发呈现爆炸式增长。然而，元学习背后的一些基本思想仍经常被数据科学家和工程师误解。因此，笔者认为有必要回顾一下元学习的一些基本概念、历史以及该领域中一些流行的算法。

元学习背后的思想可以追溯到1979年，唐纳德·毛兹利（Donald B. Maudsley）在其作品中将新的认知范式重新定义为“学习者意识到并逐渐控制其内化的感知、探究、学习和成长习惯的过程”。

1985年，约翰·比格斯（John Biggs）在其作品将元学习更简单地定义为“了解并控制自身学习”。虽然从认知科学的角度来看这些定义很准确，但要适应人工智能的具体工作似乎有点困难。

在人工智能系统中，元学习可以简单地定义为获取知识多功能性的能力。人类能够以最少的信息同时获取多个任务。我们可以通过查看单张图片来识别一种新物体，也可以同时学习复杂的多任务活动，比如开车或驾驶飞机。

虽然智能体可以完成非常复杂的任务，但它们需要对任何原子的子任务进行大量训练，而且在处理多任务时仍然非常糟糕。因此，通往知识多功能性的道路需要智能体“学会如何学习”，或用术语来形容，就是元学习。

元学习模型的类型

人类在学习时，会根据具体情况采用不同的方法。同样，并非所有的元学习模型都采用相同的技术。一些元学习模型关注的是优化神经网络结构，而另一些模型（如Reptile）则更注重于寻找合适的数据集来训练特定的模型。

加州大学伯克利分校人工智能实验室最近发表了一篇研究论文，文中全面列举了不同类型的元学习。以下是笔者最喜欢的一些类型：

· 小样本元学习：“小样本元学习”的理念是创建深层神经网络，从最简单的数据集中学习，比如模仿婴儿如何通过只看到一两张图片来学习识别物体。小样本元学习的理念启发了记忆增强神经网络或单样本生成模型等技术的产生。

· 优化器元学习：优化器元学习模型的重点是学习如何优化神经网络从而更好地完成任务。这些模型通常包括一个神经网络，该神经网络将不同的优化应用于另一个神经网络的超参数，从而改进目标任务。那些专注于改进梯度下降技术的模型就是优化器元学习很好的体现，就像该研究中发布的那些模型。

· 度量元学习：度量元学习的目标是确定一个高效率学习的度量空间。该方法可以看作是小样本元学习的一个子集，通过使用学习度量空间来评价学习质量并举例说明。该研究论文向读者展示如何将度量元学习应用于分类问题。

· 循环模型元学习：该类型的元学习模型适用于循环神经网络（RNNs），比如长短期记忆网络(LSTM)。在这种架构中，元学习器算法将训练RNN模型依次处理数据集，然后再处理任务中新输入的数据。在图像分类设置中，这可能涉及到依次传递数据集（图像、标签）对的集合，然后是必须分类的新示例。元强化学习就是这种方法的一个例子。

图源：unsplash

随着深度学习向无监督模式过渡，元学习的重要性正在不断提高。如果我们能将学习过程应用到学习新任务，那么AGI的理念就会更加实用。但就和人类一样，让人工智能模型学会学习比学习本身更加困难，实际行进中依然任重道远。

走进元学习：概述不同类型的元学习方法相关推荐

深度强化元学习教程---元学习概述
深度强化元学习是近期深度学习技术的一个另人瞩目的新兴领域,其利用元学习,解决了深度学习需要大数据集的问题,以及强化学习收敛慢的问题.同时元学习还可以适用于环境不断改变的应用场景,具有巨大的应用前景. ...
元学习概述（Meta-Learning）
转载自: 凉爽的安迪-深度瞎学一文入门元学习(Meta-Learning) 写在前面:迄今为止,本文应该是网上介绍[元学习(Meta-Learning)]最通俗易懂的文章了( 保命),主要目的是想对 ...
元学习之模型无关的元学习
本次讲述的论文: Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks 首先现在这里介绍一下元学习器的作用.元学习器,即m ...
Python 元学习实用指南：1~5
原文:Hands-On Meta Learning with Python 协议:CC BY-NC-SA 4.0 译者:飞龙本文来自[ApacheCN 深度学习译文集],采用译后编辑(MTPE)流 ...
元学习迁移学习_元学习就是您所需要的
元学习迁移学习 Update: This post is part of a blog series on Meta-Learning that I'm working on. Check out ...
AutoML-第二章-元学习
第二章:元学习摘要元学习(即学习如何学习)是一门系统地观察不同的机器学习方法如何在各种学习任务上执行的科学,然后从这种经验或元数据中学习,以比其他方式更快的速度学习新任务的科学.这不仅极大地加速和 ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...
第二十五课.元学习MetaLearning
目录元学习介绍相似度对比的应用:Few-shot Learning 问题概述孪生网络SiameseNetwork Learning Pairwise Similarity Scores Trip ...
清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货转自:机器之心清华大学朱文武教授团队摘得AAAI 2021 国际深度元学习挑战赛(MetaDL ...

走进元学习：概述不同类型的元学习方法

走进元学习：概述不同类型的元学习方法相关推荐

最新文章

热门文章