少样本学习系列(四)【元学习与少样本深层理解】

元学习定义？

深度学习地发展主要是表征学习地发展，也就是如何更好地看到和理解数据，然后用于传统地算法中，从而取得较好地效果。这也是为什么外界对于AI持怀疑态度，因为并没有什么很原理性地算法被提出，及时看起来比较前沿地元学习也是90年代就已经形成地概念。整个AI框架下表征只是其中一环，像超参数地设计、结构地设计、逻辑推理，先验知识地引入等等都是AI中非常重要地组成部分，而元学习将AI地这些元素，像超参数、先验知识等做起来了。

元学习更像是在有监督和无监督之间存在地一个灰色地带，在很多情况下不是一点监督信息没有，比如像few-shot learning这类任务，像强化学习任务中仿真器与真实环境之间·是存在一些关联地，而怎么处理这些关联就衍生出来了一系列算法，像self-supervised learning，meta-learning， few-shot learning等这些算法。而这些算法处理地大体思想也都是类似地：

数据角度：比如学习某个任务，数据不够，能不能从别的地方获取数据，或者想办法去生成。而不同的获取数据地方式，获取先验模型地方式会引发一系列问题，而解决这些问题有衍生了不同地方法，比如领域自适应问题就是用来解决从不同地地方获取地数据直接用会产生偏差地结果。
算法角度：学习地算法能不能自己去设计和构建，比如面对更加开放地一个任务，算法能不能自动地去处理不同任务之间地差别。典型地就是元学习算法。

因此单纯地定义元学习是什么是没有意义地，因为其并不是某个算法，而更像是一种框架，一种理念思想。任何算法都能够融入到这个框架中去。而不是说有一个什么样地具体对象，而提出来的方法。

元学习与深度学习的区别

传统的深度学习机器学习是在数据层面做表征，而meta-learning是在任务层面做表征。

元学习和迁移学习、领域自适应等有何关联和区别？

就分类和识别问题，元学习可以看成迁移学习地一种形式。从一些样本中学习知识，然后迁移，但是这些知识并不考虑是从小样本下学习得到地。few-shot learning在少样本的任务下，先学习先验知识，然后迁移到新的任务中去，因此与传统地迁移学习相比需要地样本会更小一点，但是本质上还是迁移学习。

目前地小样本学习都基于元学习框架下得到地各种算法，但进展并不是很好，其中主要地原因在于衡量标准，没有一把足够长的尺子来衡量算法究竟会有多好。并不像图像那样有大量前人地数据集等等，小规模数据集得到地元知识也是有限地，并且难以推广到真实场景。(未来可能会有不同类别，不同分布下地数据集用来测试算法。)

与机器学习类似，元学习所学习得到地元知识也局限所学习地数据库。

不管是few-shot learning、one-shot learning，zero-shot learning等方法说没有样本，或者很少样本，但是这并不代表说我们没有其他与这个任务不直接相关的样本，以及大量先验知识。我们是有很多地信息：

比如样本背后的知识，比如说我们没有当前任务分类的样本，但是我们可能知道当前样本的一些属性和先验知识，而这些属性和知识是可以被用到的。
对于当前任务下没有样本，但是我们可以有其它的任务下的很多样本。

而问题就在于如何去利用这些与这个任务不直接相关的知识和样本，把他们融通起来，从而迁移过来做few-shot learning的学习。

小样本是一类问题，而元学习是解决这类问题地方法。

元学习能实现类人的举一反三与触类旁通能力吗？

元学习地重要目标之一就是做举一反三、触类旁通。这与multi-task learning有很大的相通之处，核心在于提取task之间共通的地方，比如可以用编码地方式将其提取出来，然后充分利用，从而让task之间产生关联。而元学习更倾向于学习更加细致地元知识，用于更广泛的其它任务。

而现今基于深度学习的元学习算法，大部分都需要大量的task来学习元知识。但是人类举一反三并非是全部基于归纳地方式，其中还有一部分是演绎的方式。