转自：专知【https://www.zhuanzhi.ai/】

【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类，基于先验知识等，只基于少量的样本就可以进行学习。本文介绍41页小样本学习综述《Few-shot Learning: A Survey》，包含146篇参考文献，来自第四范式和香港科技大学习的研究学者。

论文地址：

Few-shot Learning: A Survey​www.zhuanzhi.ai

目录：

• 摘要
• 简介
• 概览
  • 符号
  • 问题定义
  • 相关的学习问题
  • 核心问题
  • 分类
• 数据
  • 利用变换来复制增强数据集
  • 从别的数据集引入数据
  • 总结
• 模型
  • 多任务学习
  • 嵌入学习
  • 额外记忆学习
  • 生成模型
  • 总结
• 算法
  • 改善已有参数
  • 改善Meta-learned
  • 学习搜索步骤
  • 总结
• 未来工作
  • 问题设置
  • 技术
  • 应用
  • 理论
• 总结

【摘要】“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功，但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题，我们必须求助于机器学习，它支持人工智能的科学研究。特别地，在这种情况下，有一个机器学习问题称为小样本学习(Few-Shot Learning，FSL)。该方法利用先验知识，可以快速地推广到有限监督经验的新任务中，通过推广和类比，模拟人类从少数例子中获取知识的能力。它被视为真正人工智能，是一种减少繁重的数据收集和计算成本高昂的培训的方法，也是罕见案例学习有效方式。随着FSL研究的广泛开展，我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题，将问题从“如何解决FSL”转变为“如何处理核心问题”。因此，从FSL诞生到最近发表的作品都被归为一个统一的类别，并对不同类别的优缺点进行了深入的讨论。最后，我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向，希望为初学者和有经验的研究者提供一些见解。

小样本学习方法体系：

• 我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括，包括所有现有的FSL -shot Learning: A Survey problems，而且足够具体，明确了什么是FSL的目标，以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。
• 指出了基于误差分解的FSL在机器学习中的核心问题。我们发现，正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是，这为更有组织和系统地改进FSL方法提供了见解。
• 我们对从FSL诞生到最近发表的文献进行了广泛的回顾，并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。
• 我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处，并有可能在未来进行探索。我们希望这部分能够提供一些见解，为解决FSL问题做出贡献，为真正的AI而努力。
• 与已有的关于小样本概念学习和经验学习的FSL相关调相比，我们给出了什么是FSL，为什么FSL很难，以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊，总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别

元学习设置：

监督机器学习中常见设置与少样本设置的比较

基于嵌入学习的小样本学习方法

学习FSL问题的搜索步骤