点击上方“AI遇见机器学习”，选择“星标”公众号

重磅干货，第一时间送达

来源：机器之心

再次编辑：夕小瑶的卖萌屋

什么是小样本学习？它与弱监督学习等问题有何差异？其核心问题是什么？来自港科大和第四范式的这篇综述论文提供了解答。

数据是机器学习领域的重要资源，在数据缺少的情况下如何训练模型呢？小样本学习是其中一个解决方案。来自香港科技大学和第四范式的研究人员综述了该领域的研究发展，并提出了未来的研究方向。

这篇综述论文已被 ACM Computing Surveys 接收，作者还建立了 GitHub repo，用于更新该领域的发展。

  • 论文地址：https://arxiv.org/pdf/1904.05046.pdf

  • GitHub 地址：https://github.com/tata1661/FewShotPapers

机器学习在数据密集型应用中取得了很大成功，但在面临小数据集的情况下往往捉襟见肘。近期出现的小样本学习（Few-Shot Learning，FSL）方法旨在解决该问题。FSL 利用先验知识，能够快速泛化至仅包含少量具备监督信息的样本的新任务中。

这篇论文对 FSL 方法进行了综述。首先，该论文给出了 FSL 的正式定义，并厘清了它与相关机器学习问题（弱监督学习、不平衡学习、迁移学习和元学习）的关联和差异。然后指出 FSL 的核心问题，即经验风险最小化方法不可靠。

基于各个方法利用先验知识处理核心问题的方式，该研究将 FSL 方法分为三大类：

  • 数据：利用先验知识增强监督信号；

  • 模型：利用先验知识缩小假设空间的大小；

  • 算法：利用先验知识更改给定假设空间中对最优假设的搜索。

最后，这篇文章提出了 FSL 的未来研究方向：FSL 问题设置、技术、应用和理论。

论文概览

该综述论文所覆盖的主题见下图：

我们选取介绍了该综述论文中的部分内容，详情参见原论文。

什么是小样本学习

FSL 是机器学习的子领域。

我们先来看机器学习的定义：

计算机程序基于与任务 T 相关的经验 E 学习，并得到性能改进（性能度量指标为 P）。

基于此，该研究将 FSL 定义为：

小样本学习是一类机器学习问题，其经验 E 中仅包含有限数量的监督信息。

下图对比了具备充足训练样本和少量训练样本的学习算法：

FSL方法分类

根据先验知识的利用方式，FSL方法可分为三类：

FSL 方法解决少样本问题的不同角度。

基于此，该研究将现有的 FSL 方法纳入此框架，得到如下分类体系：

数据

此类 FSL 方法利用先验知识增强数据 D_train，从而扩充监督信息，利用充足数据来实现可靠的经验风险最小化。

如上图所示，根据增强数据的来源，这类 FSL 方法可分为以下三个类别：

模型

基于所用先验知识的类型，这类方法可分为如下四个类别：

算法

根据先验知识对搜索策略的影响，此类方法可分为三个类别：

文章最后从问题设置、技术、应用和理论四个层面探讨了小样本学习领域的未来发展方向。

欢迎关注我们，看通俗干货！

【小样本学习】什么是小样本学习？这篇综述文章用166篇参考文献告诉你答案...相关推荐

  1. 什么是小样本学习？这篇综述文章用166篇参考文献告诉你答案

    一只小狐狸带你解锁 炼丹术&NLP 秘籍 来源:机器之心 什么是小样本学习?它与弱监督学习等问题有何差异?其核心问题是什么?来自港科大和第四范式的这篇综述论文提供了解答. 数据是机器学习领域的 ...

  2. 华南农业大学在Annual Review of Microbiology发表三篇综述文章

    华南农业大学群体微生物研究中心科研人员应国际权威微生物综述期刊Annual Review of Microbiology的邀请,分别于2019年6月21日和7月5日在线发表了三篇综述文章,分别总结了细 ...

  3. Multi-Task Learning的几篇综述文章

    点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 来自 | 知乎 地址 | https://zhuanlan.zhihu.com/p/1 ...

  4. Fine-tune之后的NLP新范式：Prompt越来越火，CMU华人博士后出了篇综述文章

    视学算法报道 机器之心编辑部 CMU 博士后研究员刘鹏飞:近代自然语言处理技术发展的第四范式可能是预训练语言模型加持下的 Prompt Learning. 近几年,NLP 技术发展迅猛,特别是 BER ...

  5. 论文 | 《深度学习系统的隐私与安全》综述论文，187篇文献总结

    点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟  报道  | 公众号 CVLianMeng 转载于 :专知 [人工智能资源(书籍 ...

  6. 一篇综述带你全面了解迁移学习的领域泛化(Domain Generalization)

    领域泛化 (Domain Generalization, DG) 是近几年非常热门的一个研究方向.它研究的问题是从若干个具有不同数据分布的数据集(领域)中学习一个泛化能力强的模型,以便在 未知 (Un ...

  7. 清华张长水等人30页少样本学习综述论文，涵盖400+参考文献

    来源:机器之心 本文长度为2000字,建议阅读5分钟 这篇综述文章回顾了少样本学习(FSL)的演进历史和当前进展,对 FSL 方法进行了层次分类,并总结了近期多个 FSL 扩展性主题及其最新进展,介绍 ...

  8. 【深度学习】入门深度学习，看三位顶级大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton的综述

    [编者按]深度学习领域的三位大牛Yann LeCun.Yoshua Bengio和Geoffrey Hinton无人不知无人不晓.此前,为纪念人工智能提出60周年,Yann LeCun.Yoshua ...

  9. 怒写400篇AI文章！这群妹子卷疯了…

    今天这篇文章不谈技术,给大家分享一些干货!首先来聊聊一个AI圈子里画风清奇的公众号 夕小瑶的卖萌屋.公号的作者中不仅妹子居多,颜值能打,而且喜欢将学术研究和大厂业务上线中的收获与读者分享. 卖萌屋的作 ...

最新文章

  1. Java开发微信之菜单不显示
  2. mysql 5.7 学习
  3. fedora 16 mysql远程连接
  4. MySQL中事物的详解
  5. leetcode1314. 矩阵区域和（动态规划）
  6. js将object转化为json数据，json数据转js对象
  7. eigrp hello报文格式
  8. SQL面试题（16 - 25）oracle写的
  9. Linux/Windows 文件交互读取转义字符变换
  10. map转list对象方法，通过stream或者iterator.key集合转list，values集合转list
  11. 2017年mysql考试时间_2017年计算机二级考试时间是哪一天
  12. oracle 生成拼音输入码,c# 生成拼音输入码
  13. 设计模式：个人理解关于代理和委托模式的一点区别
  14. 无线桥接dns服务器未响应,小米路由器AX3600恢复出厂设置的方法
  15. python报时功能_Python(PyS60)做的简单语音整点报时的实现 | 学步园
  16. labwindows的学习资料、方法、安装包
  17. U-Boot中ubi和ubifs命令的使用
  18. 《查拉图斯特拉如是说》读书笔记
  19. php choose handler,Guzzle 源码分析
  20. java虚拟机学习笔记

热门文章

  1. android开发中用到的px、dp、sp
  2. CAP in tns
  3. 第一款支持容器和云部署的开源数据库Neo4j 3.0
  4. Asp.Net页面输出到EXCEL
  5. php请求来源,如何用PHP获取请求的来源？
  6. avs php,【求助！】小白求个标准反交错AVS脚本和解答困扰我的几个问题！！
  7. 正则表达式 – 语法
  8. 什么是 JVM方法区
  9. 声明式服务调用feign原理图解
  10. numpy.hstack(a,b) 按列方向扩展 与 numpy.vstack(a,b) 按行方向扩展 其中n*1 数组可以写成 举例 np.array([[1],[2],[3]])