大家都知道，传统的机器学习模型需要较大的训练数据才能达到好的效果。然而我们人类从小时候起，就有看少量例子学会新事物的能力。少次学习（Few-Shot Learning）正是致力于探索模型如何能快速适应新任务的一种方式。

有一类经典的少次学习设定叫做 N-Way K-Shot：给定 N 个模型从未见过的类型，每个类型给定 K 个训练样本，要求模型能够将测试样例进行 N 分类。形象地说，这种设定要求模型“现学现卖”，先看几个例子，然后在测试集上做“选择题”，判断它们到底属于新类型中的哪一类。

在 CV 领域，常用的少次学习数据集有 miniImageNet 和 Omniglot。而在 NLP 领域，清华大学的刘知远老师组去年发布了 FewRel——一个大规模的少次学习关系抽取数据集。该数据集仅发布一年便获得了多次引用，也有许多研究者以此为基础展开相关研究。

而在今年的 EMNLP 上，该团队又发布了数据集的升级版：FewRel 2.0。相关论文已经放出（https://arxiv.org/abs/1910.07124）。和 1.0 相比，FewRel 2.0 又有哪些区别呢？

两大新挑战

在 FewRel 2.0 中，作者提出了两大少次学习新挑战：跨领域和“以上都不是”（无答案问题）。作者表示，以往的少次学习模型都不能很好的解决这两大问题，虽然他们提出了两个新模型，效果得到了一定的改善，但在这两个挑战上，仍有巨大的上升空间。

▲ 一图看FewRel两大新挑战

跨领域（Cross Domain）

目前的少次学习模型，走的大多是迁移学习（Transfer Learning）路线，即先在大规模数据集上进行训练，这样在面对没有见过的新任务时，便可以利用之前训练得到的鲁棒和通用的特征，进行快速学习。因此，一个模型的迁移能力强不强，将直接决定其在少次学习任务上的表现。

然而，目前的少次学习数据集，训练集和测试集大多来自同一个领域（如 FewRel 都是来自 Wikipedia），迁移难度较低；从另一方面讲，少次学习的实际应用场景，应该是在数据容易获取的通用领域语料上训练，在标注难度较高的专业领域语料（如金融、医疗等）进行部署。因此，FewRel 2.0 提供了一个医疗领域的测试集，并评测了目前 state-of-the-art 的少次学习模型。由下图可以看出，跨领域的挑战的确严峻，模型效果大幅下降，提升空间巨大。

▲ FewRel 1.0和FewRel 2.0测试结果对比，可看出跨领域任务十分具有挑战性

以上都不是（None-of-the-above）

正如前文所述，经典的少次学习设定中，模型做的是“选择题”，而我们知道做选择题是相对简单的，只需要衡量哪个选项更靠谱就可以了。但如果选择题中加入一个新选项“以上都不是”（None of the above），整道题目就会变的难很多。同理，在少次学习中，模型只需要比较测试集和给定新类型的训练集，哪个比较像选哪个，就能获得较高的表现，这其实不符合我们对少次学习任务的要求和预期。因此在 FewRel 2.0 中，作者新加入了“以上都不是”这一设定，测试集中的样本有一定概率不属于任何一个给定的新类别。

由下图可以看出，随着 NOTA Rate（即“以上都不是”的概率）的升高，旧模型的表现会越来越差，而作者提出的新模型 BERT-PAIR，在经过针对性的训练后，可以一直保持较高的水平。

关于作者

数据集的三位主要作者——高天宇（https://gaotianyu.xyz/about/）、韩旭（https://thucsthanxu13.github.io/）和朱昊（http://www.zhuhao.me/）均来自孙茂松教授领导的清华大学自然语言处理实验室，由刘知远老师具体指导。

其中，高天宇是大四的本科生，韩旭是三年级的博士生，朱昊目前已前往 CMU 就读博士学位，师从 Graham Neubig 和 Yonatan Bisk。三人均在 NLP/ML 相关领域国际会议上发表多篇论文，在开源社区也都十分活跃。想要了解更多信息，可以查看他们的个人主页和项目 Github 页面。

PaperWeekly携手图灵教育

送出5本PyTorch入门宝典

从零到一，真正实现 PyTorch 深度学习入门。本书浅显易懂，图文并貌地讲解了深度学习的基础知识，从如何挑选硬件到神经网络的初步搭建，再到实现图片识别、文本翻译、强化学习、生成对抗网络等多个目前最流行的深度学习应用。书中基于目前流行的 PyTorch 框架，运用 Python 语言实现了各种深度学习的应用程序，让理论和实践紧密结合。

如何参与

长按识别下方小程序码

即可参与本次抽奖

开奖时间：11月8日 14:00

FewRel 2.0数据集：以近知远，以一知万，少次学习新挑战相关推荐

悟道·文汇详解：少样本学习等近十个数据集取得第一
智源导读:预训练模型如今已经成为深度学习研究中的一种主流范式,智源研究院认为「深度学习已经从『大炼模型』步入到『练大模型』的阶段」.基于此种考虑,由智源研究院牵头,汇聚清华.北大.中科院.人大等高校院 ...
AI和工业4.0之间，还有多远的差距？
本文为 AI 研习社编译的技术博客,原标题 : Spanning the reality gap between AI and Industry 4.0 作者 | Philip Montsho 翻译 ...
实现光晕效果_马自达6车灯升级激光四透镜实现四近四远光
汽车前照明大灯升级案例车型:马自达6 灯泡色温:5600K 透镜案例:米石激光 TMF激光原车灯泡型号:H1 H1 雾灯:H3 原车瓦数:80-100W 升级方式:支架安装方式:有密封胶性质: ...
如何按距离排序 php,php做附近的人，根据距离由近到远进行排序
用户登陆的时候会获取到该用户的经纬度,数据库中存有所有用户的经纬度,如何进行由近到远进行排序,并算出距离可以考虑用GeoHASH实现,效率更高,参考这篇http://www.cnblogs.com/ ...
伯克利AI实验室最新发文：公布用于机器人抓取的Dexterity Network (Dex-Net) 2.0数据集...
雷锋网AI科技评论按:伯克利AI实验室最新发文公布了用于机器人抓取的Dexterity Network (Dex-Net) 2.0数据集,这些数据集可以用来训练根据实际机器人的点云做抓取规划的神经网络 ...
2021高考成绩查询镇远一中,离太阳由近到远的八大行星排序及记忆方法
八大行星按照离太阳的距离从近到远,它们依次为水星.金星.地球.火星.木星.土星.天王星.海王星. 更多高考资讯尽在30高考网https://www.30gk.com/ 八大行星的排序 1.水星:在太阳 ...
css 实现文字3D旋转近清晰远模糊
3D旋转:父元素设置透距perspective:160vmin,子元素设置3D模式transform-style: preserve-3d 近清晰远模糊:通过filter:blur实现模糊,filte ...
HTAP数据库 PostgreSQL 场景与性能测试之 6 - (OLTP) 空间应用 - KNN查询（搜索附近对象，由近到远排序输出）...
标签 PostgreSQL , HTAP , OLTP , OLAP , 场景与性能测试背景 PostgreSQL是一个历史悠久的数据库,历史可以追溯到1973年,最早由2014计算机图灵奖得主,关 ...
AI，你究竟离我们是近还是远？
关注云报洞察深一度有人说,情诗很近,但仓央嘉措很远.因为能写情诗的人很多,但像仓央嘉措那样将情感描写得如此细腻真挚动人的很少. 也有人说,AI(人工智能)很近,但应用很远.因为AI的产品虽然五花八 ...

FewRel 2.0数据集：以近知远，以一知万，少次学习新挑战

两大新挑战

更多信息

关于作者

FewRel 2.0数据集：以近知远，以一知万，少次学习新挑战相关推荐

最新文章

热门文章