ACL2021 Findings | 挖掘label的语义来增强few-shot问题

每天给你送来NLP技术干货！

作者：Gordon Lee （知乎）

paper：Don’t Miss the Labels: Label-semantic Augmented Meta-Learner for Few-Shot Text Classification

录取：ACL2021 Findings

重新编辑：zenRRan

这篇主要核心是挖掘class的语义，把class加到输入上面，去引导样本的特征表示。尤其是样本很少的情况下，样本很难学习到明确的class语义，容易对一些细粒度的类别（比如意图）产生混淆：比如两句话：北京有什么好玩的地方？告诉我去上海的旅行消息。其实这两个的细粒度意图是不一样的，前者是旅行建议，后者是旅行消息。但是没给class label的时候，模型可能会以为都表达的旅行目的地。

做法很简单，当然作者也探索了很多方式（如何提取支持集的样本特征，如何提取查询集的样本特征，用哪种网络，原型？匹配？关系？）：一种好的实践，对于support set，将相应的class name加到输入，然后取cls位的特征，对于查询集，保持原样，不加任何的class name，取cls位的特征，然后用原型网络的做法。

几个发现：样本越多，与类别相关的文本模式就越明显。但是，这可能取决于数据。一般来说，如果类之间的差异更细微，即细粒度的类，可能需要更多的样本，因此类名/定义的指导将更有益。最好不要引入随机化的参数，就像那个iclr那篇说的，适合这个类别的参数并不一定适合新类别，新领域的任务。怎么去提取样本的特征（要不要append，取哪个位置的特征）和数据集以及网络有关系，可以实验试试。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！

ACL2021 Findings | 挖掘label的语义来增强few-shot问题相关推荐

unet图片数据增强_numpy实现深度学习遥感图像语义分割数据增强(支持多波段)
前言数据增强是指对训练样本数据进行某种变换操作,从而生成新数据的过程.数据增强的根本目的是得到充足的样本数据量,避免模型训练过程中产生过拟合现象. 正文对于遥感影像来说,由于成像过程传感器对同一地 ...
【语义分割】数据增强方法（原图与标签同时扩增）
增强方式介绍参考链接: [技术综述] 一文道尽深度学习中的数据增强方法(上) 方式1:使用Augmentor模块参考链接: DataAugment:同时对image和mask进行变换语义分割图 ...
用于半监督语义分割的基于掩码的数据增强
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达小白导读论文是学术研究的精华和未来发展的明灯.小白决心每天为大家 ...
粒度语义感知表示增强的自监督单目深度估计 Fine-grained Semantics-aware Representation Enhancement
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimati ...
基于MindSpore复现Deeplabv3—语义分割
基于MindSpore复现Deeplabv3-语义分割实验介绍本实验主要介绍使用MindSpore深度学习框架在PASCAL VOC2012数据集上训练Deeplabv3网络模型.本实验使用了Mi ...
CALMS：多语言摘要中的信息抽取与共享 | ACL 2021 Findings
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者 | 王丹青编辑 | 陈大鑫在快节奏的生活中,人们往往没有耐 ...
【NLP】哈工大｜NLP数据增强方法？我有15种
十一假期过的太快了,不知道你们缓过来没有,没有的话今天我们就来一起读一篇综述缓缓,弥补假期没学习的遗憾. 这篇40多页的综述出自哈工大车万翔老师的团队,一共总结了15种NLP可以用到的数据增强方法.优 ...
哈工大｜NLP数据增强方法？我有15种
文 | rumor 源 | 李rumor 卷友们好,我是rumor. 十一假期过的太快了,不知道你们缓过来没有,没有的话今天我们就来一起读一篇综述缓缓,弥补假期没学习的遗憾. 这篇40多页的综述出自哈 ...
论文笔记--跨媒体语义共享子空间学习理论与方法研究-2015
论文信息: 博士论文-跨媒体语义共享子空间学习理论与方法研究-2015-北京交通大学-张磊文末部分参考文献附有论文下载链接,包括与本论文相关的论文下载地址论文标题:跨媒体语义共享子空间学习理论与方 ...
图卷积在语义分割上的应用（论文集）
文章目录 2018 Graph-Based Global Reasoning Networks 2019 Graph-FCN for image semantic segmentation Dual ...

ACL2021 Findings | 挖掘label的语义来增强few-shot问题

ACL2021 Findings | 挖掘label的语义来增强few-shot问题相关推荐

最新文章

热门文章