Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
代码
Pattern-Exploiting Training (PET)模式开发训练，一种半监督训练程序，将输入示例重新表述为完形填空式短语，以帮助语言模型理解给定任务。然后使用这些短语将软标签分配给大量未标记的样本。
这个笔记挺好的

介绍

由于大量的语言、领域和任务以及注释数据的成本，在 NLP 的实际使用中通常只有少量标记的示例，这使得小样本学习成为一个非常重要的研究领域.
PET 分三个步骤工作：
1.对于每个模式，一个单独的预训练语言在一个小的训练集 T 上进行微调。
2.使用所有模型的集合来注释一个带有软标签的大型未标记数据集 D。
3.最后，在软标记数据集上训练标准分类器。
iPET，这是 PET 的一种迭代变体，随着训练集大小的增加，这个过程会不断重复。在多种语言的各种任务中，我们表明，给定少量到中等数量的标记示例，PET 和 iPET 大大优于无监督方法、监督训练和强大的半监督基线

模型

核心是这个pattern-verbalizer pair (PVP).模式-语言器对
M 是一个掩码语言模型 (MLM)
T 是它的词汇表
- ∈ T 是掩码标记
将语言器定义为一个单射函数 v : L→V，它将每个标签映射到 M 词汇表中的一个单词。
(P,v)定义成PVP
PET 的核心思想是从 v(y) 是 P(x) 中被掩蔽位置的“正确”标记的概率推导出 y 作为 x 的正确输出的概率。

z 表示完形填空格式的输入记录，由至少 k 个掩码组成。对于任务词汇表中的每个标记 t，掩蔽语言模型 M 分配给输入记录 z 中第 k 个掩蔽位置处的标记的概率由 q_k_M(t|z) 给出。对应于 M 的 logit（指数函数）由 s_k_M(t|z) 给出

我们使用 qp(l | x) 和训练样本 (x,l) 的真实分布（one-hot）之间的交叉熵，对所有 (x,l) ∈ T 求和，同时作为 p 微调 M 的损失值。

PET ( Pattern-Exploiting Training ) 模式开发训练的工作原理：
输入 x = (x1, x2) 转换为完形填空题 P(x)；x 是一个问题和一个答案，分为一个问题 x1、一个掩码和一个答案 x2。语言器输出需要预测掩码位置 v(y) 中的标记。根据预测的token值，将推断输出（y）。y 有两种选择：包含和不包含（“not_entailment”）。每个 y 的 q_p(y | x) 是从 v(y) 作为掩蔽位置的合理选择的概率得出的。具有最高概率的 y 值将分配给输入 x。

Iterative PET (iPET) 迭代Pet
通过使用训练过的 PET 模型的随机子集标记从 D 中选择的示例来扩大原始数据集 T。然后扩大的数据集上训练新一代的 PET 模型，重复这个过程。

总结

训练数据少，PET 有效！有助于利用预训练语言模型中包含的知识来完成下游任务
其实没太懂

Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference相关推荐

论文解读：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文解读:Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 随着 ...
【提示学习】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文信息名称内容论文标题 Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inf ...
【论文分享】PET：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文链接:https://arxiv.org/pdf/2001.07676.pdf 时间:2021年1月特点:多模板目录背景模型 PVP定义组合PVP P: V: 结构实验背景在小样本 ...
文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
附注这篇文章中在最终提到模型的时候使用了一个 "知识蒸馏" 的点,这点需要注意.如果不懂的话,请参考知识蒸馏基本原理其实,这里的知识蒸馏主要是在预训练模型的Fine-tunin ...
Exploiting Cloze Questions for Few Shot Text Classification and NaturalLanguage Inference翻译
Abstract 一些NLP任务可以以完全无监督的方式解决,方法是用自然语言提供预先训练过的带有"任务描述"的语言模型(例如,Radford等人,2019).虽然这种方法的性能不如 ...
论文解读: Exploiting Cloze Questions for Few Shot Text Classiﬁcation and Natural Language Inference
前言:在自然语言研究领域,某些自然语言处理任务可以利用"预训练模型+任务描述"方式的无监督学习来解决.然而,已有的"预训练模型+任务描述"的无监督学习方法不如有 ...
综述：基于深度学习的文本分类 --《Deep Learning Based Text Classification: A Comprehensive Review》总结(一)
文章目录综述:基于深度学习的文本分类 <Deep Learning Based Text Classification: A Comprehensive Review>论文总结(一) 总 ...
Lecture 4 Text Classification
目录 Classification 分类 Text Classification Tasks 文本分类任务 Topic Classification 主题分类 Sentiment Analysis 情 ...
小样本学习记录————文本中特征空间的数据增强MEDA： Meta-Learning with Data Augmentation for Few-Shot Text Classification
MEDA: Meta-Learning with Data Augmentation for Few-Shot Text Classification 出发点数据增强球合成器合成模块Synthe ...
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
1 标题+作者 KPT,将知识引入Prompt Verbalizer 处理文本分类任务,清华大学 2 摘要在低数据场景下,Prompt-tuning(PT)比fine-tuning(FT)效果好,P ...

Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

介绍

模型

总结

Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference相关推荐

最新文章

热门文章