文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

附注

这篇文章中在最终提到模型的时候使用了一个 “知识蒸馏” 的点，这点需要注意。如果不懂的话，请参考知识蒸馏基本原理

其实，这里的知识蒸馏主要是在预训练模型的Fine-tuning中应用的较多，首先是使用一个大于1的T来学习预训练模型得到的一个有关数据之间的软分布，同时加上自己的一定真是数据，这样可以使得我们的模型具有较好的泛化能力。

接着是在我们进行预测的时候将T的温度降下来，使得输出一个正常的分布。

文章主要思想

首先对于这篇文献主要解决的问题是few-shot文本分类问题，同时在文中也是提到了文中提到的方法加以改进亦可以做到zero-shot方面的文本分类问题上来。

Few-shot上面存在的问题有：

首先，few-shot的数据集中带有标签的数据量很少，这种情况有可能导致，我我们在进行模型的预训练的时候很难从这些少量的实例中提取到有用的信息。

因此，文中针对于解决few-shot的文本分类问题提出了它的解决方案。

文中提到的算法有两个名称分别是PET和iPET，很明显可以看出来iPET是PET模型的改进版。也就是使用的迭代的方式来解决了PET方法中遗留下来的问题。

这里先论述base method——PET方法。
这种方法使用的大致思想是，首先使用few-shot数据集中仅存的少量带标签的数据对MLM模型进行Fine-tuning，然后可以得到一个集成的语言模型&

文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference相关推荐

【提示学习】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文信息名称内容论文标题 Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inf ...
论文解读：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文解读:Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 随着 ...
【论文分享】PET：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文链接:https://arxiv.org/pdf/2001.07676.pdf 时间:2021年1月特点:多模板目录背景模型 PVP定义组合PVP P: V: 结构实验背景在小样本 ...
Exploiting Cloze Questions for Few Shot Text Classification and NaturalLanguage Inference翻译
Abstract 一些NLP任务可以以完全无监督的方式解决,方法是用自然语言提供预先训练过的带有"任务描述"的语言模型(例如,Radford等人,2019).虽然这种方法的性能不如 ...
论文解读: Exploiting Cloze Questions for Few Shot Text Classiﬁcation and Natural Language Inference
前言:在自然语言研究领域,某些自然语言处理任务可以利用"预训练模型+任务描述"方式的无监督学习来解决.然而,已有的"预训练模型+任务描述"的无监督学习方法不如有 ...
深度学习文本分类文献综述（翻译自Deep Learning Based Text Classification: A Comprehensive Review）
深度学习文本分类文献综述摘要介绍 1. 文本分类任务 2．文本分类中的深度模型 2.1 Feed-Forward Neural Networks 2.2 RNN-Based Models 2.3 ...
论文阅读笔记：Graph Convolutional Networks for Text Classification
Abstract 文本分类作为一个经典的自然语言处理任务,已经有很多利用卷积神经网络进行文本分类的研究,但是利用图卷积神经网络进行研究的仍然较少. 本文基于单词共现和文档单词间的关系构建一个text ...
Natural Language Inference Over Interaction Space(DIIN)阅读笔记
文章目录 Introduction Model Interactive Inference Network(IIN) Densely Interactive Inference Network(DII ...
文献阅读笔记 # Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
<Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks> 用于快速搭建NLP任务的demo的开源项目sbert的原始 ...

文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

附注

文章主要思想

文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference相关推荐

最新文章

热门文章