FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks
本文发表于EMNLP2020。
本文提出了一个基于卷积模型的蒸馏方法，实现了一个轻量级的、快速的半监督文本分类框架FLiText，相比于Bert等大规模预训练模型，蒸馏模型更具备实际应用价值。
Method
模型总体的框架如下，大致分为激励网络和目标网络两部分：
激励器网络ÿ
FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks相关推荐
- Bag of Tricks for Efficient Text Classification论文阅读及实战
本文目录 一.Fasttext算法综述 二.原理介绍及优化策略 三.Fasttext算法实战(注:以下代码仅在Linux系统下使用!) 四.参考资料 本文目录(仅做浏览用,暂时不支持页面内跳转) 一. ...
- 论文解读：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文解读:Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 随着 ...
- 综述：基于深度学习的文本分类 --《Deep Learning Based Text Classification: A Comprehensive Review》总结(一)
文章目录 综述:基于深度学习的文本分类 <Deep Learning Based Text Classification: A Comprehensive Review>论文总结(一) 总 ...
- 【提示学习】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文信息 名称 内容 论文标题 Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inf ...
- 《Universal Language Model Fine-tuning for Text Classification》论文笔记
摘要 基于Pretrain-Finetune与语言模型的优点,作者提出 ULMFiT 迁移学习方法,降低深度学习模型对标注数据集的依赖, 以及提升模型表现. ULMFiT 包含三个主要步骤, 第一,在 ...
- 【多标签文本分类】Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification
·阅读摘要: 在本文中,作者基于Seq2Seq模型,提出多级膨胀卷积.混合注意力机制两点来加以改进,应用于多标签文本分类,提高了效果. ·参考文献: [1] Semantic-Unit-Bas ...
- 【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification
·阅读摘要: 本文在<Improved Neural Network-based Multi-label Classification with Better Initialization ...
- 【多标签文本分类】Large Scale Multi-label Text Classification with Semantic Word Vectors
·阅读摘要: 本文提出了利用词向量+CNN/词向量+GRU来解决大规模数据下的多标签文本分类问题. [1] Large Scale Multi-label Text Classificatio ...
- 【文本分类】Recurrent Convolutional Neural Networks for Text Classification
·摘要: 从模型的角度,本文作者将RNN(Bi-LSTM)和max_pooling结合使用,提出RCNN模型,应用到了NLP的文本分类任务中,提高了分类精度. ·参考文献: [1] Recur ...
最新文章
- 张一鸣：10年面试2000人，我发现混得好的人，全都有同一个特质
- OceanBase技术直播间开播啦！蚂蚁金服技术专家手把手教你搭建OB数据库～
- InnoDB多版本控制实现
- 计算机存储的大小端模式解析
- 数学建模-预测模型总结(适用范围、优缺点)【灰色预测模型、插值与拟合、时间序列预测法、马尔科夫预测、差分方程、微分方程模型、神经元网络】
- 微型计算机kong控制技术,AT89C2051单片机在步进电机控制中的应用
- VS2013中修改.dll工程项目的.lib和.dll的输出路径
- C++socket编程（一）：绪论
- ubuntu18.04窗口截图和选区截图快捷键
- Laplace锐化算子和LOG算子
- C语言中do while用法
- linux流量监控php_linux下的几个网络流量监控工具使用的图文教程
- Android之流行框架
- python（应用）中文输出拼音
- 显卡1060和1660测试对比
- 霍尔电流传感器在UPS蓄电池浮充电流远程监测方案的应用
- UGUI内核大探究（十八）Raycaster
- vue3.0项目 npm run build 编译
- 蜂鸟E203学习笔记（二）--蜂鸟E203总体框架
- 采样与保持实验报告计算机控制,计算机控制技术实验--模拟信号采样与保持文库 .doc...