·阅读摘要：
本文在Transformer模型的基础上，提出改进方案，把Transformer里面的自注意力机制，改成CNN。
·参考文献：
[1] ACT: an Attentive Convolutional Transformer for Efficient Text Classification

【注】：众所周知，Transformer是超越RNN、CNN的模型，Transformer中最有新意的就是不使用RNN、CNN，而使用自注意力机制，从而使得Transformer模型表现卓越。
而本文提出的ACT模型就是把Transformer中的自注意力机制替换成CNN，我觉得这篇论文是否有意义，其实应该和Transformer的作者battle一下，哈哈。

[1] ACT模型

先看一下Transformer模型：

再看ACT模型：

所以说，ACT模型只是把Transformer的Scaled Dot-Product Attention模块换成了attentive convolution mechanism。

对于attentive convolution mechanism模块，主要就是CNN加了一个Global feature representation。

【注】：说白了就是普通的CNN是卷积–>池化；而论文提出的CNN是卷积+池化，其中卷积部分称为提取局部信息，池化部分称为提取全局信息。

【文本分类】ACT: an Attentive Convolutional Transformer for Efficient Text Classification相关推荐

【文本分类】Deep Pyramid Convolutional Neural Networks for Text Categorization
·阅读摘要: 本文提出了DPCNN(深度金字塔CNN)模型.在transformer.bert还没兴起的年代,模型越深效果越好,但是模型的复杂度会随着深度提升.粗略地说,DPCNN就是为了解决CN ...
【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification
·阅读摘要: 本文在<Improved Neural Network-based Multi-label Classification with Better Initialization ...
【文本分类】Recurrent Convolutional Neural Networks for Text Classification
·摘要: 从模型的角度,本文作者将RNN(Bi-LSTM)和max_pooling结合使用,提出RCNN模型,应用到了NLP的文本分类任务中,提高了分类精度. ·参考文献: [1] Recur ...
【2020-COLING】Regularized Graph Convolutional Networks for Short Text Classification 用于短文本分类的正则化图卷积网络
文章目录摘要 1 引言 2 提出的方法 3 图构建 3.1 产品查询分类PQC 3.2 4 实验和结果 5 结论论文题目:Regularized Graph Convolutional Netwo ...
Recurrent Convolutional Neural Networks for Text Classification(中文版)
文章目录用于文本分类的递归卷积神经网络摘要介绍相关工作文本分类深度神经网络模型词表示学习文本表示学习训练训练网络参数预训练单词嵌入实验数据集 20Newsgroups 复旦 ...
自然语言处理NLP文本分类顶会论文阅读笔记（一）
笔记目录关于Transformer 小样本学习 BERT: Pre-training of Deep Bidirectional Transformers for Language Understa ...
文本分类模型(一)——RCNN
文本分类模型(一) RCNN 文章目录文本分类模型(一) RCNN 一.概述二.背景三.RCNN原理 3.1 模型结构 3.2 前向传播 1)Word Representation Learni ...
python中文文本分析_基于CNN的中文文本分类算法（可应用于垃圾邮件过滤、情感分析等场景）...
基于cnn的中文文本分类算法简介参考IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW实现的一个简单的卷积神经网络,用于中文文本分类任 ...
综述：基于深度学习的文本分类 --《Deep Learning Based Text Classification: A Comprehensive Review》总结(一)
文章目录综述:基于深度学习的文本分类 <Deep Learning Based Text Classification: A Comprehensive Review>论文总结(一) 总 ...

【文本分类】ACT: an Attentive Convolutional Transformer for Efficient Text Classification

[1] ACT模型

【文本分类】ACT: an Attentive Convolutional Transformer for Efficient Text Classification相关推荐

最新文章

热门文章