Deep Unordered Composition Rivals Syntactic Methods for Text Classification
Abstract
很多 NLP 领域的深度学习模型集中于研究输入的组合性，这需要很大的计算量。
我们提出一种简单的深度神经网络模型，在情感分析和事实类问答任务上性能可以比肩（甚至在某些情况下还能超过）这些复杂模型，而只需要很少的训练时间。
虽然我们的模型是句法无知的，但通过增加模型的深度并且应用一种新颖的 dropout 方法，相比于之前的 bag-of-words 模型，性能获得显著提升。
在句法差异比较大的数据集上，我们的方法比基于句法的模型表现更好。
基于句法的模型与我们的模型在复杂输入上会犯相似的错误，这意味着对于我们考虑的任务而言，对输入的非线性变换似乎比定制一个可以考虑词序和句法的模型更加重要。
Introduction
为了将句向量应用于 sentence 或者 document，必须首先选择一个组合函数，其作用是将多个单词的向量表示组合为一个向量。
这种组合函数可以分为两类：
- unordered
- syntactic
Unordered 方法将输入文本看做 bags of word embeddings, syntactic 方法会考虑词序和句子结构。之前的研究表示在很多任务上后者的性能都优于前者。
然而，这里存在一个 tradeoff： syntactic 方法需要更多的计算时间，这在大数据集和计算资源受限的场景下将会显得过于代价昂贵。
我们提出一个深度无序模型，可以获得接近 SOTA 的性能并且在普通的笔记本电脑上只需几分钟的训练时间。这个模型称为 deep averaging network (DAN), 其基本原理如下：
Deep Unordered Composition Rivals Syntactic Methods for Text Classification相关推荐
- Deep Unordered Composition Rivals Syntactic Methods for Text Classification（简摘DAN模型）
Deep Unordered Composition Rivals Syntactic Methods for Text Classification(简摘) 摘要 成果 模型结构 结论 摘要 Man ...
- Text Classification Algorithms: A Survey——1. Introduction引言
"Most text classification and document categorization systems can be deconstructed into the fol ...
- 综述：基于深度学习的文本分类 --《Deep Learning Based Text Classification: A Comprehensive Review》总结(一)
文章目录 综述:基于深度学习的文本分类 <Deep Learning Based Text Classification: A Comprehensive Review>论文总结(一) 总 ...
- 文献阅读三—Deep Text Classification Can be Fooled
题目:Deep Text Classification Can be Fooled 作者:Bin Liang, Hongcheng Li, Miaoqiang Su, Pan Bian, Xirong ...
- 交通预测论文翻译：Deep Learning on Traffic Prediction: Methods,Analysis and Future Directions
原文链接:[2004.08555v3] Deep Learning on Traffic Prediction: Methods, Analysis and Future Directions (ar ...
- Deep learning for drug repurposing: methods, databases, and applications
论文地址:Deep learning for drug repurposing: Methods, databases, and application 本文是一篇利用深度学习方法和工具进行药物重定位 ...
- 【深度学习NLP论文笔记】《Deep Text Classification Can be Fooled》
Abstract 当前存在的加扰算法不能直接应用于文本上.三种对文本的加扰策略:插入(insertion).修改(modification).移除(removal).本文针对DNN文本分类器(DNN- ...
- 【论文笔记】Adversarial Multi-task Learning for Text Classification
一.概要 该文章发于ACL 2017,针对于已有的大多数神经网络多任务学习模型进行文本分类,存在的共享特征(shared features)可能再次包含特定任务特征(task-specific f ...
- TensorFlow版本的BERT微调：Fine Tune BERT for Text Classification with TensorFlow
文章目录 写在前面 Project Structure Task 2: Setup your TensorFlow and Colab Runtime. Install TensorFlow and ...
最新文章
- ReadWriteLock
- 关系运算符、逻辑 运算符与三元运算符
- py+selenium 报错NameError: name 'NoSuchElementException' is not defined【已解决】
- noclobber属性
- Oracle impdp的ignore及 fromuser / touser 功能
- mysql数据库的备份和恢复的常用方法_MySQL数据库备份与恢复方法(转)
- 算法总结之求解模线性方程组
- mysql主从北_mysql北非之主从同步
- 信号与槽是如何实现的_铺天盖地的吐槽，结果却是卖到断货？iPhone12魅力何在？...
- mysql修改7tf8mb4_更改MySQL数据库的编码为utf8mb4
- hibernate 基础方法（一）及Hibernate中java对象的三种状态
- matlab系统数学模型建立,第五章 matlabsimulink下数学模型的建立
- 漏洞分析阶段 PTES
- 教你利用 Python 计算同比、环比、定基比
- 聚合支付机构备案情况分析（截至22年1月27日）
- mysql 取分组中最新记录
- 2021年福建高考成绩排名查询,2021年福建高考成绩排名查询系统,福建高考位次排名查询...
- electron使用node-pty问题解决
- 用python画小星星
- C++ Primer笔记（十七）