CML 2020 | 显式引入对分类标签的描述，如何提高文本分类的效果？

论文链接：https://arxiv.org/pdf/2002.03067.pdf

简介

一般来说，模型越深效果越好。但是同时，模型越深也更难训练——即无法收敛到训练集上一个好的值。

今天，我们给大家介绍被 ICML2020接收的一篇文章：基于类别描述的文本分类模型。

该模型的主要思想是：通过显式地引入对分类标签的描述提高文本分类的效果。我们提出了三种方法引入这种描述：

模板法——对每个标签静态地指定一个描述；
抽取法——对每个标签在输入文本中抽取一段文字作为描述；
生成法——动态地根据输入的文本为每个标签生成一段描述。

使用这种技术，我们能够在单标签文本分类、多标签文本分类和多角度情感分析任务的10个数据集上取得显著更好的效果。

文本分类中的标签

文本分类是自然语言处理中非常重要的一项任务，它要求模型判断输入文本的类别，如情感、评分、类型等。

从分类数量上说，分为单标签分类和多标签分类，前者指每个文本只有一个标签类，后者指每个文本可以有多个标签类。

从任务类型讲，可以分为文档分类、情感分析等，前者指对整个输入文本分类（可以是单标签或多标签），后者指对文本的多种情感判断类别。

经典的文本分类方法是把待分类标签视为简单的下标。如当前的输入文本是“这个电影真好看”，需要分类的标签是{1：积极，0：消极}，模型接受文本之后，输出的是0或者1，代表分类结果。

显然，用这种分类方法，模型完全无视了“积极”和“消极”的语义，对更复杂标签，这无疑是一种“语义浪费”。我们想要把标签提供的信息利用起来。

鉴于此，我们提出在输入文本的同时，也输入对标签本身的描述，比如牛津词典对“positive”的定义（描述）是：“full of hope and confidence, or giving cause for hope and confidence”。

把这个描述和原始文本拼接在一起，送入模型，模型输出一个概率值，代表当前文本具有该标签类的可能性。如此，我们就能充分利用标签本身提供的语义。

但是如果待分类文本的标签数很多（甚至上百个标签），一个一个为他们人工构造描述也是件麻烦的事情，况且人工构造的也不一定“准确”。

为此，我们期望模型能动态地、根据输入句子的不同自动构造出一个描述来。

因而，我们又提出了两种方法：抽取文本中的一段作为描述，和使用一个语言模型从头生成一段描述。这两种方法都可以使用强化学习得以实现。

这三种方法的一个例子如下。对当前输入的文本，我们现在要去判断它是否属于“car”这个标签，而“car”的模板描述、抽取描述和生成描述分别如图所示。

这种基于标签描述的方法有以下好处：

融入了标签语义，而不仅仅是简单的下标，使得模型更好地进行分类；
可以很轻松地进行多分类，只需要一个一个判断标签即可；
得到标签描述具有一定的灵活性，不限于人工定义的标签描述。

用这种方法，我们能够在单标签分类数据集AGNews, 20news, DBPedia, Yahoo, YelpP，IMDB，多标签分类数据集Reuters，AAPD，和多方面情感分析数据集BeerAdvocate，TripAdvisor取得显著更好的效果。

CML 2020 | 显式引入对分类标签的描述，如何提高文本分类的效果？相关推荐

hssfcell判断文本类型_ICML 2020 | 显式引入对分类标签的描述，如何提高文本分类的效果？...
本文介绍的是ICML2020论文<Description Based Text Classification with Reinforcement Learning>,论文作者来自香侬科技 ...
文本基线怎样去掉_ICML 2020 | 基于类别描述的文本分类模型
论文标题: Description Based Text Classification with Reinforcement Learning 论文作者: Duo Chai, Wei Wu, Qing ...
ICML 2020 | 基于类别描述的文本分类模型
论文标题: Description Based Text Classification with Reinforcement Learning 论文作者: Duo Chai, Wei Wu, Qing ...
【NLP傻瓜式教程】手把手带你RNN文本分类(附代码)
文章来源于NewBeeNLP,作者kaiyuan 写在前面这是NLP傻瓜式教程的第二篇----基于RNN的文本分类实现(Text RNN) 参考的的论文是来自2016年复旦大学IJCAI上的发表的关 ...
AI：2020年6月22日北京智源大会演讲分享之09:40-10:10Mari 教授《基于显式上下文表征的语言处理》、10:10-10:40周明教授《多语言及多模态任务中的预训练模型》
AI:2020年6月22日北京智源大会演讲分享之09:40-10:10Mari 教授<基于显式上下文表征的语言处理>.10:10-10:40周明教授<多语言及多模态任务中的预训练模型 ...
VTK和ParaView中引入了显式结构化网格表达地质网格
Introducing Explicit Structured Grids in VTK and ParaView - Kitware Blog 1.简介新版本的vtk引入了适用于油藏角点网格模型的 ...
【生成模型】解读显式生成模型之完全可见置信网络FVBN
上一期为大家说明了什么是极大似然法,以及如何使用极大似然法搭建生成模型,本期将为大家介绍第一个显式生成模型完全可见置信网络FVBN. 作者&编辑 | 小米粥 1 完全可见置信网络在完全可见置 ...
C语言隐式/显式类型转换 | C++四种强制类型转换、类的隐式转换、explicit
文章目录 C语言类型转换隐式类型转换显式类型转换 C++ 强制类型转换 static_cast reinterpret_cast const_cast dynamic_cast 类的隐式类型转换 ...
IJCAI 2020灭霸式拒稿，AI审稿是否更公平？
来源 | 数据派 THU 编辑 | 文婧出品 | AI科技大本营(ID:rgznai100) 一.IJCAI 2020灭霸式拒稿引众怒随着AAAI 2020于2月7日作为2020年人工智能学界的第 ...

CML 2020 | 显式引入对分类标签的描述，如何提高文本分类的效果？

简介

文本分类中的标签

CML 2020 | 显式引入对分类标签的描述，如何提高文本分类的效果？相关推荐

最新文章

热门文章