每天给你送来NLP技术干货！

来自：NLP工作站

作者：刘聪NLP

前两天刷arXiv时，刷到了一篇蛮有意思的论文，今天跟大家分享一下。论文来自EMNLP2021，论文全称为AEDA：AnEasier Data Augmentation Technique for Text Classification，即一种更简单的文本分类数据增强技术。

论文地址：https://arxiv.org/pdf/2108.13230.pdf

代码地址：https://github.com/akkarimi/aeda_nlp

在人工智能领域，为了使模型具有更好地泛化能力，一般需要更多更全面的训练数据集；而往往真实情况，在工业界获取大量标注数据是不现实的；这时，数据增强技术就尤为关键。

2019年的EDA（Easy Data Augmentation Techniques for Boosting Performance on TextClassification Tasks）论文发表于ICLR 2019，提出了四种简单的数据增强操作，包括：同义词替换（通过同义词表将句子中的词语进行同义词替换）、随机交换（随机交换句子的两个词语，改变语序）、随机插入（在原始句子中随机插入，句子中某一个词的同义词）和随机删除（随机删除句子中的词语）。

目前，也有一些其他的数据增强方法，例如：同义词替换不使用词表，而是使用词向量或者预训练语言模型；通过在在文本中插入一些符合或者词语，来增加噪声；将句子通过翻译器翻译成另外一种语言再翻译回来的回译手段等。

AEDA Augmentation

该论文所提出的AEDA方法，主要是在原始文本中随机插入一些标点符号，属于增加噪声的一种，主要与EDA论文对标，突出“简单”二字。注意：该方法仅适用于文本分类任务。

Q：插入多少标点符号？

A：从1到三分之一句子长度中，随机选择一个数，作为插入标点符号的个数。

Q：为什么是1到三分之一句长？

A：作者表示，即想每个句子中有标点符号插入，增加句子的复杂性；又不想加入太多标点符号，过于干扰句子的语义信息，并且太多噪声对模型可能有负面影响。

Q：句子插入标点符号的位置如何选取？

A：随机插入。

Q：标点符号共包含哪些？

A：主要有6种，“.”、“;”、“?”、“:”、“!”、“,”。

Q：AEDA比EDA效果好的理论基础是什么？

A：作者认为，EDA方法，如论是同义词替换，还是随机替换、随机插入、随机删除，都改变了原始文本的序列信息；而AEDA方法，只是插入标点符号，对于原始数据的序列信息修改不明显。个人理解，通过词语修改的方法，与原始语义改变可以更加负面；而仅插入一些标点符号，虽然增加了噪声，但是原始文本的语序并没有改变。

代码如下：

PUNCTUATIONS = ['.', ',', '!', '?', ';', ':']
PUNC_RATIO = 0.3def insert_punctuation_marks(sentence, punc_ratio=PUNC_RATIO):words = sentence.split(' ')new_line = []q = random.randint(1, int(punc_ratio * len(words) + 1))qs = random.sample(range(0, len(words)), q)for j, word in enumerate(words):if j in qs:new_line.append(PUNCTUATIONS[random.randint(0, len(PUNCTUATIONS)-1)])new_line.append(word)else:new_line.append(word)new_line = ' '.join(new_line)return new_line

Experimental Setup

1、AEDA方法与EDA方法在不同数据比例上，RNN模型和CNN模型的效果比较。

从下表可以看出，在RNN模型和CNN模型上，AEDA方法均好于EDA方法和原始训练方法。并且EDA方法，在数据集比较小时，效果有所提升；数据集增大后，效果有所下降。而AEDA方法，如论数据集大小，效果均匀提升，不过数据集越小，提升的越明显。

下图为，AEDA方法与EDA方法在不同数据集上的效果分布图，更加验证了上述观点。

2、数据增强比例的影响。

如下图所示，当数据集较小时，数据增强倍数越大，效果提升的越明显；但是当数据量较大时，数据增强倍数越大，效果提升将会下降。

3、在深度模型（BERT）中，该方法依然有效。

如下表所示，在BERT模型上，AEDA方法依然有效，只不过提升不明显。而EDA方法却使效果降低。

总结

ADEA方法主要突出“简单”二字，个人觉得还是蛮有意思的。在工业界，有时为了推理速度，常常采用一些小模型，并且真的没有客户原因给你标数据，这时数据增强技术就派上了大用处。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！