论文: Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding

作者: Jiaxin Huang, Yu Meng, Fang Guo

源文: https://arxiv.org/pdf/2010.06705

代码: https://github. com/teapot123/JASen

johnson7788/JASen

数据集： https://www.yelp.com/dataset/challenge

一、简介

使用Aspect-based的评论类文本情感分析，对于以细粒度的方式理解用户反馈非常有价值。它一般包含两个子任务：（i）从每个评论中提取aspect，以及（ii）通过情感倾向对aspect-based的评论进行分类。在本文中，我们提出了一种aspect-based的情感分析的弱监督方法，该方法仅使用几个关键字描述每个aspect/sentiment，而无需使用任何带标签的样本。因为现有方法或者仅针对其中一个子任务而设计，而忽略了两者的结合，或者基于可能包含重叠概念的主题模型。我们提议首先通过施加正则化以进行主题区分，然后在词嵌入空间中学习{sentiment, aspect}的联合的主题嵌入，最后使用神经模型对词级判别信息进行概括，使用的是基于嵌入预测和对无标签的数据进行自我训练的预训练的分类器。我们的综合性能分析表明，我们的方法在基准数据集上产生了高质量的联合主题，并且显着优于基准（分别在aspect和情感分类上分别达到7.4％和5.1％的F1score 增加）。

随着诸如Amazon和Yelp之类的平台上出现大量评论，aspect-based的情感分析，从文本中提取有关方面实体的情感变得越来越重要，并受益于广泛的下游应用（Bauman等人，2017; Nguyen等，2015）。

Aspect-based的情感分析包含两个子任务：aspect提取和情感倾向分类。前者确定了评论中涉及的aspect，而后者则决定了其情感倾向。

已经提出了用于该任务的各种方法。神经网络模型（Liu等人，2015； Xu等人，2018）的性能优于基于规则的模型（Hu和Liu，2004； Zhuang等人，2006），但它们需要大规模的细粒度标签数据训练，这很难获得。其他一些研究利用单词嵌入来解决无监督（He等，2017; Liao等，2019）或通过无标注的文本下的弱监督环境（Angelidis和Lapata，2018; Karamanolakis等，2019）中的aspect提取问题。在这项工作中，我们研究了弱监督环境，其中每个aspect和sentiment仅提供了几个关键字。

我们在图1中显示了两个样本餐厅评论以及它们的预期输出aspect和sentiment标签。

通过仔细查看这两个样本评论，我们发现S2包括一个一般性的观点“good”和一个纯粹的aspect词“seafood”，它们分别是sentiment和aspect分类。另一个aspect，S1并没有用明文和普通的词来描述目标，而是使用了更具体的词，例如“semi-private”和“date”，这些词在人们对环境感到满意时才使用。人们可以将这些独特且细粒度的术语解释为{good，ambience}联合主题作为提示，但是对于仅针对一个子任务进行训练的模型而言，这很难做到。如果模型可以自动学习每个{sentiment,aspect}联合主题的语义，它将能够识别联合主题的代表性术语，例如“semi-private”表示的是aspect和sentiment同时进行具有的信息，将有利于aspect提取和情感分类。因此，通过结合两个子任务来利用更细粒度的信息将同时增强两者。

有几种基于LDA的方法学习联合主题（Zhao等，2010; Wang等，2015; Xu等，2012），但是它们依赖于外部资源，例如词性（POS）标签或观点词典。最近的一种基于LDA的模型（Garc´aPablos等人，2018）使用预训练词嵌入来偏向主题模型中的先验词，联合aspect词和观点词进行建模。尽管工作得很好，但主题模型是生成模型，不会强制具有独特性主题词的分布，在不同主题之间可能存在很大重叠，从而使主题彼此相似。此外，主题模型会产生不稳定的结果，从而导致分类结果差异很大。

我们提出了用于联合Aspect-Sentiment主题嵌入的JASen模型。我们的总体思路是在使用单词的共享嵌入空间中，学习每对{sentiment, aspect}联合的主题表示，以便主题嵌入的周围单词很好地描述联合主题的语义。这是通过在域内语料库上训练主题嵌入和单词嵌入，并在所有联合主题上对用户给定关键字的联合分布进行建模来实现的。在学习了联合主题向量之后，可以针对任何无标签的评论得出基于嵌入的预测。但是，这些预测对于情感分析而言不是最理想的，因为单词顺序起着重要作用。为了利用神经模型的表达能力，我们将知识从基于嵌入的预测提取到卷积神经网络（CNN）（Krizhevsky et al，2012），后者对局部序列执行合成操作。然后，通过使用CNN对无标签数据的高度预测，来进行自训练。

我们通过在两个基准数据集上进行实验来证明JASen的有效性，并表明我们的模型在很大程度上优于所有基线方法。我们还表明，我们的模型能够描述具有连贯术语的联合主题。

我们的贡献可以概括如下：（1）我们提出了一种弱监督方法JASen，以增强aspect-based的情感分析的两个子任务。我们的方法不需要任何标注数据，而每个aspect/sentiment只需要几个关键字。 （2）我们引入了一种嵌入学习目标，该目标能够捕获单词嵌入空间中的细粒度联合主题的{sentiment，aspect}语义。神经模型有效地利用了基于嵌入的预测，可以通过自我训练对无标签的数据进行概括。 （3）我们证明JASen在两个基准数据集上产生了高质量的联合主题，并且明显优于基线。

二、相关工作

aspect-based的情感分析问题可以分解为两个子任务：aspect提取和情感倾向分类。以前的大多数研究都是单独处理它们。在提取aspect方面有各种相关的努力（He et al。，2017），包括情感分类模型（He et al。，2018）。其他方法（Garcaa-Pablos等人，2018）通过首先将目标词与观点词分开，然后学习单词的联合主题分布，共同解决了这两个子任务。下面我们首先回顾有关aspect提取的相关工作（第2.1节），然后转向共同提取aspect和sentiment倾向的研究（第2.2节）。

2.1 Aspect提取

早期进行aspect提取的研究主要基于手动定义的规则（Hu和Liu，2004； Zhuang等，2006），该方法在不需要人工密集型特征工程的监督神经方法的帮助下表现出色。虽然基于CNN（Xu et al。，2018）和RNN（Liu et al。，2015）的模型显示了神经模型的强大表达能力，但它们很容易消耗成千上万个带有标签的文档，因此存在标签稀缺的瓶颈。

提出了各种无监督的方法来自动建模不同aspects。基于LDA的方法（Brody和Elhadad，2010； Chen等，2014）将每个文档建模为aspect（主题）的混合，并输出每个aspect的单词分布。最近，神经模型已经显示出可以提取更多连贯的主题。 ABAE（He et al，2017）使用自动编码器通过aspect嵌入来重建句子，并通过注意力机制去除不相关的单词。 CAt（Tulkens and van Cranenburgh，2020）引入了由径向基函数（RBF）内核计算的单head注意力作为句子摘要。这些算法的无监督的性质受到以下事实的影响：学习到的aspect常常与用户感兴趣的aspect不太吻合，并且需要额外的人工来将主题映射到某些aspect，更不用说某些主题与感兴趣的aspect无关。

几种弱监督方法通过在每个aspect使用几个关键字作来指导学习过程来解决此问题。 MATE（Angelidis和Lapata，2018）通过使用各个aspect的关键字嵌入的权重平均值来初始化aspect嵌入来扩展ABAE。 ISWD（Karamanolakis et al。，2019）共同训练一个词袋分类器和一个基于嵌入的神经分类器来概况关键词。其他文本分类方法利用预训练的语言模型（Meng等，2020b）来学习标签名称或元数据的语义（Zhang等，2020）来传播文档标签。

上述方法没有考虑特定aspect的观点。 {sentiment，Aspect}联合主题捕获的语义含义保留了更细粒度的信息以暗示句子的aspect，因此可用于提高aspect提取的性能。

2.2 联合提取aspect和sentiment

先前大多数联合进行aspect和sentiment提取的研究都是基于LDA的方法。(Zhao et.al 2010年）包括特定aspect的意见模型以及生成过程中的aspect模型。 Wang等 （2015年）提出了一种基于Boltzmann机器的受限模型，该模型将aspect和sentiment视为异构的隐藏单元。徐等（2012年）采用LDA模型，通过引入与情感相关的变量和整合情感先验知识。所有这些方法都依赖于外部资源，例如词性（POS）标签或观点词词典。最近的一项与我们类似的弱监督环境研究是W2VLDA（Garc´ia-Pablos等人，2018）。他们应Brown聚类（布朗等人，1992）将aspect术语与观点术语分开，并通过嵌入相似度来构造有偏的超参数α和β。尽管主题模型有效，但它们的缺点是没有在主题-主题词分布之间强加区分性约束，这会导致在不同主题之间可能会大大重叠，从而使多余的主题出现并使其难以分类。我们通过捕获嵌入空间中具有区别性的联合主题表示，表明了我们方法的进步。

三、问题定义

我们的基于弱监督的aspect-based的情感分析任务定义如下。输入是文本D={d1, d2, . . . , d|D|}的训练语料库，是来自某个域（例如，restaraunt或laptop）的文字评论，而没有任何aspect或情感的标签。用户提供了针对每个aspect主题的关键字la列表（表示为a∈A）和针对每个情感倾向的ls列表（表示为s∈S）作为指导。对于同一域中的每条为见过的评论，我们的模型都会输出一组{s，a}标签。

四、 模型

图2显示了JASen的工作流程。我们的目标是为每个评论生成一组{sentiment，aspect}预测。

我们首先学习一个嵌入空间，以嵌入向量的形式将主题的语义明确地表示为嵌入向量，包括纯aspect/sentiment和联合的{aspect，aspect}的语义,它是被主题代表词的嵌入所包围。我们还对嵌入空间强加了判别式正则化，以将不同的主题分开。为了对情感分析至关重要的本地顺序信息建模，我们使用CNN作为分类器，方法是在文档嵌入和主题嵌入之间的余弦相似性所给定的伪标签上对其进行预训练，然后对未标签数据进行自训练以进行迭代修正其参数。下面我们介绍JASen的细节。

4.1 学习联合主题表示

我们通过以下两个原则来学习域内语料库上单词和主题的表示形式：（1）分布假设（Sahlgren，2008）和（2）主题独特性。第一个原则是采用Skip-Gram（Mikolov等，2013）模型，通过对词的局部和全局上下文进行建模，第二个原则是通过一系列正则化目标实现的。图3通过一个样本概述了我们的嵌入式学习目标。

本地建模和全局上下文。我们基于这样的假设来学习单词嵌入，即具有相似上下文的单词具有相似的含义，并将上下文定义为位置上下文（Mikolov等，2013）和全局上下文（Meng等，2019； Liao等，2019; Meng等，2020a）。单词wi的局部上下文是指距wi小于或等于h个单词的其他单词。为了最大化看到wi的局部上下文的可能性，我们使用以下目标：

其中P(wj|wi) 正相关于∝ exp(vjT ui), 并且ui和vj单词嵌入的中心和上下文。

wi的全局上下文（Meng等，2019; Liao等，2019）是基于相似文档包含含义相似的单词的动机，来指代单词出现的文档d。我们将以下目标用于全局上下文：

其中P(d|wi) ∝ exp(dT ui).

正则化纯aspect/sentiment主题。为了使嵌入空间具有对aspect/sentiment类别的判别能力以实现更好的分类性能，我们对aspect主题嵌入ta和情感主题嵌入ts进行正则化，以便将不同的主题分开。例如，图3中的“good”一词是情感主题good的关键字，我们的目标是将tgood放置在嵌入空间中靠近“good”一词的嵌入位置，同时远离其他主题嵌入（例如tbad ）。为此，我们最大化了使用每个主题关键字来预测其代表主题的可能性：

其中la，ls是aspect a和sentiment s 的关键字列表，其中P(t|wi) ∝ exp(uiT t).等式（3）和（4）加强了分类的嵌入空间，也就是说，可以基于嵌入相似性将单词“分类”为主题。对于ta和ts的良好初始化，我们使用用户提供的关键字的平均单词嵌入为对每个aspect和sentiment。

联合{sentiment, Aspect}主题的正则化。现在，我们开始联合案例正则，其中|S| x|A|主题进行了正则化。通过探索边际分布和联合分布之间的关系，我们将联合主题嵌入的学习与纯aspect/sentiment主题联系起来：

例如图3，显示了“good”的关键字“属于情感主题“good”的边缘概率，等于它属于{good,food}, {good,ambience}和 {good,service}概率之和。

正则化的联合主题Ljoint的目标可以被推倒，通过在公式3中替换P(ta|wi)为公式5，同理P(ts|wi)中的公式4和公式6。

我们还注意力到，诸如“good”之类的一般观点（或诸如“seafood”之类的纯粹aspect的词）与aspect（或情感）维度同样无关，因此我们使用统一分布u，来正则化它们在所有类别上不相关的维度的分布：

综合以上目标，我们最终的嵌入学习目标是：

其中Lreg=LregA + LregS, 同理Ljoint和Lcross， 对于所有正则化项，我们使用相同的权重λr，这在实践中证明是有效的。

4.2 训练CNN进行分类

单词排序信息对于情感分析至关重要。例如，“Any movie is better than this one”和“this one is better than any movie”传达了相反的情感倾向，但具有完全相同的词语。训练过的嵌入空间主要捕获单词级别的判别信号，但不足以对此类顺序信息进行建模。因此，我们提议训练卷积神经网络（CNN），以从嵌入空间给出的初步预测中概括知识。具体来说，我们首先对CNN进行预训练，并使用soft预测（由文档嵌入和主题嵌入之间的余弦相似性给出），然后采用自训练策略，通过对无标签文档的高一致性预测进一步完善CNN模型。

神经模型预训练。对于每个无标签的评论，我们可以（1）通过计算文档表示d和t<s,a>之间的余弦相似度来得出联合主题的一种分布，（2）通过边际主题ta和ts使用余弦相似度来得出sentiment和aspect变量的独立分布。或（3）组合（1）和（2），通过将两组余弦分数相加来。我们发现，最后一种方法可获得最佳结果，即，测试评论d在aspect和sentiment类别上的分布计算如下：

其中d是通过平均d中的词嵌入获得的，而T是控制我们要从基于嵌入的预测中学习的贪婪程度的温度。

通过从等式10和11中的两个分布中学习，我们分别针对aspect和sentiment分类来训练两个CNN模型。 我们利用知识蒸馏目标（Hinton等人，2015）来最小化基于嵌入的预测pd和CNN的输出预测qd之间的交叉熵：

神经模型修正。预训练的CNN仅复制嵌入空间中的知识。为了将他们当前的知识推广到无标签的语料库，我们采用了一种自训练技术来引导CNN。自训练的想法是使用模型对无标签样品的高度一致的预测来自我完善。具体来说，我们通过平方运算增强高一致性预测，基于当前模型的预测，为每个无标签文档计算目标得分（Xie等，2016）：

其中fa =Sigma d∈D P(a|d)。由于自训练每个epoch都会更新目标得分，因此该模型会通过其最新的高一致性预测逐渐完善。当目标得分后没有更多样本更改标签分配时，自训练过程将终止。结果模型可用于对未见过的评论进行分类。

五、评估

我们对基准数据集进行了一系列定量和定性评估，以证明我们模型的有效性。

5.1 实验装置

数据集：以下两个数据集用于评估：

•Restaurant：对于域内训练语料库，我们从Yelp Dataset Challenge2收集了17,027条无标签的评论。为了进行评估，我们使用SemEval-2016（Pontiki等人，2016）和SemEval-2015（Pontiki等人，2015）中restaurant领域的基准数据集，其中每个句子都标有aspect和sentiment倾向。我们删除带有多个标签或带有中性情感倾向的句子以简化问题（否则可以添加一组关键字来描述它）。

•Laptop：我们利用（He和McAuley，2016年）收集的14,683条无标签的亚马逊评论作为域内训练语料库。我们还使用SemEval-2016和SemEval-2015中laptop领域的基准数据集进行评估。表1列出了这两个数据集的详细统计信息，表2列出了各个aspect及其关键字。

预处理和超参数设置。为了预处理训练语料D，我们使用NLTK3提供的单词tokenizer。我们还使用短语挖掘工具AutoPhrase（Shang et al。2017）提取有意义的短语，例如“great wine”和“numeric Keyboard”，以便它们可以在单个文本单元中捕获复杂的语义。我们使用基准验证集微调超参数：嵌入维度 = 100，局部上下文窗口大小h=5，λg= 2.5，λr= 1，训练epoch=5。对于神经模型预训练，我们设置T = 20.为每个子任务训练一个CNN模型：aspect提取和sentiment分类。每个模型针对窗口大小分别为2、3和4的过滤器使用20个特征图。在自训练和预训练使用1e-3学习率，批次大小设置为16。

5.2 定量评估

我们对aspect提取和情感倾向分类进行定量评估。

比较方法。我们的模型与先前的一些研究进行了比较。它们中的一些是专门为aspect提取而设计的，但是在情感分类上表现不佳。因此，我们仅报告其关于aspect提取的结果。为了公平比较，我们对每种基准方法使用相同的训练语料库和测试集。对于弱监督方法，我们使用相同的关键字列表。

•CosSim：主题表达是通过将训练语料库的Word2Vec中训练的种子词嵌入来平均的。在测试样本和主题之间计算余弦相似度以对句子进行分类。

•ABAE（He等人，2017）：一种基于注意力的模型，用于无监督地提取aspect。自编码器通过aspect嵌入训练重建句子。学习的主题需要手动映射到aspect。

•CAt（Tulkens和van Cranenburgh，2020年）：一种无监督aspect提取的最新方法。Radio Basis Function（RBF核函数)将单head注意力计算句子摘要。

•W2VLDA（Garc´a-Pablos等，2018）：一种基于最新主题建模的方法，该方法利用每个aspect/sentiment关键字去联合进行aspect/sentiment分类。

•BERT（Devlin等人，2019）：最近提出的深度语言模型。我们利用预训练的BERT（12层，768维，uncased）实现一种简单的弱监督方法，该方法通过为包含来自给定aspect/sentiment的关键字的句子提供伪标签来微调模型。

•JASen w/o joint：我们提出的模型的消融模型。对于每个情感和aspect，神经模型都针对单独的主题嵌入进行了预训练。

•JASen w/o self train：我们提出的不采用自训练过程的消融模型。

aspect提取。我们在表3中报告了模型的aspect提取的结果以及表3中的所有基线。

我们使用四个指标进行评估：准确性，精确率，召回率和macro-F1 score。我们观察到，弱监督方法比非监督方法具有更好的性能，这表明使用关键字来丰富标签的语义是提高分类性能的一个有希望的方向。如表3所示，即使没有进行自我训练，我们的模型在大多数指标上也比基线方法大幅度提高，这表明JASen通过学习细粒度联合主题的语义获得了很多好处，并且自训练得到了提升性能进一步提高。我们注意力到，JASen可以处理未明确提及句子目标的情况。例如，JASen正确标签了“It’s to die for!”作为(good, food)。尽管没有提及与food有关的内容，因为“to die for ”一词出现在其他提及食物美味的句子中，因此被(good, food)的共同主题所捕获。

情感倾向分类。我们将JASen与基准方法进行情感分类比较，并在表4中显示结果。

由于某些方法是专为aspect提取而设计的，因此在情感分类中效果不佳，因此我们不报告其结果。如表所示，JASen的性能均优于两个数据集的所有基线。我们还观察到，与利用laptop数据集上的全局和局部上下文的方法相比，仅利用局部上下文的方法效果不佳。由于“good”和“bad”是一对反义词，因此它们可以具有非常相似的搭配，因此仅捕获本地上下文的模型无法很好地区分它们。

5.3 定性评估

为了评估联合主题表示的质量，我们通过对单词与每个联合主题向量之间的嵌入余弦相似度进行排序来检索其代表词。为简洁起见，我们从每个数据集中随机抽取3个aspect，并将它们与两种情感倾向配对，以形成12个联合主题。

我们在表5中列出了它们的主要术语。结果表明，代表性术语构成了连贯且有意义的主题，并且不限于形容词，例如(bad, food)中的“vomit”和(good, support)中的“commitment”。另一个有趣的观察结果是，“cramped”出现在restaurant领域的 (bad, ambience) 和laptop领域的(bad, keyboard) 中，这表明JASen根据域内语料库捕获了单词的不同含义。

5.4 关键字数量的影响

我们研究了关键字数量的影响。在图4中，我们显示了针对laptop数据集上每个aspect使用不同数量的关键字的, 提取的aspect的macro-F1 score。

该趋势清楚地表明，当提供更多关键字时，模型性能会提高。此外，当仅提供一个关键字（仅提供标签名称）时，JASen仍具有稳定的性能，并且在不学习联合主题嵌入的情况下，比使用消融的模型aspect有很大的差距，这意味着在资源不足的情况下学习联合主题语义特别有效。

5.5 联合主题表示的可视化

为了了解联合主题以及aspect和情感主题如何在嵌入空间中分布，我们使用PCA（Jolliffe，2011）进行降维，以可视化图5中在restaurant语料库上训练的主题嵌入。

某些aspect的主题（例如，ambience）大约位于其联合主题(“good, ambience”) 和(“bad, ambience”）的中间，这表明我们的嵌入式学习目标将联合主题理解为它们的“marginal”分解主题，正好符合我们学习细粒度主题的目标。

5.6 案例研究

我们在表6和表7中列出了几个测试样本，以及它们的ground truth和模型预测。

在我们与ground truth之间的一些冲突案例相当模糊。例如，表6中第二个样本的ground truth是(good, location)，但是我们仍然认为，该评论提到“the outdoor atmosphere”，并使用了“sitting on the sidewalk”和“cool evening”等术语，我们模式输出的结果表明，环境比位置更相关。表7中第二和第三条评论的正确的aspect标签都是"company"，但是显然这两个句子在谈论两个不同aspect：产品本身和公司服务。尽管我们对这两个句子的模型输出“os”和“ support”可能不是最精确的预测，但至少我们的模型将它们视为两个不同的aspect。

六、结论

在本文中，我们提议通过学习{sentiment, aspect}的嵌入空间的联合主题捕获耕细粒度的信息，来加强基于弱监督的aspect-based的情感分析。我们介绍了一种嵌入学习目标，该目标利用用户提供的关键字，针对每个aspect/sentiment对它们在联合主题上的分布进行建模。然后将基于嵌入的预测用于神经模型的预训练，然后通过对无标签的语料库进行自我训练来进一步完善神经模型。实验表明，我们的方法可以学习高质量的联合主题，并且大大优于以前的研究。

将来，我们计划使我们的方法适应更广泛的应用，而不仅限于情感分析领域，例如对通用文本语料库进行多维分类（例如主题，位置）。另一个有希望的方向是利用分类构建算法（Huang等，2020）来捕获更细粒度的aspect，例如“food”的“taste”和“smell”。