0 Abstract

  基于方面的评论文本情感分析对于以细粒度的方式理解用户反馈具有重要价值。它通常有两个子任务:(1)从每个评论中提取方面，(2)通过情感极性对基于方面的评论进行分类。在本文中，我们提出了一种弱监督的基于方面的情感分析方法，该方法只使用几个描述每个方面/情感的关键词，而不使用任何标记的样本例子。**现有的方法要么只为一个子任务设计，忽略了两者耦合的好处，要么基于可能包含重叠概念的主题模型。**我们提出，首先通过强制规则化在单词嵌入空间中进行联合主题<sentiment，aspect>嵌入学习，然后使用神经模型通过使用基于嵌入的预测对分类器进行预训练，并在未标记的数据上对其进行自训练，来概括单词级的区别信息。我们的综合性能分析表明，我们的方法生成高质量的联合主题，并在基准数据集1上显著优于基线(方面和情感分类的F1分数平均分别增加7.4%和5.1%)。

1 Introduction

  随着亚马逊(Amazon)和Yelp等平台上出现大量评论，基于方面的情感分析变得越来越重要，它可以从文本中提取关于实体某些方面的意见，并使大量下游应用受益。基于方面的情感分析包含两个子任务:方面抽取和情感极性分类。前者识别包含在评论中方面，而后者决定了它的情感极性。

  针对这个任务已经提出了很多方法。神经网络模型 (Liu et al., 2015;Xu et al., 2018) 的表现优于基于规则的模型(Hu and Liu, 2004; Zhuang et al., 2006)，但他们需要大规模的细粒度标记数据来训练，这可能很难获得。其他一些研究利用词嵌入来解决无监督的方面提取问题 (He et al., 2017; Liao et al., 2019) 或弱监督设置 (Angelidis and Lapata, 2018;Karamanolakis et al., 2019)，没有使用任何带注释的文档。在这项工作中，我们研究弱监督设置，其中每个方面和情感只提供几个关键词。

  我们在图1中显示了两个样本餐馆评论以及它们的预期输出——方面和情感标签。仔细观察这两个评论例子，我们发现S2包含了一个一般意见词“好”和一个纯方面词“海鲜”，这两个词分别是情感和方面分类的提示。另一方面，S1不使用简单笼统的词语来描述目标，而是使用更具体的词语，如“半私人”和“约会”,这些词是人们对周围环境感觉良好时使用的，而不是其他方面。人类可以将这些独特而精细的术语解释为人类共同话题“环境”的暗示，但是这对于只为一个子任务训练的模型来说是很难的。如果一个模型可以自动学习每个联合主题<sentiment，aspect>的语义，如果一个模型能够自动学习每个联合主题的语义，它将能够识别联合主题的代表性术语，如“半私有的”，同时为方面和情感提供信息，从而有利于方面提取和情感分类。因此，通过耦合两个子任务来利用更细粒度的信息将会增强这两者。

  几种基于LDA的方法考虑学习联合主题 (Zhao et al., 2010; Wang et al., 2015;Xu et al., 2012)，但他们依赖于外部资源，如词性标注或意见词词典。最近的一个基于LDA的模型 (Garc´ ıa-Pablos et al., 2018)使用预先训练的单词嵌入来偏置主题模型中的先验，以联合建模方面单词和观点单词。虽然工作得相当好，但主题模型是生成模型，并不强制主题的独特性——主题词的分布在不同的主题之间可能有很大的重叠，允许主题彼此相似。此外，主题模型产生不稳定的结果，导致分类结果的巨大差异。

  我们提出了联合方面情感主题嵌入的JASen模型。我们的总体想法是为共享嵌入空间中的每一个<sentiment，aspect>对和单词学习一个联合主题表示，以便主题嵌入的周围单词很好地描述联合主题的语义。这是通过在域内语料库上训练主题嵌入和单词嵌入，并对所有联合主题上用户给定关键词的联合分布进行建模来实现的。在学习了联合主题向量之后，可以为任何未标记的评论导出基于嵌入的预测。然而，这些预测对于词序起重要作用的情感分析来说是次优的。为了利用神经模型的表达能力，我们从基于嵌入的预测中提取知识到卷积神经网络(CNNs) (Krizhevsky et al., 2012)，该网络对局部序列执行合成操作。然后进行自我训练过程，通过在未标记数据上使用它们的高置信度预测来改善CNN。

  通过在两个基准数据集上的实验，我们证明了JASen模型的有效性，并表明我们的模型在很大程度上优于所有的基准方法。我们还表明，我们的模型能够用连贯的术语聚类来描述联合主题。

我们的贡献可以总结如下:
(1)我们提出了一种弱监督方法JASen来增强基于方面的情感分析的两个子任务。我们的方法不需要任何注释数据，只需要每个方面/情感的几个关键词。

(2)我们引入了一个嵌入学习目标，该目标能够在单词嵌入空间中捕获细粒度联合主题<sentiment，aspect>的语义。神经模型有效地利用基于嵌入的预测，通过自训练对未标记的数据进行归纳。

(3)我们证明了JASen生成高质量的联合主题，并且在两个基准数据集上显著优于基线。

2 Related Work

pass

2.1 Aspect Extraction

pass

2.2 Joint Extraction of Aspect and Sentiment

pass

3 Problem Definition

  我们弱监督的基于方面的情感分析任务定义如下。输入是训练语料库D = {d1，d2，…，d|D|}来自某个领域(例如，餐馆或笔记本电脑)的文本评论，没有任何方面或情感的标签。用户提供每个方面主题的关键词列表(表示为a ∈ A)和每个情感极性的LSA(表示为s ∈ S)作为指导。对于同一个领域中的每个未见过的评论，我们的模型输出一组<s,a>标签。

4 Model

  图2展示了JASen的工作流程。我们的目标是为每一篇评论生成一组<sentiment，aspect>的预测。

  我们首先学习一个嵌入空间，将主题的语义(包括纯方面/情感和联合识别，非方面)显式地表示为嵌入向量，这些向量被主题的代表词的嵌入所包围。我们还对嵌入空间进行了区分性正则化，以将不同的主题分开。为了对情感分析至关重要的局部序列信息进行建模，我们使用CNN作为分类器，通过在由文档嵌入和主题嵌入之间的余弦相似性给出的伪标签上对其进行预训练，并在未标记数据上对其进行自训练以迭代地细化其参数。下面我们介绍一下JASen的细节。

4.1 Joint-Topic Representation Learning

  我们通过以下两个原则来学习领域内语料库中单词和主题的表示:(1)分布假设(Sahlgren，2008)和(2)主题独特性。第一个原则是通过对单词的局部和全局上下文进行建模，对Skip-Gram模型 (Mikolov et al., 2013) 进行修改而实现的，第二个是通过一系列正则化目标实现的，图3用一个例子概述了我们的嵌入学习目标。

对局部和全局上下文建模。 我们基于具有相似上下文的单词具有相似含义的假设来学习单词嵌入，并将上下文定义为位置上下文 (Mikolov et al., 2013)和全局上下文s (Meng et al., 2019;Liao et al., 2019;Menget al., 2020a).的组合，一个单词的局部上下文指的是距离wi不超过h个单词的其他单词。为了最大化看到单词wi的局部上下文的概率，我们使用以下目标:
         

  全局上下文(Meng et al., 2019; Liao et al.,2019) 的一个词在文档d中出现的地方进行了窃听，其动机是类似的文档包含意思类似的词。我们在全局范围内使用以下目标:
           

正则化纯方面/情感主题。 为了赋予嵌入空间对方面/情感类别的区分能力以获得更好的分类性能，我们规范了方面主题嵌入ta和情感主题嵌入ts，使得不同的主题被分开。例如，图3中的单词“good”是情感主题good的关键字，我们的目标是将tgood放置在嵌入空间中“good”的单词嵌入附近，而远离其他主题嵌入(即tbad)。为此，我们最大化使用每个主题关键字来预测其代表主题的概率:
           
方程(3)和(4)授权嵌入空间用于分类目的，也就是说，可以基于嵌入相似性将单词“分类”成主题。为了更好地初始化ta和ts，我们对每个方面和情感使用用户提供的关键字的平均单词嵌入。

正则化联合<sentiment，aspect>主题 现在我们检测联合情况，其中| S |×| A |主题被正则化。我们通过探索边际分布和联合分布之间的关系，将联合主题嵌入的学习与纯方面/情感主题联系起来:
         
  例如，作为示例，图3示出了关键字“good”属于情感主题“good”的边际概率等于（<good, food>, <good,ambience> and <good, service>）之和。
  通过将式（3）中的P（ta | wi）替换为式（5），将式（4）中的P（ts | wi）替换为式（6），可以导出正则化联合主题Ljoint的目标。
  我们还注意到，诸如“好”这样的一般意见词(或诸如“海鲜”这样的纯方面词)同样与方面(或情感)维度无关，因此我们使用均匀分布U来正则化它们在无关维度上的所有类上的分布:
          
综上所述，我们最终的嵌入学习目标是:
          

4.2 Training CNNs for Classification

词序信息对于情感分析至关重要。比如“任何一部电影都比这一部好”“这一部比任何一部电影都好”传达了相反的情感极性却有着完全一样的话语。训练后的嵌入空间主要捕捉单词级的区别性信号，但不足以对这种顺序信息进行建模。因此，我们建议训练卷积神经网络(CNNs)来从嵌入空间给出的初步预测中归纳知识。具体来说，我们首先利用文档嵌入和主题嵌入之间的余弦相似性给出的软预测对神经网络进行预训练，然后采用自训练策略，利用神经网络对未标记文档的高置信度预测来进一步细化神经网络。
Neural Model Pre-training. 对于每个未标记的评论，我们可以(1)通过计算文档表示d和t<s,a>之间的余弦相似性，导出联合主题上的一个分布，(2)使用与边缘主题ta和ts的余弦相似性，导出情感和方面变量的单独分布，或者(3)通过将两组余弦得分相加来组合(1)和(2)。我们根据经验发现，最后一种方法获得了最佳结果，即，测试评论d在方面和情感类别上的分布计算如下:
          其中d是通过平均d中的单词嵌入获得的，T是控制我们希望从基于嵌入的预测中学习的贪婪程度的温度。
  我们通过学习方程(10)和(11)中的两个分布，分别训练两个用于方面和情感分类的CNN模型。我们利用知识提炼目标(Hintonet al., 2015) 来最小化基于嵌入的预测数据 pd和CNNs的输出预测 qd之间的交叉熵:
          
Neural Model Refinement. 预先训练的神经网络只复制嵌入空间的知识。为了将他们当前的知识推广到未标记的语料库中，我们采用了一种自训练技术来引导神经网络。自我训练的想法是利用模型对未标记样本的高度自信的预测来完善自己。具体而言，我们基于当前模型的预测，通过平方运算增强高置信度预测，为每个未标记文档计算目标分数(Xie et al., 2016)
          
               
  由于自我训练会在每个时期更新目标分数，模型会根据最近的高自信预测逐步完善。当目标分数更新后没有更多样本改变标签分配时，自我训练过程终止。由此产生的模型可用于对任何从未见过的评论进行分类。

5 Evaluation

我们对基准数据集进行了一系列定量和定性评估，以证明我们模型的有效性。

5.1 Experimental Setup

数据集:以下两个数据集用于评估:

• 餐馆:对于域内训练语料库，我们从Yelp数据集挑战2中收集了17027篇未标记评论。为了评估，我们使用了SemEval-2016(Pontiki
  et al., 2016)和SemEval-2015 (Pontiki et al.,
  2015)中餐馆领域的基准数据集，其中每个句子都用方面和情感极性进行了标记。我们去掉带有多个标签或者带有中性情感极性的句子来简化问题(否则可以添加一组关键词来描述)。
• 笔记本电脑:我们利用 (He and McAuley,
  2016)收集的笔记本电脑类别下的14683篇未标记亚马逊评论作为域内培训语料库。我们还使用SemEval-2016和SemEval-2015中笔记本电脑领域的基准数据集进行评估。表1列出了这两个数据集的详细统计数据，表2列出了方面及其关键字。
              
  预处理和超参数设置。 为了对训练语料D进行预处理，我们使用了NLTK提供的单词标记器。我们还使用短语挖掘工具AutoPhrase (Shang et al., 2017)来提取有意义的短语，如“好酒”和“数字键盘”,这样它们可以在单个文本单元中捕捉复杂的语义。我们使用基准验证集来微调超参数:嵌入维度为100，局部上下文窗口大小h=5，λg=2.5，λr=，training epoch = 5。对于神经模型预训练，我们设置T = 20。为每个子任务训练一个CNN模型:特征提取和情感分类，每个模型使用20个特征图作为窗口大小为2、3和4的过滤器。SGD与1e-3一起用作预训练和自训练的学习率，batch size设置为16。

5.2 Quantitative Evaluation

我们对特征提取和情感极性分类进行了定量评估。
Compared Methods 我们的模型与以前的几项研究进行了比较。其中一些是专门为方面提取而设计的，但在情感分类上表现不佳。所以我们只报告他们关于方面提取的结果。为了公平比较，我们对每个基线方法使用相同的训练语料库和测试集。对于弱监督方法，他们与我们的关键字列表相同。

• CosSim: 通过在训练语料上嵌入由Word2V ec训练的种子词，对主题表示进行平均。计算测试样本和主题之间的余弦相似度来对句子进行分类。
• ABAE (He et al., 2017):一种基于注意力的非监督提取方面的模型。自动编码器被训练通过方面嵌入来重构句子。学习的主题需要手动映射到方面。
• CAt (Tulkens and van Cranenburgh, 2020):一种新的无监督特征提取方法。单个头部注意力由Radio Basis Function kernel （径向基）计算，作为句子摘要。
• W2VLDA (Garc´ ıa-Pablos et al., 2018):一种基于最先进主题建模的方法，该方法利用每个方面/情感的关键词来联合进行方面/情感分类。
• BERT (Devlin et al., 2019):最近提出的深度语言模型。我们利用预先训练好的BERT (12-layer, 768 dimension, uncased)，实现一个简单的弱监督方法，通过提供包含来自给定方面/情感的关键词的句子的伪标签。
• JASen w/o joint: 我们提议的模型的删减版。神经模型是针对每个情感和方面在单独的主题嵌入上预先训练的。
• JASen w/o self train: 我们提出的模型的消融没有自我训练过程。

Aspect Extraction. 我们在表3中报告了模型的方面提取结果和所有基线。我们使用四个指标进行评估:准确性、精确度、召回率和macro-F1分数。我们观察到弱监督方法往往比无监督方法具有更好的性能，这表明使用关键字来丰富标签的语义是提高分类性能的一个有前途的方向。如表3所示，即使没有自我训练，我们的模型在大多数指标上的表现也远远优于基线方法，这表明JASen从学习细粒度联合主题的语义中获得了实质性的好处，自我训练进一步提高了性能。我们观察到，JASen可以处理句子的目标没有明确提到的情况。比如，JASen正确地标注了“这是为之而死！”作为(好的，食物)。虽然没有提到任何与食物有关的东西，“为之而死”出现在其他描述食物味道的句子中，因此被(好的，食物)这个共同的话题抓住了。

Sentiment Polarity Classification. 我们将JASen与情感分类的基线方法进行了比较，结果显示在表4中。由于一些方法是为方面提取而设计的，并且在情感分类上表现不佳，所以我们不报告它们的结果。如表中所示，JASen在两个数据集上都优于所有基线。我们还观察到，与在笔记本电脑数据集上同时利用全局和本地上下文的方法相比，仅利用本地上下文的方法表现不佳。由于“好”和“坏”是一对反义词，它们可以有非常相似的搭配，所以纯粹捕捉局部上下文的模型不能很好地区分它们。

5.3 Qualitative Evaluation

为了评估联合主题表示的质量，我们通过对单词和每个联合主题向量之间的嵌入余弦相似度进行排序来检索它们的代表词。为了简洁起见，我们从每个数据集中随机抽取3个方面，并将它们与两个情感极性配对，形成12个联合主题。我们在表5中列出了它们的顶级术语。结果表明，代表性术语形成连贯而有意义的话题，且不限于形容词，如(坏，食物)中的“吐槽”和(好，支持)中的“承诺”。另一个有趣的观察结果是，“局促”在餐馆领域和笔记本电脑领域都出现了(糟糕，氛围)和(糟糕，键盘)，这表明JASen基于领域内语料库捕捉到了不同的单词含义。

5.4 Effect of Number of Keywords

我们研究关键词数量的影响。在图4中，我们使用笔记本电脑数据集上每个方面的不同数量的关键字显示了方面提取的宏F1分数。趋势清楚地表明，当提供更多关键字时，模型性能会提高。而且，在只提供一个关键词(只有标签名)的情况下，JASen在不学习联合主题嵌入的情况下，仍然具有稳定的性能，与烧蚀相比差距较大，暗示了学习联合主题语义在低资源设置下特别强大。

5.5 Joint Topic Representation Visualization

为了理解联合主题在嵌入空间中是如何分布的，以及方面和情感主题，我们使用主成分分析 (Jolliffe, 2011)进行降维，以可视化在图5中的餐馆语料库上训练的主题嵌入。一个有趣的观察是，一些方面主题(例如，氛围)大约位于它们的联合主题的中间(“好的，氛围”和“坏的，氛围”)，表明我们的嵌入学习目标将联合主题理解为它们的“边缘”主题的分解，这与我们学习细粒度主题的目标相一致。

5.6 Case Studies

我们在表6和表7中列出了几个测试样本以及它们的基本事实和模型预测。我们和基本事实之间的一些冲突案例相当模糊。例如，表6中第二个例子的基本事实是(好，位置)，但我们仍然认为，鉴于评论提到了“室外氛围”，并使用了“坐在人行道上”和“凉爽的夜晚”等术语，它与氛围的相关性大于位置，正如我们的完整模型所输出的那样。表7中第二、三条评论的黄金方面标签都是“公司”，但显然这两句话讲的是两个不同的方面:产品本身和公司的服务。尽管我们的模型输出的“操作系统”和“支持”这两个句子可能不是最精确的预测，但至少我们的模型将它们视为两个不同的方面。

6 Conclusion

  在本文中，我们提出通过在嵌入空间中学习主题的表示<sentiment，aspect>来增强弱监督的基于方面的情感分析，以捕获更细粒度的信息。我们介绍了一个嵌入学习目标，利用用户给定的每个方面/情感的关键词，并对它们在联合主题上的分布进行建模。基于嵌入的预测然后被用于预处理神经模型，其通过在未标记的语料库上的自我训练被进一步细化。实验表明，我们的方法学习到了高质量的联合主题，并大大优于以往的研究。
  未来工作，我们计划将我们的方法应用于更多不局限于情感分析领域的通用应用，例如在通用文本语料库上进行多维分类(例如，主题、位置)。另一个方向是利用分类法构建算法 (Huang et al., 2020)来捕捉更细粒度的方面，例如“食物”的“气味”和“味道”。

Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding论文阅读相关推荐

1. 情感分析Sentiment Analysis 知识资料全集（入门/进阶/论文/综述/视频/专家，附查看

   情感分析 ( Sentiment Analysis ) 专知荟萃 入门学习 进阶论文 Tutorial 综述 代码 视频教程 领域专家 入门学习 斯坦福大学自然语言处理第七课"情感分析(Se ...

2. Sentiment Classification towards Question-Answering with Hierarchical Matching Network 论文阅读笔记

   Sentiment Classification towards Question-Answering with Hierarchical Matching Network 论文阅读笔记 这篇论文介绍 ...

3. 2.1 Vision-Language Pre-Training for Multimodal Aspect-Based Sentiment Analysis

   Vision-Language Pre-Training for Multimodal Aspect-Based Sentiment Analysis 1.基本信息 作者:Yan Ling, Jian ...

4. Multimodal Sentiment Analysis论文汇总

   多模态情绪分析论文 Year Title Network Publish Paper Code Read 2019 Multimodal Transformer for Unaligned Multi ...

5. 论文2： EMNLP2019-Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree

   EMNLP2019-Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree 一.论文思想 ABSA涉及两个任务:(1) ...

6. 【论文泛读】Deep-HOSeq: Deep Higher Order Sequence Fusion for Multimodal Sentiment Analysis

   论文题目:Deep-HOSeq: Deep Higher Order Sequence Fusion for Multimodal Sentiment Analysis 时间:2020 来源:ICDM ...

7. Aspect Based Sentiment Analysis经典模型

   本文转载自:https://zhuanlan.zhihu.com/p/81542002 Different from document- and sentence-level sentiment an ...

8. 2019_AAAI_Multi-Interactive Memory Network for Aspect Based Multimodal Sentiment Analysis

   Multi-Interactive Memory Network for Aspect Based Multimodal Sentiment Analysis 论文地址:https://ojs.aaa ...

9. 细粒度情感分析（Aspect Based Sentiment Analysis, ABSA），一个从零开始的案例教程【Python实现】

   目录 前言 数据和源码 你要了解的基础 1. 细粒度情感分析(ABSA)案例背景 1.1 任务介绍 1.2 数据基本介绍 1.3 如何评估ABSA的结果 2. 任务一:Aspect Term Extr ...

最新文章

1. django实现长链接
2. 用友二次开发_详解ERP系统与MES系统的数据传递——永康用友
3. 200905阶段一C++链表与继承特性
4. idea修改代码后不重启项目_使用DevTool实现SpringBoot项目热部署
5. Spring使用AspectJ开发AOP
6. 用得最多的altium版本_83版《神雕》有多猛？收视率破90％！金庸最满意的版本...
7. 初识 Vue(01)---(输出 Hello World)
8. vba打开txt文件_VBA基础入门（34）读取txt文本文件
9. 用python写一个telnet另一台电脑并开启某个应用程序_Python-Anaconda的安装和配置
10. docker容器无法删除——状态Dead
11. “阿里灵杰”问天引擎电商搜索算法赛 - 数据说明2022
12. Savitzky-Golay 滤波器详解及matlab语言程序设计
13. hmdb51数据集,视频+标签
14. 与计算机专业的社会学的论文,计算机专业研究生论文致谢词
15. 标书怎么做？标书制作教程附标书制作思维导图
16. matlab 巴特沃斯滤波器频率响应,巴特沃斯滤波器matlab实现
17. 计算机桌面点不进系统,电脑无法进入系统怎么办?
18. 【LOG】函数使用技巧
19. 用HTML/CSS制作一个美观的个人简介网页——学习周记1
20. 2020icpc上海赛G题 Fibonacci详解

热门文章

1. quill富文本编辑器——修改默认图片、视频上传功能
2. CTF（信息安全夺旗赛）学习网址
3. 大专应届，充满期望的第十五天(完)(面试）
4. 空间点模式方法_一阶效应和二阶效应
5. 【牛投客】；牛投客最新消息
6. 火车头采集器百度知道聚合采集插件说明文档！
7. GSM模块的信号强度
8. 解决：为什么谷歌浏览器启动主页是360导航，自己明明设置的是百度？
9. Data-Mining试题
10. 中国大学MOOC-陈越、何钦铭-数据结构-2020夏期末考试