EMNLP2019-Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree

一.论文思想

ABSA涉及两个任务:(1)识别一个句子的各个方面(2)确定在特定方面表达的情感极性(例如，积极的、消极的、中性的)。在本文中，我们重点研究第二个任务:基于方面的情感分类
基于神经网络的方法（传统的方法）忽略了诸如依存树的信息资源，依存树能够缩短方面和意见词之间的距离，捕捉了词之间的句法关系，并为信息在树中的传播提供了任意句子上的区别性句法路径，使得依存信息能够有效地保存在长句中。这些特性使得神经网络模型能够毫不费力地捕捉长期的句法依存关系。（依存树可以解决长期依赖关系）
为此，本文提出了一种依存树上的卷积模型，该模型利用双向长短期记忆(双LSTM)来学习句子特征的表示，并进一步利用直接在句子的依存树上操作的图形卷积网络(GCN)来增强嵌入。我们的方法将上下文和依赖信息从意见词传播到方面词，为监督提供了区分属性。即在句法依存关系树上建立GCN并结合Bi-LSTM构建模型（CDT）。

二.模型结构

这里的模型结构与论文1《EMNLP2019-Aspect-based Sentiment Classification with Aspect-specific Graph》的模型结构类似，不同的是去除了Attention机制，加入了平均池化。（相关模型结构在论文1中进行了详细的阐述，有兴趣的可以看一下：论文1）

1.CDT始于一个双向长短期记忆网络(LSTM)层，用于捕获关于词序的上下文信息。

2.为了获得特定于方面的特征，在LSTM输出之上实现了多层GCN结构。

3.随后是仅对方面向量（可以理解为上述论文的Mask机制之后进行平均池化）进行平均池化，然后用于预测基于方面的情感。

（CDT通过仅聚集方面向量来提取ABSA分类任务的最终表示。我们认为这就足够了，因为GCN复合体可以被解释为一个沿着边缘传播信息的消息传递网络。因此，连续的GCN操作允许信息在网络上传播，所以用来自观点词的信息对方面向量进行编码，这对于监督来说应该是足够的。具体来说，BiLSTM允许任意一个句子的方面词被语境化，而GCN发现了方面词汇在句法依存树中的局部位置，依存关系树中的本地位置编码单词相对于其邻居的具有依存关系信息，因此，Bi-LSTM和GCN允许方面词的嵌入具有区别特征，为分类任务提供监督信息。）

三.具体流程

1.词嵌入和双向LSTM层

（1）对于一个句子S={W1,W2,Wa1,Wa2,W5}经过词嵌入（Glove），加入词性嵌入和位置嵌入整合后作为Bi-LSTM的输入，其中Wa1,Wa2是方面词汇
（2）经过Bi-LSTM后输出为H0=，作为GCN层的输入

2.依赖树上的图卷积

（1）根据句子构建依赖树，根据依赖树构建邻接矩阵A（此处的依赖树是有向图，有自循环）

（2）来自LSTM的输出H0作为GCN的输入，经过多层之后得到Hk，其公式计算如下：

3.特定方面的Mask和平均池化

选取HK中的方面向量（仅选取方面向量对非方面向量进行Mask）进行平均池化：

注：本文选择仅聚合方面向量，因为我们相信这些向量分别由于BiLSTM和GCN而编码上下文和依赖性信息。

4.softmax分类

5.训练

最小化的目标函数是交叉熵误差，定义如下：

其中，s为一个句子，a为s的方面词汇。

四.实验设置

1.数据集

四种数据集：TWITTER，LAP14，REST14，REST16，与论文1相比少了REST15

2.参数设置

（1）使用Glove进行词嵌入（300维），30维词性嵌入（POS），30维位置嵌入（其用于识别每个单词相对于句子中的方面的相对位置），对这三个维度进行整合为50维作为Bi-LSTM的输入。

（2）Adam优化器

（3）学习率0.001

（4）GCN每层去掉10%的神经元，在输入层去掉0.7，GCN训练100个周期，批量为32

3.比较模型

（1）CNN+Position ，LSTM+Position （加入位置信息），CNN+ATT （加入attention机制）（这些模型通过使用平均池聚集所有学习到的嵌入来提取最终嵌入）

（2）TNet (Li et al., 2018a)

（3）PRET+MULT (He et al., 2018b)

（4）SA-LSTM-P (Wang and Lu, 2018)

（5）LSTM+SynATT+TarRep (He et al., 2018a)

（6）MGAN (Fan et al., 2018b)

（7）MGAN (Li et al., 2018b)

（8）HSCN (Li et al., 2018b)

（9）ASP-BiLSTM（模型的受限版本，只利用BiLSTM来对特定方面表达式的上下文信息进行建模，只捕获上下文信息）

（10）ASP-GCN（模型的受限版本，利用GCN来对单词之间的依赖关系进行建模，只捕获依赖信息，这两种模型都在方面向量上提取最终的嵌入）

（11）CDT

五.实验结论

1.特定方面屏蔽对模型表现来说很重要

2.GCN层数为2时，CDT模型表现较好

3.实验发现BiLSTM可以在特定方面的上下文中识别意见词。然而，在一些复杂的环境中，它可能表现不佳。但是GCN可以在Bi-LSTM的基础上，通过利用单词之间的相关性来关注正确的观点单词。

4.基于方面的情感分类的建模表示通常需要捕获表示在目标方面推断的情感的信息词。基于BiLSTM的模型已经成功地在以前的工作中捕获了上下文信息。在本文中，我们将GCN模型与一个简单的BiLSTM模型相结合，旨在捕捉句子的结构和语境信息。我们已经展示了GCN成功地在依赖树上执行卷积来改进BiLSTM嵌入。可视化的实验结果支持我们关于仅基于方面向量提取最终嵌入的论点。事实上，我们提出的模型很简单，并且优于解决相同问题的更复杂和最新的模型。

论文2： EMNLP2019-Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree相关推荐

Aspect Based Sentiment Analysis经典模型
本文转载自:https://zhuanlan.zhihu.com/p/81542002 Different from document- and sentence-level sentiment an ...
Deep Mask Memory Network with Semantic Dependency and Context Moment for Aspect Level Sentiment Clas
这篇博文是Deep Memory Network在Aspect Based Sentiment方向上的应用的一部分,如果你已经熟知深度记忆网络并且看过其在ABSA的应用,只想看这篇论文,可以跳过直接阅 ...
【ACSA】Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis
Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis with Affective Kn ...
细粒度情感分析（Aspect Based Sentiment Analysis, ABSA），一个从零开始的案例教程【Python实现】
目录前言数据和源码你要了解的基础 1. 细粒度情感分析(ABSA)案例背景 1.1 任务介绍 1.2 数据基本介绍 1.3 如何评估ABSA的结果 2. 任务一:Aspect Term Extr ...
清华论文CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modali
CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality 创 ...
[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis
摘要基于方面的情感分析 (ABSA) 涉及三个基本子任务:方面术语提取.观点术语提取和方面级情感分类.早期的工作只专注于单独解决这些子任务之一.最近的一些工作集中在解决两个子任务的组合,例如,提取方 ...
情感分析论文阅读之《Aspect Level Sentiment Classification with Deep Memory Network》
本文利用了加入了attention机制的QA系统中的深度记忆网络,本文将aspect word的上下文信息作为memory m中存储的内容.实现了一个针对aspect-level的情感分类模型. ...
Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis论文阅读笔记（EMNLP2021）
目录标题翻译:基于Beta分布引导方面感知图的方面类别情感分析原文链接:https://aclanthology.org/2021.emnlp-main.19.pdf 摘要: 1 引言 2 相关工 ...
Multi-Interactive Memory Network for Aspect BasedMultimodal Sentiment Analysis（AAAI-2019）
随着多模态用户生成内容(如文本和图像)在互联网上的流行,多模态情感分析近年来受到了越来越多的研究关注.在方面层面的情感分析中,多模态数据通常比纯文本数据更重要,并且具有各种相关性,包括该方面对文本和图 ...

论文2： EMNLP2019-Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree