Opinion Word Expansion and Target Extraction through Double Propagation

基于双传播的观点词扩展与目标提取

一、Abstract

-Opinion targets (targets, for short) are entities and their attributes on which opinions have been expressed.意见目标(简称目标)是指表达意见的实体及其属性。
-To perform the tasks, we found that there are several syntactic relations that link opinion words and targets.为了完成任务，我们发现有几种句法关系将观点词和目标词联系起来。
-These relations can be identified using a dependency parser and then utilized to expand the initial opinion lexicon and to extract targets.可以使用依存关系解析器来识别这些关系，然后利用它们来扩展初始意见词典并提取目标。
-This proposed method is based on bootstrapping.此提议的方法基于自举。We call it double propagation as it propagates information between opinion words and targets.我们称之为双传播，因为它在观点词和目标之间传播信息。
-A key advantage of the proposed method is that it only needs an initial opinion lexicon to start the bootstrapping process.该方法的主要优势在于，它仅需要一个初始意见词典即可启动引导过程。
-Thus, the method is semi-supervised due to the use of opinion word seeds.因此，由于使用了意见词种子，该方法是半监督的。
-In evaluation, we compare the proposed method with several state-of-the-art methods using a standard product review test collection.在评估中，我们使用一个标准的产品评审测试集，将所提出的方法与几种最先进的方法进行了比较。

二、Introduction

-The basic idea of our approach is to extract opinion words (or targets) iteratively using known and extracted (in previous iterations) opinion words and targets through the identification of syntactic relations.该方法的基本思想是使用已知的观点词(或目标)迭代地提取，并通过识别句法关系来提取(在之前的迭代中)观点词和目标。
-The identification of the relations is the key to the extractions.关系的识别是提取的关键。
-As our approach propagates information back and forth between opinion words and targets, we call it double propagation.由于我们的方法在观点词和目标之间来回传播信息，我们称之为双重传播。
-Opinion word sentiment or polarity assignment (positive, negative, or neutral) and noisy target pruning methods are also designed to refine the initially extracted results.还设计了观点词情感或极性赋值(正面、负面或中性)和噪声目标剪枝方法来优化初始提取结果。

2.1 Opinion Word Extraction 意见词提取
具体参考《情感分析history》，本文的方法使用依赖于领域的语料库提取意见词；因此，我们能够找到与领域相关的见解词。
2.2 Opinion Target Extraction 意见目标提取
-Opinion target (or topic) extraction is a difficult task in opinion mining.
意见目标（或主题）提取是意见挖掘中的一项艰巨任务。在此挖掘任务中，意见目标通常指的是产品功能，这些功能被定义为产品组件或属性，如Liu（2006）
-Hu and Liu (2004)频繁出现的名词和名词短语被视为产品特征候选。
-在我们的工作中，我们也仅提取名词目标。为了去除噪声，提出了不同的修剪方法。
-Popescu and Etzioni (2005),作者调查了同样的问题。但是，其提取方法要求事先知道产品类别。该算法通过通过Web搜索计算短语和特定类别的标识符之间的PMI分数，从而确定名词/名词短语是否是特征。如前所述，查询Web是一个问题。
-Scaffidi et al. (2007)作者提出了一种语言模型方法来提取产品特征，并假设产品评论中的产品特征比普通英文文本中提及的频率更高。但是，如前所述，语料库较小时，统计数据可能并不可靠。
-Kobayashi, Inui, and Matsumoto (2007) 最近的工作集中在方面评估（方面和评估分别代表我们上下文中的意见目标和意见词）和博客中的方面提取问题。他们的方面评估提取使用通过模式挖掘学习的句法模式来提取〈方面，评估〉对。
-我们的工作不同于他们的工作，因为我们使用依赖树中的语法关系。此外，我们不仅会考虑观点目标和观点词之间的关系，还会考虑许多其他类型的关系，这将在第3节中看到。
-Stoyanov and Cardie (2008),作者将目标提取视为主题共指解析问题。他们方法的关键是将拥有相同目标的观点聚集在一起。他们提出训练分类器来判断两个观点是否在同一个目标上，这表明他们的方法是有监督的。
-我们的工作与他们的工作不同，因为我们的方法是半监督的。
-Mei et al. 2007，其他与目标提取相关的工作主要是利用主题建模的思想来捕获评论中的目标。主题建模是对文档集的生成进行建模，挖掘文档中隐含的主题。
-然而，我们在主题建模方面的实验表明，它只能在文本中找到一些概括性或粗略的主题，并将它们表示为词簇。因此，它们的目的不同于我们的细粒度意见目标提取任务。

三、Relation Identification关系识别

-如前所述，识别意见词/目标与其他意见词/目标之间的关系是我们的意见词典扩展和目标提取方法的关键。在下文中，为方便起见，我们将意见词和目标对象之间的关系称为OT-Rel，将意见词本身之间的关系称为OO-Rel，将目标之间的关系称为TT-Rel。我们定义了两个范畴来概括句子中两个词之间所有可能的依存关系。

Definition 1 (Direct Dependency (DD))定义1（直接相关性（DD）
Definition 2 (Indirect Dependency (IDD))定义2（间接依赖关系（IDD））
the Part-of-speech (POS)词性（POS）
在这项工作中，我们使用斯坦福词性标注工具1进行词性标注，Minipar2作为句法分析器。我们认为观点词是形容词，目标词是名词/名词短语，这在以前的工作中已经被广泛采用。因此，观点词的潜在词性标记是JJ(形容词)、JJR(比较形容词)和JJS(最高级形容词)，而目标词的潜在词性标记是NN(单数名词)和NNS(复数名词)。
描述意见词和目标之间关系的依存关系包括mod、pnmod、subj、s、obj、obj2和desc，而意见词和对象本身的关系只包含合取关系conj。因此，我们将OT-REL、OO-REL或TT-REL表示为四元组<词性(Wi)，dt，R，词性(Wj)>，其中词性(Wi)是词wi的词性标记，dt是依存类型(即DD或IDD)，R是句法关系。 POS(Wi)和R的值如下所示。

四、Opinion Lexicon Expansion and Target Extraction观点词库扩展与目标提取

我们主要专注于产品评论。
其中目标指的是产品特征。（此后为了方便起见，我们将目标和产品特征(或简称特征)互换使用。）
如果我们知道Great是一个评论词，并且给出了一个类似于“通过mod直接依赖于评论词的名词作为目标”的规则，我们就可以很容易地提取图片作为目标。
同样，如果我们知道图片是一个目标，我们可以使用类似的规则提取形容词Great作为评论单词。
基于这样的观察，整个传播方法的思想是首先利用种子观点词典提取观点词和目标，然后使用新提取的观点词和目标进一步进行目标和观点词提取。传播结束，直到不能识别出更多的新意见词或目标。这样，即使种子观点词典很小，仍然可以高召回率提取目标(正如我们将在实验中看到的那样)，同时观点词典也得到了扩展。
For the opinion lexicon expansion, one important issue is to assign sentiment polarities to the newly found opinion words. We pro-pose a novel polarity assignment method to perform this task. In target extraction, we also propose several pruning methods to remove different types of noise introduced during the propagation process.对于观点词库的扩充，一个重要的问题是为新发现的观点词赋予情感极性。我们提出了一种新的极性分配方法来完成这一任务。在目标提取中，我们还提出了几种剪枝方法来去除传播过程中引入的不同类型的噪声。We will describe these methods in Sections 4.3and 4.4.
4.1 Propagation Rules Defined Based on Relations基于关系定义的传播规则
-在我们的传播中，有四个子任务
(1) extracting targets using opinion words;使用意见词提取目标
(2) extracting targets using the extracted targets;使用提取的目标提取目标
(3) extracting opinion words using the extracted targets; 使用提取的目标提取意见词
(4) extracting opinion words using both the given and the extracted opinion words.使用给定的和提取的意见词来提取意见词。
具体地说，我们使用R1i来使用意见词(O)来提取目标(T)，R2i来使用目标(T)来提取意见词(O)，R3i来使用所提取的目标(Ti)来提取目标(T)，并且R4i来使用已知的意见词(Oi)来提取意见词(O)。
以R11为例。在给定意见词O的情况下，提取具有NN作为其词性标签并且满足关系O-Dep的词作为目标。例如，我们有这样一句话the phone has a Good Screen，其对应的依赖树如图2所示，如果我们知道Good是一个意见词，并且通过{mr}中包含的mod依赖于Screen，并且Screen标记为Asnn，则可以使用R11来提取Screen作为目标
4.2 The Propagation Algorithm传播算法
在该算法中，提供了关于产品的评论词词典和评论数据作为输入。
这些步骤是按照传播顺序设置的。当不能再添加新的意见词或目标时，它会停止。
举例，假设我们在评论中有以下四个句子：
1）Canon G3 takes great pictures,
2）The picture is amazing,
3）You may have to get more storage to store high quality pictures and recorded movies,
4）and The software is amazing.
-我们只有一个输入意见词“great”，使用算法中的第4至6行，我们可以基于R1_1将’picture’提取为产品特征（或目标）。在给定该提取的特征的情况下，然后我们可以基于R2_2使用行16到18来确定“amazing”也是意见词，并且使用基于R3_1的行13到15来确定“movie”也是作为特征。
-在第二次迭代中，由于“amazing”被识别为观点词，因此可以基于R1_2使用第4至6行提取“softmax”作为特征。
-然后，由于不能提取更多的特征或意见词，传播停止。我们可以看到，通过传播，只使用一个观点词就可以发现该视图中的三个产品特征(即目标)和新的观点词。

4.3 Opinion Word Polarity Assignment意见词极性赋值
观点词的极性在许多观点挖掘任务中都是非常重要的。因此，新提取的观点词应该被赋予极性。我们现在提出一种基于上下文证据的极性分配方法。
-Observation 1 (same polarity for same target in a review):观察值1（评论中相同目标的极性相同）：
-Observation 2 (same polarity for same opinion word in a domain corpus):观察值2（域语料库中相同意见词的极性相同）：
-Based on these observations, we assign polarities to both newly extracted targets and opinion words.The polarity of a target in a review is the identified sentiment polarity on the target given in the review.The following rules are exploited to infer polarities for extracted opinion words and targets:基于这些观察结果，我们对新提取的目标和观点词进行了极性分配。评论中目标的极性是指评论中给出的目标上识别出的情感极性。利用以下规则来推断提取的意见词和目标的极性：
Heterogeneous rule:异类规则：对于已知目标提取的观点词和已知观点提取的目标，我们为其分配与已知极性相同的极性。因此，目标词的极性继承了关联意见词的极性。我们还考虑是否存在与意见词相关联的否定/相反词(通过检查周围5个词窗口中的每个词)。
Homogeneous rule:同类规则/齐次规则：对于由已知观点词提取的观点词和由已知目标提取的目标，除非它们之间有相反的词，否则我们将它们分配为与已知极性相同的极性。因此，我们认为只有当两个意见词或对象之间有奇数个这样的相反的词和否定时，极性才会改变。
Intra-review rule:内部审查规则：
4.4 Opinion Target Pruning意见目标剪枝
During the propagation, noise (incorrect targets and opinion words) may be introduced besides genuine targets and opinion words.在传播过程中，除了真实的目标和观点词之外，还可能引入噪声(错误的目标和观点词)。
-One major type of target noise is the ordinary nouns that are not targets but are extracted as targets due to parsing errors or their associations with opinion words or targets.目标噪声的一种主要类型是普通名词，它们不是目标，但由于分析错误或它们与意见词或目标的关联而被提取为目标。
-Another major kind of error in product reviews is the name of other competing products or dealers on which the reviewers also expressed opinions. We propose two corresponding pruning methods to identify these two types of noise. 产品评论中的另一种主要错误是其他竞争产品或经销商的名称，审查员也对此发表了意见。我们提出了两种相应的剪枝方法来识别这两类噪声。
-到目前为止，所有提取的目标都是单独的单词(如重量、大小)。然而，由于许多目标都是短语(如电池寿命)，我们需要从提取的单个单词中识别它们。
-第三种剪枝技术是在目标短语识别之后过滤剩余的非目标。请注意，第一种和第三种修剪技术可以用于其他类型的评论文本以及产品评论。
4.4.1 Pruning Based on Clauses.基于子句的修剪。
我们通过使用下面的语句来纠正第一类错误：一个句子从句通常只包含一个目标，除非有诸如“and”和“or”这样的连词。
例如，在apex DVD播放器一个月前的一次评论中，“我买了apex”这句话，apex和month都是根据规则提取出来的潜在目标。
由于这两个潜在目标在同一个子句中（我们使用Minipar确定子句的边界），并且不通过连词连接，因此必须删除其中一个。
We call this method clause pruning.我们称这种方法为子句修剪。
在这项工作中，我们会根据频率过滤非目标。也就是说，删除了数据集中频率较低的那个。使用基于频率的修剪的原因是，尽管审阅者通常有不同的说法，但是当他们评论相同的产品功能时，他们倾向于使用相似的词(Hu and Liu 2004)。
4.4.2 Pruning of Other Products and Dealers其他产品和经销商的修剪
4.4.3 Identifying Target Phrases and Global Pruning识别目标短语和全局剪枝

五、Experiments and Discussions

我们使用来自Hu和Liu（2004）的客户评论集3作为测试数据。（这个集合包含五个评论数据集：两个在两个数码相机上，一个在DVD播放器上，一个在MP3播放器上，一个在手机上。每个评审数据集的详细信息如表2所示，这些评审中的目标(即产品特性)已经标注）
这些评论中的目标（即产品功能）已被标记。虽然在每句话中对每个目标表达的意见也有标注，但是意见词的极性(或方向)没有标注。在我们的实验中，我们手动标注了观点词及其极性。种子意见词典也是由Hu和Liu(2004)提供的，包含654个正面意见词和1098个负面意见词。

5.1 Experiments on Opinion Lexicon Expansion意见词扩展实验
-为了比较我们的观点词典扩展方法，我们在Kanayama和Nasukawa(2006；以下简称KN06)中实现了该方法。关于这种方法的详细信息在第二节给出了。在我们的实验中，我们只考虑了形容词作为候选，因为我们的方法只涉及形容词观点词。由于KN06没有进行传播，我们还实现了一个非传播版本的方法，该方法只通过种子词和目标词来提取观点词，而种子词和提取的观点词都是由种子和目标词共同提取的。
-此外，由于我们的任务可以看作是一个顺序标注问题（用来标注一个单词是意见单词，目标单词还是普通单词），因此我们尝试了条件随机场（CRF）技术（Lafferty，McCallum和 “ Pereira 2001”进行提取，这是一种流行的信息提取方法，已成功用于诸如POS标记（Lafferty，McCalum和Pereira 2001）和命名实体识别（Finkel，Grenager和Manning 2005）之类的标签任务中。使用了著名的工具包CRF++4。我们考虑了两种处理窗口，一种是使用整个句子(CRF)，另一种是使用任意一对形容词和名词之间的词(CRF-D)。
-在第一种情况下，我们为训练、产品特征、非特征名词、意见形容词、非意见形容词、动词、介词/连词等设计了七个标签。
-在第二种情况下，我们利用了两个词之间最短依存路径上的关系，并将它们用作标签。通过这种方式，CRF被用来捕获单词之间的长范围依赖关系。对于这两种情况，我们都使用CRF++中的默认参数设置。
-在第二种情况下，我们利用了两个词之间最短依存路径上的关系，并将它们用作标签。通过这种方式，CRF被用来捕获单词之间的长范围依赖关系。对于这两种情况，我们都使用CRF++中的默认参数设置。
5.1.1 Comparison Results and Discussions
-图4、图5和图6显示了使用不同数量的种子意见词的不同方法的精确度、召回率和F分数的平均结果。CRF和CRF-D没有针对种子词的数量进行评估，因为这会导致CRF和CRF-D的训练数据太少，从而导致结果更差。这就是为什么它们的结果在所有情况下都保持不变的原因。Prop-dep是我们的传播方法，而noProp-dep是我们技术的非传播版本。
-可以发现我们的Prop-dep和noPrep-dep在几张图上的表现都优于其他，这表明我们基于依赖关系的规则在提取正确的意见词方面是有效的。
-CRF的精度很低，这意味着CRF很难区分普通形容词和观点形容词。
-CRF-Dover CRF的较好性能表明，长期依赖关系是有帮助的。
-据报道，KN06在日本的测试数据中有大约60%的精确度，但在我们的实验中，它的表现并不理想。一个原因可能是，KN06的统计估计衡量了一个词的积极或消极出现次数与其总出现次数相比，这可能会导致不可靠，如果单词在语料库较小的情况下很少出现。
-在我们的技术中，规则是在单句之间应用的。因此，它对测试数据的大小不敏感。另一个观察结果是，在我们的方法中，10p而不是80p获得了最好的性能。这是因为在80p处，大多数意见词(在种子列表中)是已知的，而剩余要提取的意见词的数量很少，并且它们通常更难识别。
图6

图7
5.1.2 Results of Polarity Assignment极性分配结果
图7显示了不同方法对新发现的正确意见词进行极性分配的准确性从结果中，我们可以看到noProp-dep在65p左右之前表现最佳（这意味着完整意见词典的65％）。 Prop-dep的性能比KN06差，但在种子数量增加时接近KN06，并且从50p左右开始优于KN06，从65p左右开始优于noProp-dep。考虑到我们的方法具有更高的召回率，在80p时，召回率大约高出20％（图5），因此该结果很有用。在10p，20p和50p时，我们方法的召回值甚至高于KN06。
5.2 Experiments on Opinion Target Extraction意见目标提取实验
对于意见目标提取的性能评估，我们将我们的工作(以及非传播版本，即只使用意见词提取目标)与Hu和Liu(2004，下称Hu)和Popescu和Etzioni(2005，下称Popescu)的工作进行了比较，后者也只考虑了显性名词目标，并在相同的数据集上进行了实验。这两种方法的详细信息已在第2节中进行了描述。此外，我们使用公共领域的程序5和CRF（CRF-D），使用工具包CRF ++对流行的主题建模算法PLSA（Hofmann1999）进行了实验。
-在PLSA中，最大迭代次数设置为500。由于PLSA仅将相同粗略主题的单词聚在一起，但不直接执行细粒度的目标提取，因此我们通过以下方式计算了精度，召回率和F分数结果将每个簇的前M个名词组合在一起，作为PLSA提取的目标。M的值和簇的数目是根据经验选择的。我们将Mas 10、20和30设置为10、20、30、40和50。我们使用基于F分数的最佳结果作为PLSA的每个数据集的最终结果。对于这五个数据集，DVD播放器的最佳结果是ATM=10，簇数为30，其余四个数据集的结果都是ATM=20，簇数为10。
5.2.1 Comparison Results and Discussion
NoProp-dep算法性能最好，说明规则对目标提取有一定的帮助，但传播过程中会引入噪声。
我们提出的方法仅依赖于审阅数据本身，不需要外部信息。
Table 4，如果不执行传播，则召回结果将比Hu和Popescu差得多，如noProp-dep中所示。因此，在提取大量目标中必须进行传播。CRF-D的性能优于CRF，这再次表明依赖关系有助于确定更多目标。
Table 5，PLSA和CRF的不良结果表明，这些方法可能不适合这项任务。如前所述，PLSA能够根据语料库中的概率分布将主题词聚类在一起，从而在大型文本集合中挖掘出粗略的主题。它不适用于细粒度的提取任务。因此，大量的非目标被包括在内。在意见词提取任务中，CRF和CRF-D表现不佳。

六、Conclusions

This article focuses on two important tasks in opinion mining, namely, opinion lexicon expansion and target extraction.本文重点讨论意见挖掘中的两个重要任务，即意见词典扩展和目标提取。我们提出了一种传播方法，在给定一个较小的种子观点词典的情况下，迭代地提取观点词和目标。
这些关系是根据依存语法在句法上描述的。We also propose novel methods for new opinion word polarity assignment and noisy target pruning.我们还提出了新的观点词极性赋值和噪声目标剪枝的新方法。
In the future, we plan to first focus on improving the precision of opinion word extraction by working on opinion word pruning methods. We will then also try to learn syntactic relations automatically from large corpuses using pattern mining techniques to improve the relation coverage.在未来，我们计划首先通过研究观点词的剪枝方法来提高观点词提取的精确度。然后，我们还将尝试使用模式挖掘技术从大型语料库中自动学习句法关系，以提高关系覆盖率。

2Opinion Word Expansion and Target Extraction through Double Propagation（2020-10-18）相关推荐

R语言as.double函数（转化为浮点型）和is.double函数（检验是否为浮点型）实战
R语言as.double函数(转化为浮点型)和is.double函数(检验是否为浮点型)实战目录 R语言as.double函数(
解决word，ppt，excel图标为空白（适用于新电脑）
解决word,ppt,excel图标为空白(适用于新电脑) 通常图标为空白的解决方法为设置word为文件的默认打开方式即可解决. 在我最近新换了一台电脑,发现此方式仅可以实现每次文件使用word打开的 ...
论文阅读：DuEE:A Large-Scale Dataset for Chinese Event Extraction in Real-World Scenarios（附数据集地址）
论文阅读:DuEE:A Large-Scale Dataset for Chinese Event Extraction in Real-World Scenarios 基于现实场景的大规模中文事件抽 ...
Word目录第一行和最后一行格式不对（首行缩进）的解决方案
[转载请注明出处: http://blog.csdn.net/lzl124631x] 最近又在写word文档,愈发觉得之前对word了解得太皮毛了,word实际上有很多功能自己都没开发过.但是我同时觉 ...
FreeMarker给word文档里生成多个柱状图（数据可修改）
项目场景: 上个博客生成了一个静态的柱状图也就是将柱状图的图片放到word里,这个博客说说 ftl文件里给他设置数据动态 1创建.docx文档模板: 类似于这样的模板 2.生成xml在线解析格式然后 ...
Asp.net实现直接在浏览器预览Word、Excel、PDF、Txt文件（附源码）
功能说明输入文件路径,在浏览器输出文件预览信息,经测试360极速(Chrome).IE9/10.Firefox通过分类文件及代码说明 DemoFiles 存放可测试文件 Default.aspx ...
大学计算机word图文混排,Word 2003从入门到精通第五讲（图文混排）讲稿
<Word 2003从入门到精通>第五讲(图文混排) 讲师朱先忠Part 0主要内容 Part 1插入图形在WORD2003中,插入图片的8种途径: 剪贴画来自文件来自扫描仪或者照 ...
word 中无格式粘贴的设置方法（快捷键和按钮）
2003 打开Word窗口,依次点击"工具/宏/Visual Basic编辑器",打开"Microsoft visual Basic"窗口,在左侧"工 ...
Word公式居中，公式序号靠右（制表位实现）
注意 1.制表位主要是调整两个参数的值: 2.页边距不同,参数的值也要改变. 步骤 1.新建样式"公式" 2.计算参数1.参数2 参数1 = (纸张宽 - 左页边距 - 右页边距) ...

2Opinion Word Expansion and Target Extraction through Double Propagation（2020-10-18）