文章目录

前言
一、应用场景
二、具体流程
- 1.文本预处理
- - 1.1 分词，停用词，词典
  - 1.2 实体识别（命名体识别）
- 2.情感分析（情感分类）
- - 2.1 基于词典
  - 2.2 基于机器学习
  - 2.3 基于深度学习
- 3.未来方向
参考资料

前言

文本情感分析(Sentiment Analysis)是指利用自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和抽取的过程。本文用简短篇幅概览文本情感分析领域的应用场景，具体流程和未来前景。

一、应用场景

系统推荐、用户情感信息获取，为政府、企业提供舆情参考等领域

文本情感分析的技术方法还有改进的空间，在电子商务、心理治疗、舆情监控方面有较大市场和发展前景。

二、具体流程

1.文本预处理

1.1 分词，停用词，词典

NLP 常用的分词算法可以分为三类：1）基于词典的分词，基于字典、词库匹配的分词方法；2）基于统计的分词，基于词频度统计的分词方法；3）基于规则的分词，基于知识理解的分词方法。

分词时，在面对一些专有名词的时候，分词效果不太理想，此时可以引入用户的自定义词典，人工划分出词语，字典一般为 txt 格式。

实际应用中，很多语气助词或者人称代词都不是需要关心的，在最终的结果中希望能够将其过滤掉，这时就需要建立停用词词典。在分词时，会把停用词字典中的词过滤掉，改善分词的效果。

1.2 实体识别（命名体识别）

识别文本中的人名、地名、时间等实体的名称，就叫作命名实体识别。

实体识别方法：
1）基于词典和规则的方法

2）基于机器学习的方法（将命名体识别看作一个序列标注问题）
常用的序列标注模型有：
HMM，CRF，MEMM，SVM

3）基于深度学习的方法
在神经网络逐渐发展成熟后提出的，词向量的出现，可以解决高维空间的数据稀疏问题，也可以加入更多的特征。

2.情感分析（情感分类）

文本情感分析方法分为三类：

三种方法的优缺点对比：

2.1 基于词典

基于情感词典的情感分析法利用情感词典获取文档中情感词的情感值，再通过加权计算来确定文档的整体情感倾向。

情感词典的一般执行过程如图 1 所示。首先是将文本输入，通过对数据的预处理（包含去噪、去除无效字符等），接着进行分词操作，然后将情感词典中不同类型和程度的词语放入模型中进行训练，最后根据情感判断输出情感类型。

2.2 基于机器学习

在 ML中，SVM（支持向量机）和 NB（朴素贝叶斯）对于文本数据的分类效果较好。

基于机器学习的情感分类法比起构建情感词典有一定的进步，但是还是需要人工对文本特征进行标记，人为的主观因素会影响的最后的结果。

2.3 基于深度学习

深度学习其实是机器学习的一个子集，是多层神经网络在学习中的应用，覆盖了多个领域，涉及到较多知识，解决了以往的机器学习难以解决的大量问题。

基于深度学习的分词及情感词典构建：
分词、停用词、情感词典作为情感分析最基本的方法，如果能够在特定的领域构造一个专用的词典，假如这个词典的足够庞大，那么也可以得到较好的情感分析结果，出于这个想法，以深度学习为基础构造词典的想法就产生了。

单一神经网络：
情感分析大部分都是建立在 CNN、RNN、LSTM 等基本神经网络的基础上。

单一神经网络与注意力机制：
在单一神经网络的基础上，引入注意力机制，注意力模型最初被用于机器翻译，现在已成为神经网络结构的重要组成部分，并在自然语言处理领域有着大量的应用。注意力模型借鉴了人类的注意力机制，能从众多信息中选择出对当前任务目标更关键的信息，在情绪分析中可以更加关注代表情绪的词汇。

混合神经网络：
除了对单一神经网络和加入自注意力机制的研究外，有不少学者在考虑了不同神经网络的优点后将这些结合起来，取长补短，并用于情感分析。

预训练模型：
预训练模型是指用数据集已经训练好的模型，研究者希望花了很多时间训练的模型可以保留下来，在遇到类似情况的时候，可以调整参数后直接使用，就节约了再训练的时间，也能得到较好的结果。

预训练模型作为一种迁移学习的应用，它可以将从开放领域学到的知识迁移到下游任务，以改善低资源任务，对低资源语言处理也非常有利，在几乎所有 NLP 任务中都取得了目前最佳的成果。

3.未来方向

在语境中，目前还没有找到较好的方法处理反语；大部分的分类仍使用的二分类情感分析，对于多分类的情感分析还没有好的效果；多模态融合语料的情感分类也是近年的热点，不同模态中情感信息的权重如何分配，考虑外部语义信息对情感分类的准确性是否有帮助，也需要研究。

参考资料

DOI：10. 11772/j.issn.1001-9081. 2021071262
DOI：10.3969/j.issn.1007-130X.2021.01.021
DOI：10.3778/j.issn.1002-8331.2101-0022
Aspect Based Sentiment Analysis总结（一）——任务和数据 - Jsgfery的文章 - 知乎
https://zhuanlan.zhihu.com/p/81513782

文本情感分析综述笔记相关推荐

文本情感分析综述[哈工大2010]笔记
原文链接: http://chenhao.space/post/f6969e4.html 引言文本情感分析又称意见挖掘,简单而言,是对带有情感色彩的主观性文本进行分析.处理.归纳和推理的过程.按照处 ...
自然语言处理之文本情感分析
1.导语深度学习近些年取得突破性的发展,目前深度学习技术在人工智能领域应用最广泛的两方面就是CV(计算机视觉)和NLP(自然语言处理),在本次夏虹老师的<人工智能>课程上,我和我的小组成 ...
TensorFlow文本情感分析实现
TensorFlow文本情感分析实现前面介绍了如何将卷积网络应用于图像.本文将把相似的想法应用于文本. 文本和图像有什么共同之处?乍一看很少.但是,如果将句子或文档表示为矩阵,则该矩阵与其中每个单元 ...
NLP 实战：手把手带你搞定文本情感分析
随着移动互联网的普及,很多人已经习惯于在网络上表达意见和建议.比如电商网站上对商品的评价.社交媒体中对品牌.产品.政策的评价等等.这些评价中都蕴含着巨大的商业价值.而对这种评价的分析就是情感分析的主要 ...
自然语言处理(NLP)之使用LSTM进行文本情感分析
情感分析简介文本情感分析(Sentiment Analysis)是自然语言处理(NLP)方法中常见的应用,也是一个有趣的基本任务,尤其是以提炼文本情绪内容为目的的分类.它是对带有情感色彩的主观性文本 ...
python 文本分析库_Python有趣|中文文本情感分析
前言前文给大家说了python机器学习的路径,这光说不练假把式,这次,罗罗攀就带大家完成一个中文文本情感分析的机器学习项目,今天的流程如下: 数据情况和处理数据情况这里的数据为大众点评上的评论数 ...
NLP之情感分析：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)之全部代码
NLP之情感分析:基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)之全部代码目录全部代码相关文章 NLP之情感分析:基于python编程(jieba库)实现中文文本情 ...
NLP之NBGBT：基于朴素贝叶斯(count/tfidf+网格搜索+4fCrva)、梯度提升树(w2c+网格搜索+4fCrva)算法对IMDB影评数据集进行文本情感分析(情感二分类预测)
NLP之NB&GBT:基于朴素贝叶斯(count/tfidf+网格搜索+4fCrva).梯度提升树(w2c+网格搜索+4fCrva)算法对IMDB影评数据集进行文本情感分析(情感二分类预测) ...
ML之NBLoR：利用NB(朴素贝叶斯)、LoR(逻辑斯蒂回归)算法(+TfidfVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析—五分类预测
ML之NB&LoR:利用NB(朴素贝叶斯).LoR(逻辑斯蒂回归)算法(+TfidfVectorizer)对Rotten Tomatoes影评数据集进行文本情感分析-五分类预测目录输出结果 ...

文本情感分析综述笔记