文本情感分析(介绍文章)--总结

本文主要对网上能搜索到的，现有的基于文本的情感分析方法进行总结和归纳。最终应包含4个内容：

1.什么是基于文本的情感分析
2.常用词典和数据库
3.自然语言处理流程
4.深度学习情感分析工具

首先介绍人工智能的三个发展阶段：
人工智能分为三个阶段：
第一个阶段：计算智能(主要涉及存储量，计算速度)
第二个阶段：感知智能(语音识别，图像识别)
第三个阶段：认知智能(主要是让机器能够思考，能够具有情感)

什么是情感分析：对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。利用机器提取人们对某人或事物的态度，从而发现潜在的问题用于改进或预测。这里我们所说的情感分析主要针对态度（attitude）。
注：Scherer 情感状态类型主要可以分为：
情绪（emotion）：有一定原因引发的同步反应。例如悲伤（sadness），快乐（joy）
心情（mood）：没有明显原因引发的长期低强度的主观感受变化。例如忧郁（gloomy），倦怠（listless）
人际立场（interpersonal stance）：对他人的特定反应。例如疏远（distant），冷漠（cold）
态度（attitude）：对特定人或事物的带有主观色彩的偏好或倾向。喜欢（like），讨厌（hate）
个性特质（personal traits）：相对稳定的个性倾向和行为趋势。例如焦虑（nervous），渴望（anxious）
什么是opinion：
一条评论可以分为四个部分（g，s，h，t）。g（target）为对象，s（sentiment）为情感，h（holder）为评论者，t（time）为评论时间
在更深层次分析时，实体（对象）在组成或属性上又可分为不同部分。可以使用简明化得树型图表示，根节点为实体，叶子节点为实体的不同方面。
这样评论又进一步分为五个部分（e，a，s，h，t）e（entity）为实体，a（aspect）为方面

主要过程：
1.确定一个词是积极消极、主观客观、情感强度。英文词典SentiWordNet。
2.确定一个句子是积极消极、主观客观、情感分值。
这里有个问题：同一个词在不同语境中可能表达不同的情感。
解决方法：建立不同领域情感词典、采用有监督学习
3.意见挖掘。找出对于不同属性、每一种属性的情感。然后将不同属性的情感汇总。

基于词典的情感分析大致步骤如下：对大于句子力度的文本进行拆解句子操作，以句子为最小分析单元；分析句子中出现的词语并按照情感词典匹配；处理否定逻辑及转折逻辑；计算整句情感词得分（根据词语不同，极性不同，程度不同等因素进行加权求和）；根据情感得分输出句子情感倾向性。

如果利用机器学习来做：基于机器学习的情感分析思路是将情感分析作为一个分类问题来处理

1.获取特征的传统方法有：Bag of Words (with or without its TFIDF), Bag of ngrams(with or without its TFIDF), Bag of means on word embedding (e.g. using word2vec embedding)
2.核心： new representation of the original text，即用一列features表示data point
3.传统的机器学习算法有：Logistic Regression，SVM，Naive Bayes，Neural Net，MaxEnt等
4.深度学习方法：CNN，RNN，LSTM都已经证明了很好的效果。
5.深度学习方法可以分为word-level和character-level基于字母的CNN方法，已经证明有很好的效果。

文本情感分析可以包含几个方面：
1.极性分析
2.标签抽取（属性+评价词）
3.观点挖掘
4.观点聚类
5.评论主体识别
6.意图识别（用户需求）
7.评论摘要生成
8.主观分析

情感词典构建（用这种方法，准确率高，召回率低）
1.基于bootstrapping方法的Predicting the semantic orientation of adjectives
2.Determining the sentiment of opinions

文本情感分析常见的难题：
1.在新闻场景下，难以获得训练集，人工标注难度很大。
2.口语化场景下，情感词典复杂，实体识别很困难。
3.反讽
4.流行语
5.文本过短，省略严重，导致歧义和指代错误
6.条件语句处理
7.处理否定词

常用数据集：
1.IMDB电影评论数据集
2.General Inquirer (Philip, 1966)
3.LIWC (Pennebaker, 2007)
4.MPQA Subjectivity Cues Lexicon (Riloff and Wiebe, 2003)
5.Bing Liu Opinion Lexicons (Bing Liu, 2004)
6.SentiWordNet (Stefano, 2010)
7.SentiStrength
8.rotten tomato review
9.Stanford Sentiment Treebank
10.GI（The General Inquirer）
11.python包textblob

深度学习情感分类工具：
1.svm分类 libsvm
2.python 机器学习工具scikit-learn，nltk，SpaCy，Textacy
3.深度学习框架：Tensorflow、Theano
4.算法fastText，据说state-of-art
5.SentiCircle算法，不去停用词

从文本中提取特征
可提取的特征：词向量，文本命题，命令实体，实体关系等等。
提取的方法有TFIDF,Bags of words,Skip-gram,CBOW,Word2vec,Seq2Seq,CRF,HMM,RNN,BILSTM,CNN等，还有各种分类方法。
附：https://www.zhihu.com/question/20700012/answer/23452462
https://www.zhihu.com/question/20700012/answer/90193176
这篇文章很全面
https://blog.csdn.net/liuyuemaicha/article/details/54135315
https://www.zhihu.com/question/31471793/answer/139282423

文本情感分析(介绍文章)--总结相关推荐

深入解读华为云细粒度文本情感分析及其应用
摘要:本篇文章主要介绍了情感分析的一些基本任务,包括文本.语音.图像还有生成.识别,着重讲述华为云在细粒度情感分析方面两个工作. 导读:先简单介绍一下文本情感分析的一些基本概念,然后介绍一下华为云在细 ...
TensorFlow文本情感分析实现
TensorFlow文本情感分析实现前面介绍了如何将卷积网络应用于图像.本文将把相似的想法应用于文本. 文本和图像有什么共同之处?乍一看很少.但是,如果将句子或文档表示为矩阵,则该矩阵与其中每个单元 ...
华为云专家带你解读文本情感分析任务
摘要:本文主要介绍了文本情感分析的主要任务,包括词级别的情感分析.句子级情感分析以及属性级情感分析等任务的介绍,同时介绍了华为云在这三个任务上的一些进展. 1 基本概念为什么:随着移动互联网的普及, ...
基于LSTM三分类的文本情感分析，采用LSTM模型，训练一个能够识别文本postive, neutral, negative三种
基于LSTM三分类的文本情感分析,采用LSTM模型,训练一个能够识别文本postive, neutral, negative三种 ,含数据集可直接运行完整代码下载地址:基于LSTM三分类的文本情感分 ...
【AI案例】（一）NPL文本情感分析
文章目录一.NLP文本情感分析概述二.文本情感分析难点三.具体方法与实现步骤 1.情感词典 2.高纬向量模型 1>概述 2>具体步骤如下: 1) jieba分词 2) Word2Ve ...
基于微博评论的文本情感分析与关键词提取的实战案例~
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤宣室求贤访逐臣,贾生才调更无伦. ...
NLP:文本情感分析快速入门
最近由中国计算机学会(CCF)主办,雷锋网,香港中文大学(深圳)承办的2018全球人工智能与机器人峰会(CCF-GAIR)在深圳召开,由于博主主要做NLP方向,主要在做情感分析,文本生成方面,所以主要 ...
vaderSentiment实现文本情感分析
1. 引入做文本情感分析(sentiment analysis),一般是需要自己标注数据,做特征工程,再训练模型,这样成本就很高. 当我们拿到一段文本,没有标注,也没有训练模型,有没有可能直接调用一 ...
基于SnowNLP的商品评论文本情感分析
摘要:情感文本电商情感标注分析研究是当前电商数据情感挖掘学术研究的重要热点,具有极高的国际应用价值.对当前电商手机在线商品评论词典进行情感文本电商情感标注分析与词典数据情感挖掘研究具有很 ...
NLP学习（十三）-NLP实战之LSTM三分类文本情感分析-tensorflow2+Python3
背景介绍文本情感分析作为NLP的常见任务,具有很高的实际应用价值.本文将采用LSTM模型,训练一个能够识别文本postive, neutral, negative三种情感的分类器. 本文的目的是快速 ...

文本情感分析(介绍文章)--总结

文本情感分析(介绍文章)--总结相关推荐

最新文章

热门文章