情感极性：关于中文情感分类的知识

一、文本分类

1、什么是文本分类？

文本分类，就是在预定义的分类体系下，根据文本的特征（内容或属性），将给定文本与一个或多个类别相关联的过程。

2、文本分类的具体步骤？

（1）构建分类类别体系

（2）获取带有类别标签的文本

（3）文本的特征选择及权重计算

（4）分类器的选择与训练

（5）文本的分类应用

3、类别体系

一般的文本分类基于文本内容，将文本自动划分为政治、经济、军事、体育等等类别。按目前互联网网页内容分类，还可以覆盖更多类别，比如旅游资讯、游戏、人物访谈、音乐、影视、软件、文学、健康、美食、财经、教育、广告、犯罪、自然灾害等，每一个分类还可以拓展子分类，具体情况还需要以实际项目需求为准。

对应每一个类别，都可以训练出对应的词特征文件。对应到类别的细分或者合并，只需要简单的将词特征文件按需要进行分拆或者合并，具有比较好的扩展性。

4、文本获取

互联网信息资讯非常庞大，除了各大厂商自身拥有的海量数据，还可以基于爬虫技术进行数据获取，这里有一个简单的例子：京东商城评论数据获取

但实际上互联网上存在非常多没有标注的数据，这时候可以考虑无监督或者弱监督的方法，不过效果相比监督方法较差。这时候可以选择人工进行标注，但这部分工作异常耗费人力。

5、文本特征选择

（1）什么是文本？

一个文本表现为一个由文字和标点符号组成的字符串，由字或字符组成词，由词组成短语，进而形成句、段、节、章、篇的结构。

（2）为什么要选择特征？

要进行文本分类，必须将文本转化为计算机可以理解的形式，这种形式要能够真实反映文本的内容并且具有将不同文档区分开的能力。

（3）什么是特征？

目前比较流行的方法是将文本表示为向量空间模型（VSM），如one-hot向量等。而特征是VSM中最小的不可分的语言单元，可以使字、词、词组或者短语等。一个文本可以看成是它含有的特征项所组成的集合，如进行分本分词后产生的词列表，关于分词可以参考：浅谈中文分词与jieba源码

（4）怎么选择特征？

在进行文本分词后，会产生大量的词，而很多词如：“”我“”，“”的“”等对于类别不具有可分性，同时如果特征数目太大，膨胀起来也会造成位数灾难等困难，所以需要对特征进行一定的选择，下面列举几种特征选择方法，不做详细介绍：

1）基于文档频率的特征提取

2）信息增益法

3）卡方统计量

4）互信息法

6、特征权重计算

关于文本的表示，实际上不只是特征的集合，而应该是特征与该特征的权重的某种组合。特征的权重衡量了某个特征在文本表示中的重要程度或区分能力的强弱。

下面同样列举几种方法：

1）布尔权重：这种方法形式成的文本表示一般称为one-hot向量

2）TF、IDF、TF-IDF：基本文本频率或文本频率倒排的计算，TF-IDF效果相对较好

3）基于错误驱动的方法

这里说一说目前比较流行的word2vec，笔者不太确定这个方法是否归于这个分类底下，但从字面意义理解上很相似。word2vec严格来说并不能算是一种权重计算方法，该方法的作者实际上是提出几种训练语言模型的方法，在训练完毕后得到的副产品才是所谓的词向量，但总体来说同样起到了权重计算的方法。

7、分类器的选择、训练与应用

前面将文本表示构建完毕，接下来就是分类器部分了。关于分类的内容比较多，这里只是简单列举几种方法，不做介绍：

传统的统计学习方法：支持向量机、朴素贝叶斯、knn，或者深度学习方法：CNN、RNN等等

二、情感分类

1、什么是情感分类？

与上文的文本分类不同，情感分类是对带有感情色彩的主观性文本进行分析，将文本分为积极、中性、消极等类型的过程。按照处理文本的粒度不同，情感分类可以分为词语级、短语级、句子级、篇章级以及多篇章级等层次；按处理的文本类别不同，可分为基于新闻的情感分类和基于产品评论的情感分类等等。

大部分处理过程与上述文本分类很相似，这里不多介绍。

2、情感分类的主要方法

（1）基于词典的方法

基于词库的方法的关键点在于极性词库的搭建，这里可以寻找网站的开源的极性词典或者手工抽取标注，是一个比较耗费人力的过程。

具体的方法可以简化为，对文本进行分词，之后对比极性词库，通过计算句子的正面得分，比如有多少词是正面的，与负面得分，及两者相加的综合得分，设定阈值进行比较，得到该文本的情感极性。

（2）基于机器学习的方法

基本上的方法和文本分类很相似，但关于情感分类在特征选择从而进行分类上有一些不同的地方

1）特征

情感分类中，有一种方法称为全词表法，即是将初步分词去燥之后的所有词都作为特征，结合已标注文本进行模型训练。这样的好处是单词能够全面保留，但特征维度较大。

另一种方法称为极性词表法，同文本特征选择，将用某种方法选择出来的特征保存下来，经过人工审核后，纳入极性词表，作为文本特征进行训练，这里和基于的词典的方法有一部分工作是相同的。

2）分类

情感极性判断中，如果进行积极、消极、中性的判断，这是一个三分类问题。但如果是评论的极性判断，则可以进行简化。

首先进行主客观判断，将客观语料分为中性，之后再进行正负极性的判断。这样，就可以把一个复杂的三分类问题，简化成两个二分类问题了。

三、参考

1、《统计自然语言处理》宗成庆

2、《情感分类研究进展》陈龙

3、https://www.qcloud.com/community/article/164816001481011844 腾讯文智

4、https://www.qcloud.com/community/article/164816001481011804 腾讯文智