图片情感识别/分类/分析概述

1.情感分类

当前情感分类上，主要把情感分为两类或者八类：

类别数	两分类		八分类
详细类别	积极	消极	搞笑	兴奋	满意	尊敬	厌恶	生气	恐惧	悲伤

2.图像情感分类方法

图像情感分类方法从特征角度来看，主要可以划分为三个方向，即：基于低端视觉特征的图像情感分类方法、基于语义特征的图像情感分类方法以及基于深度学习的图像情感分类方法。

2.1基于低端视觉特征的图像情感分类

基于低端视觉特征的图像情感分类方法，主要试图使用基础的人工特征来对图像进行情感分类。Ｗａｎｇ（２００６）通过结合色彩心理学的研究，建立了三个基于亮度、色彩饱和度、色调冷暖等的直方图，并通过支持向量回归的方法，研宄了其与情感之间的联系。Ｙａｒｍｌｅｖｓｋａｙａ（２００８）对图像抽取Ｗｉｃｃｅｓｔ特征跟Ｇａｂｏｒ特征，然后通过支持向量机对图像进行分类。Ｍａｃｈａｊｄｉｋ（２０１０）系统地从艺术跟心理学的角度，研究了图像情感与低端特征，例如颜色、纹理、线条组成、图像内容之间的联系。与之前的研究不同，Ｌｕ（２０１２）深入研宄了形状特征，诸如直线特征、曲线特征等对图像情感分类的影响。Ｗａｎｇ（２０１３）从美学角度提取图像的情感特征，但是与之前的工作不同，其更强调特征的可解释性，所有的特征都需要能解释出其与不同情感之间的关系。Ｚｈａｏ（２０１４）主要探讨了如何通过艺术规则，比如说对称性、轮廓、和谐性等特征，对图像情感加以分类。

2.2基于语义特征的图像情感分类

基于语义特征的图像情感分类方法，主要试图建立图像情感与诸如物体、场景等语义之间的联系。Ｂｏｒｔｈ（２０１３）筛选了１２００个形容词名词对，例如美丽的花、可爱的狗等，然后针对这１２００个概念，在传统低端特征的基础上建立了一个分类器，因而可以用图像对这１２００不同概念的响应，生成一个１２００维的情感特征向量，进行图像情感分类。与此同时，Ｙｕａｎ（２０１３）则是建立一个关于１０２个场景的分类器，其将图像对１０２个场景的响应结合人脸特征，作为情感特征，从而进行情感分类。

2.3基于深度学习的图像情感分类

基于深度学习的图像情感分类方法，主要试图通过深度学习的方法，让网络自动学习对情感分类最有帮助的特征，其特征是通过学习而来，而非人工设计。Ｙｏｕ（２０１５）设计了一个深度卷积神经网络进行图像情感分类，并且利用反馈的机制，滤除训练集中标注错误的数据，进一步提升了图像情感分类能力。Ｗａｎｇ（２０１６）通过两路网络分别学习形容词性质的描述性词语以及名词性质的物体词语的特征表示，最终将两路特征结合起来用于图像情感分类。

基于深度学习的图像情感分类方法，己经证明了其在图像情感分类上的独特优势，但是仍然有很多方向等待探索。首先，深度网络往往可以提供更具表达力的特征，那实际应用中，应该如何使用深度语义特征进行图像情感分类？此外，不同深度语义特征应该如何融合，以期进一步提升表达效果？这些都是有待进一步探究的问题。其次，虽然深度网络，可以自动学习到对情感分类最好的特征，但是其与传统方法一致，直接从整个图像上提取特征，即将一整幅图像用一个固定维度的向量进行表示，而没有去强调不同图像区域对最终情感分类的不同贡献，通过之前的难点分析可以看出，这也是当前急需解决的问题之一。

3.情感图像检索

情感图像检索主要以图像检索为基础。按照侧重点的不同，主要可以将其划分为两类，即基于特征表示的图像检索方法以及基于哈希的图像检索方法。基于特征表示的图像检索方法，按照特征抽取方式的不同又可以将其划分为两大类，即基于人工特征的图像检索方法以及基于深度特征的图像检索方法。

3.1基于人工特征的图像检索方法

基于人工特征的图像检索方法主要试图借助相关知识来人工设计特征，以期建立最基础的图像像素与高级语义之间的联系。在过去的几十年中，大量的全局特征以及局部特征被设计提出，用于一系列计算机视觉相关的任务之中（Ｌｏｗｅｅｔａｌ，１９９９：Ｙａｎｇｅｔａｌ，２００７；Ｗｕｅｔａｌ，２０１１）。当然，其中也包括图像检索领域。Ｊａｉｎ（１９９６）尝试使用颜色与边缘特征，进行图像检索。Ｍａｎｊｕｎａｔｈ（１９９６）则尝试建立纹理特征与图像检索之间的联系。Ｏｌｉｖａ（２００１）提出ＧＩＳＴ特征描述子，并用其抽取图像特征，然后用于图像检索之中。之后，Ｗｕ（２０１１）设计了ＣＥＮ-ＴＲＩＳＴ＇特征，并将其应用于场景图像检索之中。所有上述提及的方法，都是基于全局特征的图像检索方法，下面来介绍几种基于局部特征的图像检索方法。ＳＩＦＴ和ＳＵＲＦ是常见的图像局部特征描述子（Ｌｏｗｅｅｔａｌ，１９９９；Ｂａｙｅｔａｌ，２００６），Ｗｕ（２０１１）在这些局部特征的基础上，通过词袋模型对局部特征描述子进行量化，生成图像最终的特征表示，从而再将其应用到图像检索之中。Ｙｕ（２０１３）与Ｗｕ（２０１１）的工作类似，也是将词袋模型与局部特征描述子相结合，用于图像检索。所有上述工作，都推动了图像检索的早期研宄。

3.2基于深度特征的图像检索方法

基于深度特征的图像检索方法，主要在特征的抽取上，用深度网络某一层的输出作为最终的特征表示。通常而言，对于图像以及视频等相关问题，研究人员更多利用卷积神经网络，获取最终的图像特征表示。Ｄｏｎａｈｕｅ（２０１４）首先验证了以深度卷积神经网络中全连接层输出作为特征在众多计算机视觉相关问题中的普适性。Ｗａｎ（２０１４）则证实了深度卷积神经网络中全连接层深度特征在图像检索领域的突出表现。Ｂａｂｅｎｋｏ（２０１５）在深度卷积神经网络中卷积层特征的基础上，通过求和池化的方式，获取最终的特征表达，然后将其用于图像检索中。此外，Ｇｏｒｄｏ（２０１６）通过合并众多不同候选区域的卷积层特征描述子，最终得到固定维度的图像特征表示用于图像检索之中。

4.常用数据集

IASP (International Affective Picture System)
IASPa
Abstract
GAPED (Geneva Affective Picture Database)
MART
devArt
Tweet
FlickrCC (Flickr creative common)
Flickr
Emotion6
FI (Flicker and Instagram)
Emotion6
IESN
FlickrLDL
TwitterLDL

图像情感识别研究方向相关推荐

基于特征融合的图像情感识别
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 作者信息: 中国农业银行研发中心王哲图像中蕴含着大量的语义信息,如何挖掘这些信息,探究出 ...
【论文阅读】多粒度特征融合的维度语音情感识别方法
陈婧, 李海峰, 马琳, et al. 多粒度特征融合的维度语音情感识别方法[J]. 信号处理, 2017(3). 主要内容:针对传统维度语音情感识别系统采用全局统计特征造成韵律学细节信息丢失以及特征 ...
我用 YOLOv5 做情感识别！
作者 | 陈信达来源 | Datawhale AI技术已经应用到了我们生活中的方方面面,而目标检测是其中应用最广泛的算法之一,疫情测温仪器.巡检机器人.甚至何同学的airdesk中都有目标检测算法的 ...
yolov5做情感识别
AI技术已经应用到了我们生活中的方方面面,而目标检测是其中应用最广泛的算法之一,疫情测温仪器.巡检机器人.甚至何同学的airdesk中都有目标检测算法的影子.下图就是airdesk,何同学通过目标检测 ...
论文笔记：语音情感识别（二）声谱图+CRNN
一:An Attention Pooling based Representation Learning Method for Speech Emotion Recognition(2018 Inte ...
语音情感识别研究进展综述
人类之所以能够通过聆听语音捕捉对方情感状态的变化,是因为人脑具备了感知和理解语音信号中的能够反映说话人情感状态的信息(如特殊的语气词.语调的变化等)的能力.自动语音情感识别则是计算机对人类上述情感感知 ...
【论文阅读】智能设备中基于深度特征的语音情感识别
Badshah A M , Rahim N , Ullah N , et al. Deep features-based speech emotion recognition for smart af ...
图像情感分析标签分布学习
现实生活中,有部分分类问题相比起预测单标签,更需要预测多个标签或者样本关于各个标签的概率分布,也就是各标签对该样本的描述程度. 例如,对于图像情感分类任务而言,由于一张图像往往包含多种情感倾向,且不同 ...
AI读懂说话人情绪，语音情感识别数据等你Pick！
近日,小米推出了全面支持情感化语音交互的小米小爱音箱Art,小米也成为业内首家情感化TTS大规模落地的企业. 基于开心.关心.害羞等有限但类型不同的情感音频数据,通过不同技术训练并迭代声学模型,这款音 ...

图像情感识别研究方向