图片情感识别/分类/分析 概述
目录
- （一）简介
- 1. 情绪模型
- 2. 常用数据集
- 3. 问题难点（挑战）
- 3.1 数据标记困难
- 3.2 情感涉及的图片特征多样化
- （二）主要方法
- 1. 低级特征
- 2. 中级特征
- 3. 高级特征
- 4. 基于学习的特征
- （三）论文链接
（一）简介
图片可以用于传达某些情感，例如看到流浪狗的照片会让你感到悲伤，而看到美景的时候会让你心旷神怡。对图片所传达的情感进行识别分析是一个具有吸引力的问题。目前已经有很多的方法在研究这个课题，本博客主要对自己所看过的相关论文做一个总结分享。
1. 情绪模型
心理学中主要有两种情感表达模型：
- CES (Categorical Emotion States): 类别情绪状态。这种模型主要讲情绪设置为一组预先定义好的种类，例如：伤心，开心，激动等。这种模型所对应的方法将图片情感分析视为一个分类问题。
- DES(Dimensional Emotion Space): 维度情绪模型。其中常用的有 valence-arousal-dominance (VAD) and activity-temperature-weight (VTT) 模型，其中 VAD 模型常用一些。我们可以将其视为颜色中的三种基本颜色，通过不同数值的组合得到一个颜色。VAD 中 valence、arousa l和 dominance 三个维度给一个值就代表一种情感。这种模型所对应的方法将图片情感分析视为一个回归问题。
目前大部分的论文都是使用 CES 模型的，因为这个模型直观简单，但是理论上来说 CES 的情感表达能力不如 DES，比如特别伤心和有点伤心都属于伤心一类，但是在 DES 中各个维度的值就会不同。但是两者之间是有一定联系的。比如下图中的 © 子图，如果按照 CES 就是 fear 一类，如果按照 DES 三个维度对应的值就是 4.1956、4.49989 和 4.8378。
2. 常用数据集
- IASP (International Affective Picture System)
- IASPa
- Abstract
- GAPED (Geneva Affective Picture Database)
- MART
- devArt
- Tweet
- FlickrCC (Flickr creative common)
- Flickr
- Emotion6
- FI (Flicker and Instagram)
- Emotion6
- IESN
- FlickrLDL
- TwitterLDL
3. 问题难点（挑战）
3.1 数据标记困难
标记图片的情感是一件很困难的事情，一是构造大型数据集（深度学习通常需要大量数据）通常需要大量的人力，另外有一个很关键的问题就是情绪这个问题是很主观的：同一张图片不同人可能从中获得的情感是不同的，同一个人在不同时期对同一张图片产生的情感也可能是不同的。因此标注一个大型数据集很麻烦，导致现有的大型数据集很少。解决上述问题的方法之一就是一张图片多个人标注，当某一情感占据绝对优势的时候才放入数据集。具体的流程可以参考《Building a Large Scale Dataset for Image Emotion Recognition:
The Fine Print and the Benchmark》https://arxiv.org/abs/1605.02677.
3.2 情感涉及的图片特征多样化
不同图片可能引起人们情感的原因不同，例如有的图片是由于其中的物体，有的是其中的线条，有的是一些构图。因此是高层特征起作用还是低层特征起作用是一个重要的问题。例如 Abstract 数据集主要是由于其中的抽象特征（线条等）起作用，GAPED 数据集主要是图片中物体起作用。
（二）主要方法
1. 低级特征
最经典的论文《Affective Image Classification using Features Inspired by Psychology and Art Theory》http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.393.7676&rep=rep1&type=pdf，论文使用从美学艺术概念中提取出的特征来对图片情感进行分类。主要使用的特征如下图：
2. 中级特征
经典例子《Sun attribute database: Discovering, annotating, and recognizing scene attributes》http://static.cs.brown.edu/people/gmpatter/pub_papers/SUN_Attribute_Database_CVPR2012.pdf，文中主要用了 materials, surface properties, functions or affordances, spatial envelop attributes and object presence 的 5 个大类属性。
3. 高级特征
经典例子《Large-scale visual sentiment ontology and detectors using adjective noun pairs》http://www.ee.columbia.edu/ln/dvmm/publications/13/visual_sentiment_ontology_final.pdf，文中使用形容词名次对（adjective noun pairs (ANPs)）来对图片情感进行分类。
4. 基于学习的特征
上述的特征大部分都是有人手工定义的，因此泛化性能交差，比如低级特征的方法用户高级特征主导的数据集，可能表现会很差。深度学习具有学习特征表示的能力，因此有大量深度学习的方法提出来解决图片情感分类问题。
例如：
- 《Building a Large Scale Dataset for Image Emotion Recognition
The Fine Print and the Benchmark》https://arxiv.org/abs/1605.02677. - 《Joint Image Emotion Classification and Distribution Learning via Deep Convolutional Neural Network》https://www.ijcai.org/Proceedings/2017/0456.pdf
- 《Learning Multi-level Deep Representations for Image Emotion Classification》https://arxiv.org/pdf/1611.07145.pdf
- 《Dependency Exploitation: A Unified CNN-RNN Approach for Visual Emotion Recognition》https://pdfs.semanticscholar.org/45ff/2ecf58d84dab15c5651e4a10712329d26f36.pdf
- 《From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction》https://arxiv.org/pdf/1604.03489
- 《Retrieving and classifying affective images via deep metric learning》https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/17143/15724
第一篇论文：主要是基于迁移学习的，将预训练好的 ImageNet 迁移到情感图片数据集上，然后微调最后一层网络。
第二篇论文：主要使用了一种多任务学习框架，不仅学习了图片情感分类任务，还学习了标签分布。
第三篇论文：使用了一个多级网络，原理是前面的 CNN 学到的是低级特征，后面的 CNN 学到的是高级特征，然后再使用多个 CNN 层和完全连接层将多个特征融合到一起对图片情感进行分类。
第四篇论文：基于第三篇论文，进一步研究了不同级别特征之间的关系对图片情感进行分类。
第五篇论文：类似于第一篇论文的方面，基于迁移学习和微调的方法，不过其中的消融对照实验很有启发性。
第六篇论文：使用一种多任务学习框架结合度量学习，不仅学习了图片情感分类任务，还学习的情绪之间的关系。
（三）论文链接
- 《Building a Large Scale Dataset for Image Emotion Recognition
The Fine Print and the Benchmark》https://arxiv.org/abs/1605.02677. - 《Affective Image Classification using Features Inspired by Psychology and Art Theory》http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.393.7676&rep=rep1&type=pdf
- 《Sun attribute database: Discovering, annotating, and recognizing scene attributes》http://static.cs.brown.edu/people/gmpatter/pub_papers/SUN_Attribute_Database_CVPR2012.pdf
- 《Large-scale visual sentiment ontology and detectors using adjective noun pairs》http://www.ee.columbia.edu/ln/dvmm/publications/13/visual_sentiment_ontology_final.pdf
- 《Joint Image Emotion Classification and Distribution Learning via Deep Convolutional Neural Network》https://www.ijcai.org/Proceedings/2017/0456.pdf
- 《Learning Multi-level Deep Representations for Image Emotion Classification》https://arxiv.org/pdf/1611.07145.pdf
- 《Dependency Exploitation: A Unified CNN-RNN Approach for Visual Emotion Recognition》https://pdfs.semanticscholar.org/45ff/2ecf58d84dab15c5651e4a10712329d26f36.pdf
- 《From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction》https://arxiv.org/pdf/1604.03489
- 《Retrieving and classifying affective images via deep metric learning》https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/17143/15724
图片情感识别/分类/分析 概述相关推荐
- 图像情感识别研究方向
图片情感识别/分类/分析 概述 1.情感分类 当前情感分类上,主要把情感分为两类或者八类: 类别数 两分类 八分类 详细类别 积极 消极 搞笑 兴奋 满意 尊敬 厌恶 生气 恐惧 悲伤 2.图像情感分 ...
- 图片情感研究现状与思考
图片可以在情感层面上影响人,也能够直接表达人的情感.对于个人来说,图片情感是很主观的,但是人类对于图片的情感认知是有共性的,这也是图片情感识别的基础.现在关于图片情感的研究主要集中在两个方面:图片情感 ...
- 情感计算-基于肢体动作和生理信号的情感识别
基于肢体动作的情感识别 面部表情+ 肢体动作(更多的与表情.声音特征相结合进行识别),识别细微的情感 背景与研究现状 没有面部表情贡献那么大,辅助面部表情进行分析. 肢体动作的情感表现 肢体动作包含: ...
- TensorFlow学习笔记——车牌标志识别分类
TensorFlow--车牌标志识别分类学习笔记 本博客的内容是:在 BlackWalnut Labs 完成车牌标志识别实验的学习笔记 其中主要的部分是 BlackWalnut Labs 的实验过程介 ...
- 语音情感识别（Speech Emotion Recognition）相关资料
150 万条语音的情感分析 - 云+社区 - 腾讯云 深度学习论文笔记 - 一夜星辰 - 博客园 语音情感 - 博客园 语音情感 - GitHub 语音情感 - Gitee 语音情感识别 · GitH ...
- 基于LSTM的情感识别在鹅漫电商评论分析中的实践与应用
导语 深度学习(深度神经网络)作为机器学习的一个重要分支,持续推动了很多领域的研究和应用取得新的进展,其中包括文本处理领域的情感分类问题.由于可以对文本进行更有效的编码及表达,基于深度学习的情感分类对 ...
- 基于LSTM的情感识别在鹅漫评论分析中的实践与应用
深度学习(深度神经网络)作为机器学习的一个重要分支,持续推动了很多领域的研究和应用取得新的进展,其中包括文本处理领域的情感分类问题.由于可以对文本进行更有效的编码及表达,基于深度学习的情感分类对比传统 ...
- 实体词典 情感词典_人工智能技术落地：情感分析概述
从自然语言处理技术的角度来看,情感分析的任务是从评论的文本中提取出评论的实体,以及评论者对该实体所表达的情感倾向,自然语言所有的核心技术问题.因此,情感分析被认为是一个自然语言处理的子任务. 情感分析 ...
- 狗狗图片识别分类的CNN（卷积网络）实现
项目概述: 一种可用于移动应用或网络应用的算法. 代码将能够接受任何用户提供的图像作为输入. 如果从图像中检测出小狗,该算法将大致识别出小狗品种. 如果检测出人脸,该算法将大致识别出最相似的小狗品种. ...
最新文章
- Javascript与正则表达式个人总结与收录--高级篇
- Google 深度学习笔记 - Limit of Linear Model
- 神经机器阅读理解最新综述：方法和趋势
- pyqt 子窗口控制主窗口绘图_实战PyQt5: 005-主窗口QMainWindow
- 利用IDM工具下载ESA上的Sentinel数据
- Unity AssetBundle内存管理相关问题
- c语言爱心代码空心,c语言心形图案代码，是什么？
- 解析poj页面获取题目
- python使用xlwt创建与保存excel文件
- oracle主键id自动自增_Oracle主键ID设置自动增长（序列+触发器）
- 内镜手术机器人行业调研报告 - 市场现状分析与发展前景预测
- 直接拿来用！GitHub 上那些值得你 Star 的开源项目！
- NetBeans 6.9 正式版发布！
- 软件测试基本功 系列教程
- c++ pair类型的基本问题
- iOS 的keyChain
- 图书馆管理系统前端ajax接口,基于AJAX的图书馆管理系统的设计与实现
- sqlplus连接Oracle 11g 数据库
- java考试系统倒计时的实现_(Java程序设计）第11章设计考试系统中的倒计时.ppt
- Tcp滑动窗口协议简介