面部情绪识别基础知识积累—

1. MIT 媒体实验室的罗莎琳德·皮卡德（Rosalind W. Picard）于 1995 年提出了情感计算（Affective Computing）的概念，并于 1997 年正式出版了《情感计算》一书。在该书中，皮卡德把“情感计算”定义为“与情感有关、由情感引发或者能够影响情感因素的计算”。

（[1]R. W. Picard, "Affective Computing", MIT Press, London, England, 1997 ）

情感计算的发展：

1）1981 年， Aaron Sloman 就提出了研究人工情感问题；

2）1985 年，人工智能的奠基人之一， 1969 年图灵奖得主，现任职于MIT媒体实验室的Marvin Minsky提出了计算机与情感的问题。他在《脑智社会》（出版于 1988 年）中提出：问题并不在于智能机器是否能有情感，而在于没有情感的机器怎么能是智能的？

3）1995 年，MIT 媒体实验室的Rosalind W. Picard提出情感计算（Affective Computing）

目的：是赋予计算机感知、理解以及表达感情的能力。

核心：识别情感、分析情感和模拟情感。

2. 情感具有三种成分：主观体验（个体对不同情感状态的自我感受）、外部表现（在情感状态发生时身体各部分的动作量化形式，即表情）和生理唤醒（情感产生的生理反应）。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。

人类的情绪和情感是由三种组成成分构成的：主观体验、外部表现和生理唤

醒。其中，生理唤醒指的是情绪和情感引起的人体生理反应，涉及广泛的神经系
统。不同情绪、情感的生理反应模式是不一样的。例如：满意、愉快的时候心跳正常；而恐惧或暴怒时，心跳加速，血压升高，呼吸加快。同时，人类的各种情感还会引起皮质醇水平、心率、血压、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电 EEG 等诸多生理表象的变化。

研究这些表象的意义在于：这些表象基本上是由人体的植物神经控制的，而并非由动物神经控制，也就是说，当你恐惧的时候，你可以装作若无其事，甚至于脸上可以做出一个微笑的表情来掩饰，但是你真实情感引起的受植物神经控制的生理表象基本上是难以掩饰的。

3. 当前识别头部运动的方法主要分为两类。

一类是采用运动模板，从视频中提取头部运动模板来识别头部的运动情况。但是这种方法的鲁棒性不是很好，识别率不高；

另外一类，是通过识别并定位眼睛的位置，然后跟踪眼睛的运动情况来识别头部运动形式。然而这类方法，或者使用一些特殊设备，例如红外摄像机，通过画面中的亮瞳效应定位于追踪眼球；或者使用复杂的算法从人脸区域中再次定位并追踪眼睛区域，通过追踪眼睛的运动状况来识别头部的运动。以往研究人员大多只是研究了识别点头与摇头动作，而并没有提出识别低头和面部侧向一边的方法。

4. 鼻孔是人脸上最易识别、个体差异最小且不会随表情变化而运动的特征点，实验证明，本文提出的方法鲁棒性好，准确率高且计算量小。

5. 在人面部各种器官中，嘴唇在不同表情中的变化最丰富的。每种基本表情的极限状态中，嘴唇肌肉的动作都不一样。

具体的嘴唇动作定义

6. 在人类日常交流中，有 55%的信息是通过面部表情传递的。

7. 1972 年，著名学者保罗·艾克曼（Paul Ekman）提出了脸部情感的表达方式（Facial Action Coding System, FACS）。

FASC受到其他研究者的肯定，很多后续情绪识别研究都是在此基础之上展开的。

基础：人类的面部表情的具体表现形式，是不受年龄、性别、种族、受教育程度等因素的影响的；

（[2]P. Ekman, W. V. Friesen, J. C. Hager, "Facial Action Coding System",
Research Nexus, a subsidiary of Network Information Research Corporation,
Made in the United States of America, 2002, ISBN 0-931835-01-1 ）

对面部肌肉结构分布图如下：

对面部不同位置的具体定义：

8. Sophisticated Highspeed Object Recognition Engine（SHORE）

团队：德国弗劳恩霍夫研究所的一个研究成果；

评价：快速、实时、可靠的人脸检测系统；

功能：自动定位视频中的人脸，识别人脸的性别，年龄，眼睛位置以及闭合情况。

及 4 种基本表情：happy/sad/angry/suprised;

数据来源：采用4个数据库的数据做不同实验的验证，数据库分别为CMU+MIT,BioID，JAFFE， FERET fafb data set)

后期工作：加入姿态评估功能，情感识别的功能完善。

对于此情绪识别的工具箱的具体了解可以参考网页：https://www.iis.fraunhofer.de/en/ff/sse/ils/tech/shore-facedetection.html点击打开链接

（[3]C. Kueblbeck, A. Ernst, "Face detection and tracking in video sequences using the modified census transformation", Journal on Image and Vision Computing, vol. 24, Issue 6, 2006, pp. 564-572.）

9.Computer Expression Recognition Toolbox (CERT)

团队：美国加利福尼亚大学，2011（2008）年；

数据来源：FASC表情库；实时采集；

功能：快速、实时检测面部动作，并进行编码；

检测头部的运动姿态（偏转，抬头低头，左右晃动）

数据库：FACS（面部动作编码系统，Paul Ekman），或者实时采集视频；

应用：检测司机的睡意情况，正确率高达98%；

对于此情绪识别的工具箱的具体了解可以参考以下两篇文章。

（[4]Littlewort G, Whitehill J, Wu T, et al. The computer expression recognition toolbox (CERT)[C]//IEEE International Conference on Automatic Face & Gesture Recognition and Workshops. IEEE, 2011:298-305.

[5]Bartlett M, Littlewort G, Wu T, et al. Computer Expression Recognition Toolbox[C]// IEEE International Conference on Automatic Face & Gesture Recognition. IEEE, 2008:1-2.）

界面如下：

二、存在的问题：

1. 目前大多面部表情研究都是以区分不同表情为目的，实际上，除了表情的种
类以外，表情的程度也是反映人类情感的一个表象。同一表情的不同程度，例如
微笑与大笑、不悦与暴怒，会反映出的具有很大差别的心理活动。而衡量表情程
度目前并没有一些能够得到公认的比较优秀方法。（模糊数学理论尝试）

2. 通过识别并定位眼睛的位置，然后跟踪眼睛的运动情况来识别头部运动形式，计算量大，且以往研究人员大多只是研究了识别点头与摇头动作，而并没有提出识别低头和面部侧向一边的方法。

3. 面部情绪仅能做到基本少类情绪的识别，对于多类识别效果不好。且对于动作的幅度大小没有一个具体的衡量标准。

面部情绪识别基础知识积累——背景相关推荐

人脸识别基础知识、大规模人脸识别评测
文章目录: 1 人脸识别背景介绍 1.1 人脸1:1比对 1.2 人脸1:N搜索 1.3 人脸N:N搜索 1.4 人脸虚拟ID的聚类 1.5 人脸识别的基本流程 2 人脸识别前沿算法 2.1 人脸识别 ...
python人脸关键点识别,基础知识(十三)dlib python人脸检测特征点定位
import cv2 import dlib import numpy as np #根据人脸框bbox,从一张完整图片裁剪出人脸 def getface(): bgrImg = cv2.imread ...
angular的基础知识积累——ngif-else理解！
1.ngIf--else概念后面引用的必须是模板中引用的元素:ng-template 注意: DOM树中不会留下template的踪迹,如果想加标签(div,p等)可以在ng-template里写他 ...
python图像人类检测_Python 超简单实现人类面部情绪的识别
还记得我们之前写过一篇文章<手把手教你人脸识别自动开机>吗?里面用OpenCV对人脸进行简单的识别,让计算机训练认识到某个特定人物后识别对象.今天来做点高级的,识别出人脸的情绪. 本文分为 ...
高光谱遥感数据光谱特征的提取与应用---高光谱基础知识科普论文
论文地址高光谱遥感数据光谱特征的提取与应用杜培军遥感基础知识积累: 绝对温度大于0的物体在整个光谱轴上具有连续的光谱曲线高光谱可以有效的描述一些窄而重要的局部光谱特征,可以明显看到高光谱对于光 ...
2022年iFLYTEKA.I.开发者大赛疫情微博情绪识别挑战赛
自然语言技术零基础入门NLP - 新闻文本分类基于word2vec的word相似度疫情微博情绪识别挑战赛自然语言技术背景一.赛事任务二.使用步骤 1.README 2.数据下载 3.模型 ...
语音信号之基础知识（一）
%%感染了一个学年的语音氛围,自己也做了一些这方面的研究,但仿佛空中架楼,很多基础不是很扎实,而且前晚忽然意识到语音的重要,所以打算一点一点把语音基础知识积累起来,而且为了加深理解和便于复习,特此记录 ...
高通平台8953 Linux DTS(Device Tree Source)设备树详解之一(背景基础知识篇)
本系列导航: 高通平台8953 Linux DTS(Device Tree Source)设备树详解之一(背景基础知识篇) 高通平台8953 Linux DTS(Device Tree Source ...
MFC 基础知识：对话框背景添加图片和按钮Button添加图片
很长时间没有接触MFC相关的知识了,我大概是在大二时候学习的MFC相关知识及图像处理,现在由于要帮个朋友完成个基于C++的程序,所以又回顾了下相关知识.的确,任何知识一段时间过后都比较容易忘记,但回顾 ...

面部情绪识别基础知识积累——背景

面部情绪识别基础知识积累——背景相关推荐

最新文章

热门文章