面部微表情识别若干关键技术之计算机研究

论文价格：免费

论文用途：其他

编辑：vicky

点击次数：188

论文字数：31584

论文编号：sb2019053109223726543

日期：2019-06-25

本文是一篇计算机论文，本文对微表情自动识别进行研究，提出了一种基于深度特征时空融合的微表情识别方法，还提出了一种基于残差网络和长短时记忆网络的微表情识别方法，并在SMIC和CASMEII微表情数据库上对两种方法进行实验分析。

第一章绪论

1.1课题背景及意义

情绪在人类日常生活中有着至关重要的作用，能够直观反映人类当时的心理状态。人类在受到外界不同刺激时，心理状态呈现出不同的变化趋势。表情能够直观表现出人类的内在情绪，主要分为三种形式：人脸表情、语音语调表情和姿态表情。其中，人们常说的表情指的是人脸表情，这类表情称为宏表情。尽管宏表情的种类繁多，但这些表情大体上可以分为三种，分别是积极的表情、惊讶和消极的表情。积极的表情主要指高兴，消极的表情包括伤心、厌恶、恐惧和生气。宏表情的持续时间是3/4s-2s，宏表情动作幅度大并且未受到抑制。

目前，将微表情识别用于测谎的应用最多，因为微表情与撒谎紧密相关。测谎在国家安全、司法审判等方面有很大的应用价值，通过测谎能够维护公共安全、防止恐怖事件的发生，还能够有效帮助侦破案件、打击罪犯。同时，微表情识别还能应用于医学诊断领域，医生可以通过了解病人的心理状态、疼痛表现等细节信息更好地针对病人的需求为病人提供更好的治疗方案。在精神病方面，医生可以从病人隐藏的微表情中读取其真实情绪，从而及时有效地对病人进行劝导，防止出现伤害自己、伤害他人的行为。

除测谎外，微表情识别的心理学应用也受到广泛的关注。目前，心理学家和神经学家正试图通过解读微表情来解读人类心理变化。还有一些研究人员基于学生的微表情进行教学评价机制构建的研究、对人际交往中的微表情进行研究、对微表情在三维动画角色表演中的研究、在海关安检时通过微表情心理学提升旅检人员的专业素养等。

........................

1.2微表情识别研究现状

由于多数人在未经培训的情况下不具备观察到微表情的能力，微表情识别相关的研宄无法有效开展。为了解决这个问题，2002年，Ekman等人开发了第一个微表情训练工。该工具不仅包括前测、训练、练习3个阶段，还包括了复习和后测2个部分。该工具首先检测被试者识别微表情的能力，随后教给被试者一些微表情识别相关的知识，然后让被试者通过练习并复习巩固学到的知识，最后验证被试者对微表情的识别水平是否提高。通过验证，使用该工具对被试者进行一个半小时的练习和巩固，被试者的微表情检测识别能力均有提高。可见，该工具能够提高人类裸眼检测微表情的水平，有效解决了多数人不具备微表情识别能力的问题，为微表情识别的研究做出了很大的贡献。

图1.1展示了AU0和AU4的区别。AU0是无表情的状态，AU4则是皱眉的状态。AU4主要有以下特征：眉毛降低并且两个眉毛相互靠拢，眼皮向下并且睑裂变窄，眉毛之间产生皱纹。AU4在日常生活中较为常见，当人们感到生气、焦虑、痛苦时都有可能出现AU4，甚至人们在思考问题时脸上也会出现AU4。尽管AU4能匹配的情绪很多，但最常见的匹配情绪是愤怒。

...........................

第二章经典微表情识别技术与数据集介绍

2.1微表情识别基本步骤

微表情识别的基本流程包括以下步骤：

第一，获取人脸微表情图像，对图像进行预处理；

第二，微表情检测、特征提取；

第三，微表情分类。

具体过程如图2.1。由于微表情和宏表情存在较大差异，微表情自动识别需要结合其持续时间短、强度低、基本只出现在部分面部区域的特点，排除宏表情和其他无关干扰，为微表情自动识别方法的改进提供理论和实践基础。

.........................

2.2微表情数据集介绍

对于微表情识别来说，建立一些内容丰富可靠的数据库是必要的。但是，现有的微表情数据库数量较少，每个数据库的微表情样本也不多。按照微表情的诱导方式可分为两类：一类是模仿形成的微表情数据库，另一类是自发形成的微表情数据库。

微表情识别的核心是特征提取和分类的方法，本章系统地研究了微表情识别的基本流程，分别在图像预处理、特征提取、分类三个方面剖析了主要的研究方法。然后对现有的微表情数据集进行系统地介绍，并且对比了各数据库的特点。

对面部图像序列进行特征提取是微表情识别研究中的关键步骤，特征是否全面有效直接影响识别的准确率。鉴于微表情动作变化细微、持续时间短、基本只存在于部分人脸区域的特点，结合如今在识别任务中表现优异的深度学习技术，本章将深度学习用于微表情识别，提取微表情图像序列的深度时空特征并将两者融合，再将融合得到的特征用于预测分类。

..........................

第三章基于深度时空特征融合的微表情识别方法...............20

3.1深度学习...............20

3.2卷积神经网络介绍...............20

3.3深度时空特征融合模型...............20

第四章基于残差网络和长短时记忆网络的微表情识别方法................32

4.1相关技术................32

4.1.1局部感知野和权值共享................32

4.1.2残差网络................32

第五章总结与展望............46

5.1总结.............46

5.2展望...........47

第四章基于残差网络和长短时记忆网络的微表情识别方法

4.1相关技术

4.1.1局部感知野和权值共享

局部感知野的思想是模仿人类的视野，在看一幅图像时，人类的眼睛往往会将目光集中在图像的局部区域。假设每个神经元只和输入层中图像的3*3个神经元相关联，我们称该神经元与输入图像中的3*3的神经元关联的参数矩阵为卷积核。同样假设该层的神经元有1000*1000个，那么该层和下一层之间的参数个数能够从163亿多减少到900万个。参数量大幅度减少，并且该变化对网络性能影响甚微。

在卷积神经网络中，在使用卷积核对一幅图像进行卷积操作时，在不同的局部区域内，图像的某种特征可能是类似的，一个局部区域的特征也适用于其他局部区域，这样我们可以使用一个局部特征表示其他区域的局部特征，可以对同一图像的不同区域使用同样的权值，这个过程称为权值共享。我们假设输入图像的尺寸和上述一致，采用一个卷积核，第一层的神经元个数与上述一致，那么第一层与第二层之间的参数个数从900万个减少为9个，这在很大程度上减少了参数的个数，有效提高了网络学习训练的速度。

.........................

第五章总结与展望

5.1总结

首先，介绍了微表情识别的提出和定义，阐述了课题的背景及意义，综述了微表情的研究现状。该章的贡献在于指明了微表情识别研宄的意义，阐述了微表情自动识别的现状，概括了本文主要的研究内容，最后对本文的结构安排进行介绍。

在第二章中，从经典微表情识别方法出发，分别从预处理、检测、特征提取、预测分类几个方面介绍目前的研究方法。该章首先系统地介绍了预处理中用到的方法和技术，包括人脸检测与对齐、人脸裁剪、图像归一化。然后对特征提取的方法进行分类阐述，分别从基于梯度、运动、纹理、深度特征四个方面进行介绍并加以比较。该章介绍了主流的微表情分类方法，从最初的机器学习方法到如今的深度学习方法，微表情识别算法一直在改进。最后，全面地介绍了目前存在的微表情数据库，其中包括公开和非公开的数据库，并进行对比总结。

本文提出的微表情识别方法还停留在理论阶段，如何将研究成果与实际生活中的相似的问题联系起来，拓宽方法的应用范围，也是一个新的研究方向。同时，微表情的实际应用仍未实现，实时检测和识别微表情，是未来重要的发展方向。

参考文献(略)