A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition

作者团队：Min Peng* Chongyang Wang* Tao Bi Tong Chen

发表：ACII 2019（International Conference on Affective Computing and Intelligent Interaction）

原文地址：A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition

1.摘要

自深度学习方法的成功引入以来，微表情的自动识别得到了极大的提高。在研究微表情本质的同时，利用深度学习技术的实践已经从处理整个微表情视频发展到对顶点帧的识别。利用峰值框架可以去除冗余的时间信息，从而忽略了与微表情相关的时间证据。本文提出了基于顶点帧的空间信息和基于相邻帧的时间信息进行识别的方法。为此，提出了一种新的apextime网络(ATNet)。通过在三个基准上的大量实验，我们证明了在顶点帧周围添加从相邻帧中学习到的时间信息所取得的改进。特别是，具有这种时间信息的模型在跨数据集验证中更加健壮。
关键词：微表情，深度学习，神经网络，特征融合。

模型

方法

平均方向幅度特征

首先是定位顶点帧，CASME2和SAMM的顶点帧已经给出，对于SMIC我们选取视频中间的那一帧作为顶点帧。顶点帧定位后，我们就可以提取它周围的时间信息。对于时间信息的提取基本采用光流算法。

实验

数据准备和模型实现

实验中用到了三个数据集，分别为CASME2,SAMM,SMIC。下表是对三个数据集的一个总结。

因为用到了三个微表情的数据集，而且SMIC只有三类的微表情标签，因此我们将其他两个数据集的微表情分为三类，即正类（happiness）,负类（anger,disgust,sadness,fear）以及surprise。由于顶点帧的数据非常少，所以我们在ATNet的空间流训练中应用了数据增强的策略，策略如下：旋转（最大不超过5度），像素位移（最大值为10），0.5的选择概率。

另外，为了避免过小的微表情数据带来的过拟合问题，我们预先在五个表情数据集上做了预训练。

ATNet的实现框架是Caffe。ATNet时间流中的LSTM层的隐藏单元数量是512。连接层之后使用概率为0.5的drop-out层。最初的学习率为0.01，每10个epoch下降10倍，总共有50个epoch。动量设置为0.9，权重衰减为5e-6。为了比较，我们还应用了基于注意力机制的方法。

验证方法

这里我们详细地叙述一下微表情识别中常被用到的 evaluation method：CDE和HDE。它们来自于 Micro-Expression Grand Challenge (MEGC) 2018。
CDE，即Composite Database Evaluation，复合数据集评估。我们将所有用到的数据集联合，然后做Leave-One-Subject-Out的验证。举个例子，假设我们用到两个数据集CASME2和SAMM，分5类，根据客观分类的方法理论上可以分七类，但是此处我们剔除了第六类和第七类，所以，最后这两个数据集我们能够得到47个Subjects。
HDE，即Holdout-Database Evaluation。HDE中使用了更为严格的跨数据集验证方式，使用其中两个数据集作为训练集，剩下的一个作为测试集。
为了识别微表情的类别，我们应用UAR（Unweighted Average Recall）和UF1（Unweighted F1 Score）作为指标

UF1=1c∑c=1C2∗TPc2∗TPc+FPc+FNc\ UF1 =\frac 1c\sum_{c=1}^C \frac {2*TP_c}{2*TP_c+FP_c+FN_c} UF1=c1c=1∑C2∗TPc+FPc+FNc2∗TPc

UAR=1c∑c=1CACCc\ UAR =\frac 1c\sum_{c=1}^C ACC_c UAR=c1c=1∑CACCc

ACCc=TPcc\ ACC_c =\frac {TP_c}{c} ACCc=cTPc

C表示的是类别的个数，TPc\ TP_c TPc，FPc\ FP_c FPc，FNc\ FN_c FNc分别代表了C分类下所有折叠的真正类，假正类和假负类的个数。Nc\ N_c Nc是类别C的样本个数

实验结果与讨论

CDE致力于测试不同主题（subject）下模型的泛化能力。
表格中比较了四种方法。在相同的归一化帧下，HOOF比LBP-TOP的结果更好，这是因为光流的特征比局部统计模式更能强调出面部的微小运动。另一方面，我们也发现在TIM=64时，HOOF方法取得了最好的效果，这可能时因为光流特征的计算依赖于帧序列。

结论

对于跨数据集的微表情识别，本文提出了一种新颖的神经网络框架，即ATNet,这个框架联合了从顶点帧种学到的空间特征和从顶点相邻帧种学到的时间特征。在两个跨数据集验证的方法下（CDE,HDE），相比于其他state-of-the-art的方法，ATNet可以得到更好的结果。从实验中我们可以得出，顶点帧的特征学习比相邻帧的时间特征学习更难以迁移。在HDE实验中，顶点帧的特征甚至阻碍了模型的性能。在未来的工作中，一个值得关注的焦点是为微表情的识别设计更好的时间动态特征，此外，另一个有趣的方向是在一个视频片段中自动地识别顶点帧。

峰值帧+时序信息跨数据集微表情识别相关推荐

阅读“微表情识别系统上的OFF-ApexNet”
文献精读笔记标题 3-微表情识别系统上的OFF-ApexNet 作者 Sze-Teng Lionga , Y.S. Ganb, , Wei-Chuen Yauc , Yen-Chang Huangd ...
Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别
Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别--2022 PRL 文章链接:https ...
论文笔记（微表情识别）：Micro-Attention for Micro-Expression Recognition
限制微表情识别准确性的两个方面: (1) 面部小局部区域微表情的存在 (2) 可用数据集大小的局限性(目前许多微表情数据集都远小于喂入网络的其他数据集,这可能会导致眼中的过拟合问题) 为此,本文提出了 ...
Fer2013 数据集人脸表情识别详细代码
Fer2013 数据集人脸表情识别详细代码本文将从数据集.模型训练.模型实践应用(AI模型落地场景实际应用)几个部分完整讲解基于Fer2013 数据集的人脸表情识别项目, 最终项目实现效果: 通过 ...
学习笔记之范海鹰微表情识别
微表情识别 1. 微表情由来 1.1 基本情绪和次级情绪 1.2 保罗·埃克罗的贡献 2. 微表情意义 2.1 微表情产生原理 2.2 微表情的形态意义 2.3 微表情的读心内涵 2.4 微表情的应用 ...
微表情如何用计算机分析计算,基于微表情识别的学生课堂专注度分析系统研究...
摘要: 在课堂教学中,教师关注每个学生的情绪变化和学习状态来调节教学有效提升教学质量.然而,目前的课堂存在教师精力不足,教学反馈延迟等问题,在一定程度上,影响教学质量的提升,阻碍学生的发展.近年来,随 ...
微表情如何用计算机分析计算,面部微表情识别若干关键技术之计算机研究
面部微表情识别若干关键技术之计算机研究论文价格:免费论文用途:其他编辑:vicky 点击次数:188 论文字数:31584 论文编号:sb2019053109223726543 日期:2019- ...
PRICAI 2016 论文精选 | 基于稀松K-SVD算法的自发性微表情识别
随着信息采集技术和传感器技术的迅速发展,利用计算机视觉技术识别微表情的相关研究实验已经越来越多.这些试验中,实际获取的图像数据的维数越来越高,如何有效地描述图像,方便后续处理,已成为图像处理.模式识别 ...
【计算机科学】mini-AORCNN:一种基于Bottleneck Transformer的轻量级微表情识别架构——CCF T2
mini-AORCNN:一种基于Bottleneck Transformer的轻量级微表情识别架构摘要微表情是一种能够体现人真实情感的自发面部动作,其持续时间较短,动作幅度轻微,识别难度较大,但是 ...
基于Python实现看图说话和微表情识别
1. 设计思想对于人类来说,描述一张图片的内容是非常重要的.但因这个过程并没有标准答案,因此对于计算机来说这并不是一个简单地过程.我们希望通过本次实验能够设计一个模型完成让计算机给图片设定 capt ...

峰值帧+时序信息跨数据集微表情识别

A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition

作者团队：Min Peng* Chongyang Wang* Tao Bi Tong Chen

发表：ACII 2019（International Conference on Affective Computing and Intelligent Interaction）

原文地址：A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition

1.摘要

模型

方法

平均方向幅度特征

实验

数据准备和模型实现

验证方法

实验结果与讨论

结论

峰值帧+时序信息跨数据集微表情识别相关推荐

最新文章

热门文章

峰值帧+时序信息 跨数据集微表情识别

A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition

作者团队：Min Peng* Chongyang Wang* Tao Bi Tong Chen

发表：ACII 2019（International Conference on Affective Computing and Intelligent Interaction）

原文地址：A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition

1.摘要

模型

方法

平均方向幅度特征

实验

数据准备和模型实现

验证方法

实验结果与讨论

结论

峰值帧+时序信息 跨数据集微表情识别相关推荐

最新文章

热门文章

峰值帧+时序信息跨数据集微表情识别

峰值帧+时序信息跨数据集微表情识别相关推荐