Action Unit到底是什么？

action unit 有0~5共6个强度，编号A到E代表1到5， 0是没有AU

数据的形式是标注的视频帧，

有6个常用的数据集：

DISFA 数据库。

丹佛大学自发面部运动单元数据库( Denver Intensity of Spontaneous Facial Action database，DISFA) ［5］建立于2013 年，采集了15 位男性和12 位女性，共27 位被试的AU 视频样本。被试坐着观看由YouTube 上的9 个片段拼接而成242 s的视频，每个片段激发一种情绪。在此过程中摄像机从正面采集被试的面部表情，被试所处环境如光照、背景等条件一致。视频样本分辨率为1024 × 768，帧率为20 fps( frame /second) ，每位被试均采集4 845 帧。2 名FACS 专家在数据库中每帧图像上标注了12 种AU 的起始和终止，同时按照0 ～ 5 共6 个级别标注了AU 强度

BP4D-Spontaneous 数据库。

BP4D-Spontaneous［6］简称BP4D，由宾汉姆顿大学和匹兹堡大学合作建立，采集了18 位男性和23 位女性，共41 位被试的视频样本。不同于直接观看视频激发情绪，BP4D 采集过程中通过指导被试作8 个任务激发相应的情绪，整个过程由专业演员主持，任务之间通过被试自评确定是否产生期望的情绪。数据集中包含每个任务对应的2D 和3D 视频，只保留表情显著的片段，每段平均时长1 min。对于每个视频中一段20 s 表情最为丰富的片段，由2 位FACS 专家标注27 种AU的起始和结束，同时对于AU12 和AU14，按照0 ～ 5 的级别标注强度。该数据库与DISFA 是目前学术界使用最为广泛的两个AU 检测基准数据库。
EmotioNet 数据库。

俄亥俄州立大学Benitez-Quiroz 等［7］于2016 年建立的百万规模人脸表情数据库EmotioNet，图像均来自于互联网，相对于实验室场景中采集的数据，EmotioNet 中的数据来自于自然场景，因此更加真实且接近实际应用场景。数据库分为训练集和测试集，其中测试集包含26 116 张图像，通过FACS 专家标注了12 种AU 是否出现，训练集有约95 万张样本，由算法自动检测AU 并标注，其检测准确率约为80%。由于训练集的AU 标签中含有一定程度的噪声，EmotioNet 被较多用于 弱监督学习中。
CFEE 数据库。

该数据库是文献［8］在研究复合表情( Compound FacialExpressions of Emotion，CFEE) 时建立，CFEE 数据库由230 位被试的正面面部图像构成，包括平静状态( 中性) 在内，共包括22 种复杂的复合表情，如高兴的惊讶、怨恨、敬畏、惊骇等。FACS 专家对每种表情标注了特定的AU。经统计，数据库中被标注的AU 有19 种。

UNBC-McMaster 肩痛表情数据库。

UNBC-McMaster 肩痛表情数据库［9］由25 名患有肩痛的被试的视频数据构成，共200 个视频序列，视频为正面拍摄，被试表情为肩痛过程中的自然流露。FACS 专家对视频中的每一帧进行了10 种AU 强度标注。该数据库的最大特点是含有其他数据库中少见的与疼痛相关的AU43。

CK + 数据库。

CK + 数据库由CK( Cohn-Kanade) 数据库扩展而来［10］，大部分数据为黑白视频，少数为彩色视频。数据库中包含123 位被试的593 段表情视频，所有视频序列中的表情都是从平静到峰值程度。FACS 专家对593 段视频的峰值帧，即最后一帧进行标注，共标注了30 种AU 是否出现，其中大部分AU 标注了强度。

具体文件形式：

比如说针对一个4分钟的视频，是人的正面，折合后有4800多帧（20帧每s），那么有个txt文件，记录了每帧对应AU的强度，数据集共12个AU：

Action Unit到底是什么？相关推荐

【论文阅读】AU检测|《Deep Adaptive Attention for Joint Facial Action Unit Detection and Face Alignment》
<Deep Adaptive Attention for Joint Facial Action Unit Detection and Face Alignment>(ECCV 2018) ...
Action Unit Memory Network for Weakly Supervised Temporal Action Localization 笔记
目录 1.介绍 2.方法 2.1 特征提取 2.2 动作单元记忆网络构建Memory Bank Memory Bank用于分类 Memory Bank的更新 3.消融实验 1.介绍这篇文章是提出了 ...
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记前言 Abstract ...
AU R-CNN：利用专家先验知识进行表情运动单元检测的R-CNN模型
©PaperWeekly 原创 · 作者|Chen Ma 学校|清华大学研究方向|人脸识别和物体检测这篇论文率先利用先验知识和物体检测技术做 Action Unit 人脸表情识别,在 BP4D 和 ...
表情识别（二）--基于CNN分类
说白了,就是个分类任务,但是纯粹的CNN分类,只是对传统方式的提升,本质思路没有改变,效果也不是很明显. 转自:https://blog.csdn.net/walilk/article/details ...
人脸识别之表情识别（二）--基于CNN分类
说白了,就是个分类任务,但是纯粹的CNN分类,只是对传统方式的提升,本质思路没有改变,效果也不是很明显. 转自:https://blog.csdn.net/walilk/article/details ...
OpenFace库(Tadas Baltrusaitis)中基于Haar Cascade Classifiers进行人脸检测的测试代码
Tadas Baltrusaitis的OpenFace是一个开源的面部行为分析工具,它的源码可以从 https://github.com/TadasBaltrusaitis/OpenFace 下载.O ...
OpenFace库(Tadas Baltrusaitis)中基于HOG进行正脸人脸检测的测试代码
Tadas Baltrusaitis的OpenFace是一个开源的面部行为分析工具,它的源码可以从https://github.com/TadasBaltrusaitis/OpenFace下载.Ope ...
定义一个DSL风格的LifecycleObserver(Kotlin)
package com.xyj.checkupgrade.extendimport androidx.lifecycle.Lifecycle import androidx.lifecycle.Lif ...

Action Unit到底是什么？

Action Unit到底是什么？相关推荐

最新文章

热门文章