来源CSDN网友HaZyiCe的授权分享

在此非常感谢HaZyiCe！

本篇文章主要介绍了用于情绪分析的生理信号数据库DEAP的简介，包括创建该数据库的目的、实验的设计、数据的采集以及实验的分析等。

关于DEAP数据集的介绍，社区之前也介绍过一些《DEAP数据集--一个重要的情绪脑电研究数据集(更新)》、《用于情绪识别的生物信号数据集汇总》。

数据获取地址:

http://www.eecs.qmul.ac.uk/mmv/datasets/deap/

http://www.eecs.qmul.ac.uk/mmv/datasets/deap/download.html

导读

研究人员提出了一个分析人类情感状态的多模态数据集DEAP。该数据集来源于记录32名参与者的脑电图(EEG)和周围生理信号，每个人观看40段一分钟长的音乐视频片段。参与者根据唤醒，效价，喜欢/不喜欢，主导和熟悉程度对每个视频进行评分。在32位参与者中，有22位还录制了正面面部视频。提出了一种新颖的刺激选择方法，该方法通过使用来自last.fm网站的情感标签进行检索，视频高亮检测和在线评估工具来进行。提供了对实验过程中参与者评分的广泛分析。脑电信号频率和参与者的评分之间的相关性进行了调查。提出了使用脑电图，周围生理信号和多媒体内容分析方法对唤醒，效价和喜欢/不喜欢的等级进行单次试验的方法和结果。最后，对来自不同模态的分类结果进行决策融合。该数据集已公开提供，研究人员鼓励其他研究人员将其用于测试他们自己的情感状态估计方法。

1、引言

情绪是一种有意识和/或无意识的物体或情况感知触发的心理生理过程，通常与情绪，气质，性格和性格以及动机有关。情绪在人类交流中起着重要的作用，可以通过情绪词汇进行口头表达，也可以通过表达非语言提示（例如语音语调，面部表情和手势）来表达。大多数当代人机交互（HCI）系统都无法解释此信息，并且缺乏情感智能。换句话说，他们无法识别人类的情绪状态，无法使用这些信息来决定要执行的适当动作。情感计算的目的是通过检测人机交互过程中出现的情感提示并合成情感反应来填补这一空白。

在多媒体信息检索中，用相关的、可靠的、有鉴别能力的标签来描述多媒体内容是非常重要的。多媒体的情感特征是描述多媒体内容的重要特征，可以通过情感标签来表现。内隐情感标记是指不费力地产生主观和/或情感标记。利用情感信息对视频进行隐式标注，可以帮助推荐和检索系统提高其性能[1]-[3]。记录当前数据集的目的是创建一个自适应的音乐视频推荐系统。在我们提出的音乐视频推荐系统中，用户的身体反应将被转化为情绪。用户观看音乐视频片段时的情绪会帮助推荐系统首先了解用户的喜好，然后推荐符合用户当前情绪的音乐片段。

该数据库探索了通过向不同用户播放音乐视频来对情感维度进行分类的可能性。据我们所知，对这种刺激的反应(音乐视频剪辑)之前从未被探索过，这一领域的研究主要集中在图像、音乐或非音乐视频片段[4]、[5]。在自适应音乐视频推荐系统中，通过对类似性质的音乐视频的生理反应训练的情感识别器能够更好地实现其目标。

各种离散的情绪分类已经被提出，例如Ekman和Friesen[6]提出的六种基本情绪，Parrot[7]提出的情绪树形结构。情绪的维度尺度也被提出，如Plutchik的情绪轮[8]和Russell的效价唤醒度[9]。在这项工作中，我们使用罗素的效价唤醒度[表，广泛用于研究影响，定量描述情绪。在这个尺度中，每一种情绪状态都可以被放置在一个二维平面上，唤醒度和效价是水平和垂直轴。虽然唤醒度和效价解释了大多数情绪状态的变化，但第三维度的支配性也可以包括在[9]模型中。唤醒度的范围从不活跃的(如不感兴趣的，无聊的)到活跃的(如警惕的，兴奋的)，而效价的范围从不愉快的(如悲伤的，紧张的)到愉快的(如高兴的，高兴的)。支配度的范围从一种无助和软弱的感觉(没有控制)到一种强大的感觉(控制一切)。对于这些尺度的自我评估，我们使用著名的自我评估人体模型(SAM)[10]。

情感评估通常是通过分析用户的情感表达和/或生理信号。情感表达是指任何可观察到的语言和非语言行为,沟通情感。情感评估迄今为止,大部分的研究都集中在面部表情和演讲的分析来确定一个人的情绪状态。生理信号也被认为是包括情感信息可用于情感评估但是他们得到了更少的关注。他们组成的信号来自中枢神经系统(CNS)和周围神经系统(PNS)。

最近在情绪识别方面的进展推动了包含不同方式的情绪表达的新数据库的创建。这些数据库主要包括语音、可视或视听数据(如[11]-[15])。视觉形态包括面部表情和/或身体姿势。音频情态包括不同语言中拟态的或真实的情感话语。许多现有的可视化数据库只包含摆拍或有意表达的情感。

Healey[16]，[17]记录了最早的情感性生理数据集之一。她记录了24名在波士顿地区开车的参与者，并根据司机的压力水平对数据集进行了注解。24位参与者的回答中有17位是公开的。她的记录包括心电图(ECG)、手和脚的皮肤电反应(GSR)、右侧斜方肌的肌电图(EMG)和呼吸模式。

据研究人员表示，唯一公开的包括生理反应和面部表情的多式情感数据库是enterface 2005情感数据库和MAHNOB HCI[4]、[5]。第一次是由Savran等人记录的[5]。这个数据库包括两个集。第一组包括脑电图(EEG)、周边生理信号、功能性近红外光谱(fNIRS)和来自5名男性参与者的面部视频。第二个数据集只有16名男女参与者的面部视频和fNIRS。这两个数据库都记录了人们对来自国际情感图像系统(IAPS)[18]的情感图像的自发反应。在[13]，[19]中可以找到对情感性视听数据库的广泛回顾。MAHNOB HCI数据库[4]由两个实验组成。记录了30人的脑电图、生理信号、眼神、声音和面部表情等反应。第一个实验是观看从电影和在线资料库中提取的20个情感视频。第二个实验是标签一致性实验，在这个实验中，先给参与者看有人类动作的图片和短视频，没有标签，然后再给参与者看一个显示的标签。标签是正确的还是错误的，参与者对显示的标签的一致性进行了评估。

在生理信号[16]、[20]-[24]的情绪识别领域已经发表了大量的研究成果。在这些研究中，只有少数使用视频刺激取得了显著的结果。Lisetti和Nasoz使用生理反应来识别电影场景[23]的情绪。电影场景被选择来引出六种情绪，即悲伤、娱乐、恐惧、愤怒、沮丧和惊讶。对于这六种情绪的识别，他们获得了84%的高识别率。然而，这种分类是基于对视频中预先选择的与高度情绪化事件相关的片段的信号分析。

在多媒体内容的隐性情感标注方面已经做了一些努力。Kierkels等人提出了一种利用周围生理信号进行多媒体个性化情感标注的方法。参与者观看视频时的情感效价和唤醒水平是通过使用线性回归[26]从生理反应中计算出来的。一个片段的量化唤醒和效价随后被映射到情感标签上。该映射允许基于关键字查询检索视频剪辑。到目前为止，这种新方法的精度较低。

Yazdani等人[27]提出使用基于P300诱发电位的脑机接口(BCI)，用Ekman六种基本情绪之一[28]对视频进行情感标记。他们的系统接受了8名参与者的培训，然后在另外4人身上进行了测试。他们在选择标签方面达到了很高的准确性。然而，在他们提出的系统中，BCI只是代替了显式表达情感标签的接口，也就是说，该方法并不使用参与者的行为和心理生理反应来隐式地标记多媒体项目。

除了使用行为线索的内隐标记外，多项研究还使用多媒体内容分析(MCA)来自动对视频进行情感标记。Hanjalic等人在[29]中介绍了“个性化内容交付”，这是情感索引和检索系统中一个很有价值的工具。为了在视频中表现情感，他们首先根据视频和音频内容与价值激发空间的关系来选择特征。然后，结合这些特征来估计在这个空间中产生的情绪。虽然效价-唤醒度可以单独用于索引，但他们通过遵循时间模式将这些值结合起来。这可以用来确定影响曲线，这对于提取电影或体育视频中的视频亮点非常有用。

Wang和Cheong[30]使用音频和视频特征对电影场景引发的基本情绪进行分类。将音频信号分为音乐信号、语音信号和环境信号，分别进行处理，形成听觉情感特征向量。将每个场景的听觉情感向量与关键灯光、视觉刺激等基于视频的特征融合，形成场景特征向量。最后，利用场景特征向量对电影场景进行分类和情感标记。

Soleymani等人提出了一个场景情感表征使用贝叶斯框架[31]。首先用线性回归法确定每个镜头的唤醒和效价。然后，除了每个场景的内容特征外，使用唤醒值和效价值将每个场景分为三类，即平静、兴奋、积极和兴奋、消极。贝叶斯框架能够结合电影类型和最后场景或时间信息的预测情绪来提高分类精度。

从声学特征[32]-[34]对音乐情感表征的研究也有很多。节奏、速度、梅尔频率倒谱系数(MFCC)、音高、过零率是用来描述音乐影响的常见特征。

在[35]中对当前工作进行了初步研究。在这项研究中，6名参与者观看了20个音乐视频，记录了他们的脑电图和生理信号。参与者对唤醒和效价水平进行评级，每个视频的脑电图和生理信号被分为低唤醒/高唤醒/效价水平。

在当前的工作中，音乐视频剪辑被用作视觉刺激来激发不同的情感。为此，使用新颖的刺激选择方法收集了相对较大的一组音乐视频剪辑。然后进行主观测试以选择最合适的测试材料。 对于每个视频，都会自动选择一分钟的亮点。32名参与者参加了该实验，并观看了40个精选的音乐视频，并记录了他们的脑电图和周围生理信号。参与者根据唤醒度，效价，喜欢/不喜欢，支配和熟悉程度对每个视频进行评分。对于22位参与者，还录制了正面面部视频。

本文旨在介绍这一公共数据库。该数据库包含所有记录的信号数据、一部分参与者的正面视频和参与者的主观评分。还包括最初的在线主观注释的主观评分和使用的120个视频列表。由于许可证问题，研究人员表示不能包括实际的视频，但YouTube链接包括在内。表1给出了数据库内容的概述。

据我们所知，这个数据库拥有最多的参与者，在公共数据库中，从生理信号分析自发的情绪。此外，它是唯一一个使用音乐视频作为情感刺激的数据库。

我们对参与者的评分和脑电图信号与评分之间的相关性进行了广泛的统计分析。对脑电图、周围生理信号和MCA的初步单次试验分类结果进行了介绍和比较。最后，利用融合算法将各模态的结果进行融合，得到更稳健的决策。

这篇论文的布局如下。第二部分详细描述了刺激源的选择过程。实验设置将在第3节中介绍。第4节提供了一个统计分析的评级，由参与者在实验和验证我们的刺激选择方法。在第5部分，脑电图频率和参与者评分之间的相关性被展示出来。第6节给出了单次试验分类的方法和结果。这项工作的结论见第7节。

2、刺激的选择

实验中使用的刺激物是分几个步骤选择的。首先，我们选择了120个初始刺激，其中一半是半自动选择的，另一半是手动选择的。然后，为每个刺激点设置一分钟的亮点部分。最后，通过一个基于网络的主观评价实验，选择40个最终刺激。下面将解释这些步骤。

2.1初始刺激选择

激发测试参与者的情绪反应是一项艰巨的任务，而选择最有效的刺激材料至关重要。我们在此提出一种半自动化的刺激选择方法，其目标是最小化由手动刺激选择引起的偏差。

使用Last.fm音乐发烧友网站从120个最初选择的刺激中选择了60个。Last.fm允许用户跟踪他们的音乐收听习惯并接收有关新音乐和新事件的建议。另外，它允许用户将标签分配给单独的歌曲，从而创建标签的民俗学。许多标签带有情感含义，例如“压抑”或“激进”。Last.fm提供了一种API，允许人们检索标签和加标签的歌曲。

从[7]中选取了情感关键词列表，并将其扩展为包括词尾变化和同义词，产生了304个关键词。接下来，对于每个关键字，在Last.fm数据库中找到相应的标签。对于每个发现的情感标签，选择了最经常用该标签标记的十首歌曲。共产生1084首歌曲。

效价-唤醒度空间可细分为四个象限，即低唤醒/低效价（LA/LV），低唤醒/高效价（LA/HV），高唤醒/低效价（HA/LV）和高唤醒/高效价（HA/HV）。为了确保诱发情绪的多样性，根据以下标准从1084首歌曲中为每个象限手动选择了15首歌曲：

标签是否准确地反映了情感内容?

根据这一标准被主观拒绝的歌曲包括仅仅因为歌曲标题或歌手名字与标签相对应而被标记的歌曲。此外，在某些情况下，歌词可能与标签相对应，但歌曲的实际情感内容是完全不同的(例如，关于悲伤主题的快乐歌曲)。

这首歌有音乐录影带吗?

歌曲的音乐视频会自动从YouTube上检索，必要时还会手动更正。然而，许多歌曲没有音乐视频。

这首歌适合在实验中使用吗？

由于我们的测试参与者大多是欧洲学生，因此我们为目标人群选择了最有可能引起情感的歌曲。因此，主要选择了欧洲或北美艺术家。

除了使用上述方法选择的歌曲外，我们还手动选择了60个刺激视频，并为唤醒/价空间的每个象限选择了15个视频。这里的目标是选择那些有望对每个象限产生最清晰情感反应的视频。人工选择和使用情感标签的选择相结合，产生了一个包含120个候选刺激视频的列表。

2.2一分钟亮点检测

对于120个最初选择的音乐视频中的每一个，提取一个用于实验的1分钟片段。为了提取具有最大情感内容的片段，提出了一种情感突出显示算法。

Soleymani等人[31]使用线性回归方法计算电影中每一个镜头的唤醒。在他们的方法中，使用基于内容特征的线性回归来计算镜头的唤醒和效价。用于唤醒估计的信息特征包括声音信号的响度和能量、运动成分、视觉刺激和拍摄持续时间。用同样的方法计算效价。还有一些其他的内容特性，如颜色变化和关键光照，已经被证明与效价相关[30]，本工作中使用的内容特性的详细描述见第6.2节。

为了用回归法找到最佳的唤醒和效价估计权重，回归者在[31]中给出的数据集中对21部带注释电影的所有镜头进行训练。线性权重通过Tipping[36]提供的RVM工具箱中的相关向量机（RVM）计算。RVM在训练过程中能够拒绝非信息性特征，因此没有进一步的特征选择用于唤醒和效价的确定。

然后将音乐视频分割成一分钟的片段，片段之间重叠55秒。提取内容特征，为回归分析提供输入。第i节ei的情绪突出评分采用以下公式计算：

唤醒(ai)和效价(vi)被放在中心位置。因此，情绪亮点得分(ei)越小，越接近中性状态。在每个视频中，选取情绪高潮得分最高的一分钟长片段进行实验。对于一些片段，自动情感高亮检测被手动覆盖。这只针对那些特别具有歌曲特色、为公众所熟知、最有可能引发情感反应的歌曲。在这些情况下，选择一分钟的突出部分，以便包括这些片段。

根据120个1分钟的音乐视频片段，实验中使用的40个视频的最终选择是根据志愿者的主观评分做出的，如下一节所述。

2.3在线主观标注

从最初收集的120个刺激视频中，使用基于web的主观情绪评估界面选择最后40个测试视频片段。参与者观看了音乐视频，并在一个离散的9点量表上对其进行了价格、唤醒和支配的评分。界面截图如图1所示。每个参与者观看了他/她想要的视频，并且可以随时结束评分。剪辑的顺序是随机的，但优先选择被最少参与者评分的剪辑。这确保了每个视频的收视率相同（每个视频收集14-16个评估）。确保参与者从未看过同一段视频两次。

在120个视频被至少14名志愿者分别打分后，最后选出40个供实验使用的视频。为了最大限度地激发情绪，我们选择了那些志愿者评分最高，同时变化较小的视频。为此，对于每个视频x，我们通过平均评分除以标准差（μx/σx）来计算标准化唤醒和价格得分。

然后，对于规范化的价格唤醒空间中的每个象限，我们选择了最接近该象限的极端角落的10个视频。图2示出了以绿色突出显示的每个视频和所选视频的分级的得分。该视频的评分是最接近每个象限的极端角落明确提到。在40个选定的视频中，有17个是通过Last.fm情感标签选择的，这表明可以通过这种方法选择有用的刺激。

图1.主观情绪评估Web界面的屏幕截图

作者博客地址：

https://blog.csdn.net/weixin_44939026/article/details/104964961

文章来源于网络，仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言！

更多阅读

快速入门脑机接口：BCI基础(一)

干货|详解EEG脑电原理

EEG神经振荡分析：数据公开及源代码共享

SSVEP脑机接口及数据集处理

脑电与情绪

专家点评马斯克展示的最新脑机接口

快速入门脑机接口：BCI基础(二)

脑波的振幅、位相、分类

如何快速找到脑机接口社区的历史文章？

脑机接口BCI学习交流QQ群：515148456