一文详细介绍情绪识别常用的数据集

  • SEED
    • 采集情况
    • 文件介绍
  • SEED-IV
    • 采集情况
    • 文件介绍
  • CIAIC多模态情感识别数据
    • 采集情况
    • 文件介绍
  • DEAP
    • 采集情况
    • 文件情况
  • SEED-V
    • 采集情况
    • 文件情况

本文详细介绍了脑机接口情绪识别常用的数据集，主要有SEED, SEED-IV, SEED-V, DEAP, CIAIC。

SEED

SEED数据集下载地址
SEED数据集不开放给个人使用，若想使用必须写申请。

采集情况

  1. 每组实验有15个trials，每个trial的实验过程如下图所示

图1 一个trial的实验过程

每一个trail的设置过程分为，开始前的5s暗示，4min的电影片段，45s的自我评估，15s的休息过程。

  1. 一共有15个subject，7个男生，8个女生。

文件介绍

在官网得到许可后下载的文件夹包括两部分：“Preprocessed_EEG” 和 “Extracted_Features”

  1. Preprocessed_EEG文件介绍
    已经采用了一些预处理过程：降采样到200hz，使用了0-75Hz的低通滤波器，已经提取了电影期间的脑电图片段，也就是4min左右的脑电图。一共有45个.mat文件，分别代表15个受试者的每人3次实验。还有一个label.mat代表15次实验的标签，SEED数据集的情绪标签有三类，(negative, neutral, positive)，其中标签是（-1 ，0 ，1）。一次实验的数据如图所示：

    图2 一个experiment的文件内容（channel × data）

  2. Extracted_Features文件介绍
    这个文件提供了所有经过特征提取之后的数据，包扣DE(differential entropy)特征，DASM(differential asymmetry)特征，rational asymmetry(RASM)特征。所有特征经过传统的移动平均或者线性动态系统（LDS）进一步平滑。

图3 Extracted_Features文件部分内容

SEED-IV

以下内容翻译自官网介绍https://bcmi.sjtu.edu.cn/~seed/seed-iv.html

采集情况

  1. 依然是15个subject，每个subject在不同天做3个session，每个session包括24个trials，一共有72个电影片段，所以每个受试者做的3个session看的电影片段都是不同的。

图4 一个trial的实验过程

  1. 但是与SEED数据集不同的一点在于，SEED-IV采集了眼部运动的数据

文件介绍

  1. eeg_raw_data
    文件夹里包含三个文件“1”，“2”，“3”，分别代表每个受试者的3个session，每个文件夹里包含15个.mat文件，命名方式为：
    {Subject}_{Date}.mat。



2.eeg_feature_smooth
这个文件夹和eeg_raw_data文件夹的结构一样，现在对每一个具体的.mat文件介绍：

有两种特征提取方式（PSD，DE），两种数据平滑方式（LDS, movingAve），组合一下就是4种方式。在每种方式下，进行数据处理，提取的是4s片段，所以2min左右的视频，一个trial大概有30个左右的sample，每组数据的的shape代表：(channel_number × sample_number × frequency_bands)

  1. eye_raw_data
    这个文件夹包含了眼部移动信息，每个session包含5个文件(blink, event, fixation, pupil, saccade)。


blink文件内容如下图所示：

24:一个session有24个实验或者24个电影片段 ，n×1：n代表眨眼次数，n位置的数值代表眨眼时间。

event文件内容如下图所示：


24:一个session有24个实验或者24个电影片段， 28：28种与眼部有关的事件，位置上的数值代表该事件发生的一个度量。

fixation文件内容如下图所示：

24:一个session有24个实验或者24个电影片段， n×1：n眼部固定不动的次数，n位置上的数值代表本次固定不动的时间

pupil文件内容如下图所示：


24:一个session有24个实验或者24个电影片段， n×4：n代表记录瞳孔信息的次数，4代表与瞳孔度量相关的4种属性

saccade文件内容如下图所示：


24: 一个session有24个实验或者24个电影片段， n×2：n代表记录扫视的次数，2代表扫视的时间与角度

  1. channel Order and Readme
    分别介绍了62通道顺序和72个电影片段的label信息。

CIAIC多模态情感识别数据

数据下载http://challenge.xfyun.cn/topic/info?type=eeg

该数据集是由西北工业大学智能声学与临境通信研究中心提供消声室低噪声环境下的情绪数据库，其中包括在四种不同情绪唤起刺激条件下的脑电(EEG)数据。相比其他数据库，该数据提供了高质量、丰富的数据库。挑战赛数据库包括60名受试者在理想低噪声环境下，在平和、开心、愤怒、伤心四种情绪唤起刺激材料下的脑电数据，数据时长约为40小时。低噪声理想环境数据采集于西北工业大学消声暗室环境，大幅降低噪声以及电磁干扰。

采集情况

目标情绪包含：开心，伤心，愤怒，平和。 在预实验阶段，共选出8个能够诱发目标情绪的电影片段，每个情绪包含两个诱发影片。实验过程中，8个视频随机播放，被试先观看一个诱发视频，调动出单一的目标情绪，然后在此种情绪的影响下带有感情地朗读事先准备好的30句文本，接着填写自我情绪评价表，完成后休息片刻，继续下一个影片的播放。实验设备安放及流程图如下图所示：

实验过程

文件介绍

竞赛数据包含60个被试者的脑电数据，数据名称为subject.mat。每一个subject.mat文件包含四种数据：channel_location, data, fs, name.
其中channel_location为68个脑电通道的名称及坐标位置。68通道包含：62通道的脑电数据，M1, M2两通道为双耳后突起处的电极点，4通道的眼电信号。眼电电极的安放位置如图所示：

眼电电极安装位置

data 为161维的cell数据格式，是采集到的68通道脑电信号。name 是161维cell数据，为data对应的标签信号。

name中，sad表示悲伤， neu为平和情绪，hap代表开心，ang为愤怒。各单元格的元素意义为：sad_1_per 为被试观看第一个（1）影片时，感受（perceive）到的悲伤（sad）情绪，sad_1_exp 为被试观看第一个（1）影片后，在第一个影片情绪的影响下，表达（express）出来的悲伤（sad）情绪 … ang_2_per为被试观看第二个（2）影片时，感受（perceive）到的愤怒（angry）的情绪，ang_2_exp为被试在第二个愤怒影片的影响下，表达（express）出的愤怒（angry）情绪。data 中各单元格中的数据为“通道数*时长”，通道：68维脑电通道， 时长：被试观看影片的时长或者是被试有感情地表达文本的时长。fs 为脑电信号采样率，为1000Hz。本次竞赛共60个被试的脑电数据，训练数据为前48个被试的脑电数据，标签为： ‘sad’= 1, ‘neu’ = 2, ‘hap’ = 3, ’ang’ = 4. 测试数据为10个被试者的脑电数据， 其中一个样本长度为1秒，进行预测。

DEAP

与上面几个数据集相比，DEAP算是比较早的一个研究情感的数据集。
DEAP(Database for Emotion Analysis using Physiological Signals), 该数据库是由来自英国伦敦玛丽皇后大学，荷兰特温特大学，瑞士日内瓦大学，瑞士联邦理工学院的Koelstra等人通过实验采集得到的，用来研究人类情感状态的多通道数据，可以公开免费获取。

采集情况

可以参考脑机接口社区博客

文件情况

一般可以采用官方经过python预处理之后的脑电数据做分析，他们把原始数据下采样至128Hz，去除了EOG伪像，并且应用4.0-45.0Hz的带通频率滤波器，数据取平均值作为通用参考，并将数据分为60秒钟的实验（需要自己删除前3s的实验准备过程的数据）。

data_preprocessed_python里面包含了s01~s32的32个.dat文件，每个文件包含两个数组：


SEED-V

SEED-V数据集下载https://bcmi.sjtu.edu.cn/~seed/downloads.html#seed-v-access-anchor

实验过程

目标情绪

采集情况

为了研究情绪识别的稳定性以及确保刺激的有效性，每一个受试者要参加三次实验。每次实验需要看15个电影片段（目标情绪有：happy, sad, disgust, neutral, fear五种，15个片段每种情绪3个片段），一次实验总的时间被控制在50min左右。采集设备为62通道的ESI NeuroScan System 和SMI eye-tracking glasses

在播放每个电影片段之前会有15s的时间告诉受试者本次实验希望激发的目标情绪以及电影片段的一个背景。每段影片播放之后会有15s或30s的自我评估加休息时间，如果影片是激发恐惧情绪或厌恶情绪的，则有30s。如果是剩下的3种情绪，则有15s。

在自测部分，要求被试根据电影片段的刺激效果进行评分。 评分范围为0-5分，其中5分表示刺激效果最好，0分表示最差。 如果参与者在观看快乐视频后感到快乐，应该给他们 4-5 分，如果他们没有任何感觉，应该给他们 0 分。 需要注意的是，如果正在观看平静情绪的电影片段 ，如果被试情绪波动，得分应为0分，自然状态为5分。

这是我个人认为这几个数据集中自我评估非常合理的一种方式，必须让受试者评价电影片段是否可以诱导出我们想要的情绪，这样的采集的数据集才比较准确。

文件情况

  1. 文件夹 EEG_DE_features
    这个文件夹包括16个受试者的DE特征，和一个用来加载数据的样例代码，数据被命名的方式为“subjectID_sessionID.npz”。例如文件“1_123”意味着这个文件是第一个受试者三个session的DE特征合集。

  2. 文件夹EEG_raw
    这个文件夹包括从Neuroscan设备上采集的原始数据和一个用来加载数据的样例代码。数据被命名的方式为“subjectID_sessionID.cnt”。例如文件“1_1_20180804.cnt”代表第一个受试者一个session的数据。注意：session的序号是基于刺激材料而不是基于时间。

  3. 文件夹Eye_movement_features
    这个文件夹包含了提取的眼部移动特征数据

  4. 文件夹Eye_raw
    这个文件夹包含了eye tracking device提取的原始数据

  5. 文件夹src：
    这个文件夹包含了两个子文件夹，有两个模型，模型来源于paper
    Wei Liu, Jie-Lin Qiu, Wei-Long Zheng and Bao-Liang Lu, Comparing Recognition Performance and Robustness of Multimodal Deep Learning Models for Multimodal Emotion Recognition, IEEE Transactions on Cognitive and Developmental Systems, 2021.

  6. 文件 trial_start_end_timestamp.txt：
    这个文件包含了电影的开始和终止的时间

  7. 文件emotion_label_and_stimuli_order.xlsx
    这个文件包含了情绪标签和刺激序号

  8. 文件Participants_info.xlsx
    这个文件包含了被试的元信息

  9. 文件Scores.xlsx
    这个文件包含了被试的反馈信息（打分）

一文详细介绍情绪识别常用的数据集相关推荐

  1. eeg数据集_运动想象，情绪识别等公开数据集汇总

    本文来自脑机接口社区 运动影像数据 Left/Right Hand MI: http://gigadb.org/dataset/100295 Motor Movement/Imagery Datase ...

  2. 电商指标详细介绍和推荐系统常用评估指标

    本文主要是针对电商中的常见指标进行归类介绍,包括推荐系统中需要关注的指标.本文主要分为三部分进行说明: 电商分类介绍 电商的指标分类介绍 电商推荐系统常看的指标 1. 电商的分类 电子商务(Elect ...

  3. git详细介绍，以及常用的操作，命令

    GIT的介绍 官方中文版通俗易懂文档 git精讲视频 git分支操作 1.Git和svn的区别 Git是分布式版本控制系统 ,即局域网中,只要创建了git版本库的相关信息,该电脑就可以作为git的一个 ...

  4. 一文详细介绍深度学习的各种卷积操作

    关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 转自: 机器之心 我们都知道卷积的重要性,但你知道深度学习领域的卷积究竟是什么,又 ...

  5. CentOS 6.9配置网卡IP/网关/DNS命令详细介绍及一些常用网络配置命令（转）

    一.IP 即时生效(重启后失效): ifconfig eth0 192.168.1.102 netmask 255.255.255.0 //添加IP地址 route add default gw 19 ...

  6. 一文详细介绍NeurIPS论文高引量的TOP10明星学者！！！

    NeurIPS2019即将于12月8日(本周日)在加拿大温哥华举办,NeurIPS是人工智能和机器学习领域的国际顶级会议,由NIPS基金会负责运营.该会议全称为神经信息处理系统大会(Conferenc ...

  7. linux配置网卡IP地址命令详细介绍及一些常用网络配置命令 复制代码

    及时生效,重启后失效:ifconfig eth0 192.168.1.102 netmask 255.255.255.0  添加IP地址 route add default gw 192.168.1. ...

  8. 情绪识别数据集汇总心电相关and申请方法详细描述 呕心沥血之作 全网唯一 AMIGOS ASCERTAIN CLAS DECAF DREAMER MANHOB-HCI MPED SWELL

    心电信号情绪识别数据集 针对情绪识别的任务,在学习了一定的代码知识之后,摆在面前最大的问题就是如何寻找并申请使用数据集,这里我找到了9个情绪识别相关的数据集,由于我的课题原因,所以根据一篇综述找一下目 ...

  9. Apache Log4j使用详细介绍

    Apache Log4j使用详细介绍: 一.简介:1, Log4J 是Apache 的Logging项目.可去官网查看. 2,下载地址:http://logging.apache.org/log4j/ ...

  10. 【NLP】一文了解命名实体识别

    导读:从1991年开始,命名实体识别逐渐开始走进人们的视野,在各评测会议的推动下,命名实体识别技术得到了极大地发展,从最初的基于规则和字典的方法,到现在热门的注意力机制.图神经网络等方法,命名实体识别 ...

最新文章

  1. nRF905 - 系列示意图
  2. 深度学习的相似度计算 向量之间的相似程度计算 Q K V的注意力权重
  3. 论学好Linux系统的超级重要性
  4. selenium 无法定位打开a链接_测试干货 ：Selenium8种元素定位法
  5. JavaScript Table排序
  6. PHP的抽象类、接口的区别和选择
  7. 4.9 总结-深度学习第一课《神经网络与深度学习》-Stanford吴恩达教授
  8. iOS之从N个数里面取M个数的组合算法
  9. 网站后台admin修改故事
  10. 电脑c语言怎么调出来的,c语言系统源代码_C语言判断系统版本的代码怎样将值调出来啊...
  11. Struts 2读书笔记-----使用Struts 2的输入校验
  12. 重采样和重分类的区别
  13. Redis 6.0.0 GA
  14. DotNetNuke 7.0 发布
  15. JavaScript学习_第2章_JS语法规则
  16. python中函数 reshape(-1,1)
  17. mongoVUE的增删改查操作使用说明
  18. 时域技术在天线测量中的应用
  19. 你学不好英语，可能是精神内耗太多了
  20. BGP（1）：BGP 的基本机制

热门文章

  1. rest_framework--过滤器filters--搜索
  2. Java实现桐桐的数学难题
  3. Android开发_ARN是什么
  4. LigaAI X 猴子无限 | AIGC 火了，专业设计者的福音来了！
  5. 公关，从讲好一个故事开始
  6. 汉字 计算机 坟墓,让汉字跨越数字化鸿沟
  7. 【R语言】——VennDiagram包绘制维恩图（保姆级教程）
  8. 一文带你了解影响因子IF和SCI分区
  9. proteus仿真+keil——＞制作流水灯
  10. 对象存储 Bucket