脑电信号在情感计算中应用

情绪是对一系列主观认知经验的通称，包括人对外界刺激或自身刺激的心理反应并伴随着生理反应。情绪对人际关系的建立和维持、认知、决策、工作效率等互动活动具有直接影响。许多疾病如抑郁症、自闭症、游戏成瘾、阿尔茨海默氏症、冠状动脉疾病与认知和情绪障碍密切相关。识别情绪表达障碍患者的情绪状态将有助于提供更好的治疗和护理。1995年，自Picard提出了“情感计算”概念后情感识别成为了人机交互人性化环节中引人入胜的研究分支。

情绪的神经生理机制

大脑接收和处理来自体感皮层和运动系统的功能活动信息，大部分的信息处理和整合是在大脑皮层进行的。一般来说，大脑皮层可以分为四个脑区:额叶、颞叶、顶叶和枕叶，每个脑区都有一个专用的功能。Schmidt等人发现，在欢快的音乐刺激下，左额叶脑区是活跃的，而悲伤、恐怖的音乐会激活右额叶脑区的活动。Schutter等人发现，当参与者带着愤怒情绪观看面部表情图片时，右侧顶叶大脑区域的活动增加。因此，通过检测不同脑区的活动，可以很好地表征不同情绪状态下大脑活动相应的生理反应。

情绪模型

在情感识别研究中，科学地描述情绪状态与构建情绪描述模型核心问题之一。情绪建模过程包括建立数学模型来描述情绪状态，然后通过分析系统对情绪进行分类或量化。

在现有的研究中，情绪通常有两种表征方式:离散情绪模型和多维度情绪模型。对于离散情绪模型，研究人员认为情绪可以用基本情绪状态的特定子集来描述。Plutchik等人指出，情绪可以用八种基本情绪的组合来表示，即愤怒、恐惧、悲伤、厌恶、惊讶、幸福、信任和期望(Plutchik的情绪之轮)。Ekman认为，情绪包括悲伤、恐惧、厌恶、惊讶、快乐和愤怒，这六种基本情绪可以通过组合模式形成更复杂的情绪类别。

然而，离散情绪模型中定义的基本情绪相对有限，既不能反映情绪状态的复杂性和多样性，又没使计算机能够从计算的角度分析情绪状态。离散情绪模型在量化情绪类型和强度的实际应用中有许多局限性与离散情绪模型不同，维度情绪模型提供了一种更有效的方法来从多个维度(例如，效价、唤醒和优势)量化和表征情绪的类型和强度。维度情感模型将情感状态映射到某个空间中的点。不同的情绪状态根据其维度的不同分布在空间的不同位置；地点之间的距离反映了不同情绪状态之间的差异。在目前的研究中，最常用的维度模型是Russell提出的效价-觉醒(VA)维度模型图。

效价维度轴的负半轴表示消极情绪，正半部分表示积极情绪。维度情感模型是连续的；因此，它具有能够在很大范围内表达情感的优点，并且可以用来描述情感演变的过程。Plutchik指出，各种情绪状态映射在效价-唤醒维度模型上。比如，恐惧的特点是负价，唤醒度高；快乐被描述为正能量和高觉醒。类似地，情绪也可以使用价-唤起-优势(VAD)的三维情绪模型来量化。维度情感模型提供了情感的量化表达，能够更加客观准确地描述情感信息，有利于情感识别模型的建立。

情绪诱发方法

情绪诱发的关键步骤是以某种适当的方式诱发受试者的情绪状态。

现阶段，诱发情绪的方法主要有三种:

(1)通过呈现音乐、图片、视频和其他刺激材料来唤起情绪。

(2)通过构建模拟场景诱发情绪。

(3)要求受试者玩电脑/视频游戏或假装有一定的面部表情和手势。

现有的脑电信号情绪数据集

在基于视频的情绪触发实验中，刺激材料的来源、持续时间和数量存在很大差异。由于实验材料的不同，不同情绪触发实验的识别结果不能直接比较。为了促进情绪识别的进步，研究者们先后出版了一系列视频化的脑电-情绪数据集。我们可以更方便地用不同的算法或分类模型来验证情感分类性能。

最常用的视频触发脑电-情绪数据集有：

-DEAP数据集、

-MAHNOB-HCL数据集、

-SEED-数据集(SEED、SEED-IV、SEED-VIG)。

脑电在情感计算的应用

脑电图作为一种无创的脑电生理活动监测技术，记录的信号包含丰富的脑电生理信息，从神经生理学的角度来看，这些信息能直接、准确地解释情绪。脑电图信号中包含的振荡特征和特定频带（Delta (1-4Hz)、Theta (4-7Hz)、Alpha (8-13Hz)、Beta (13-30Hz)、Gamma (>30Hz)内大脑活动的节律对理解情绪诱导、思维、认知和记忆等大脑活动起着指导作用。情感脑机接口(Affective Brain-Computer interface, aBCI)通过测量来自外周神经系统和中枢神经系统的信号，提取与用户情感状态相关的特征，并利用这些特征来适应人机交互(human-computer interaction, HCI)系统。

脑电信号因其高时间分辨率和快速传输的优势在aBCI中得到了广泛的应用。aBCI使用心理学的理论和方法、神经科学和计算机科学的技术来诱导、测量和检测情绪状态，并应用由此产生的信息来改善人机交互。aBCI领域的研究集中在感知情绪状态、情绪过程建模、合成情感表达和行为，并基于情感背景改善人与机器之间的互动。

脑电图aBCI的识别过程主要包括四个步骤。

(1)情绪诱导和同步脑电记录。诱发材料的选择将直接影响情绪能否被有效诱发以及采集到的同步脑电信号的质量。通常，视频的情绪诱导能够达到最佳的触发快速准确情绪反应的效果。

(2)脑电信号预处理。成人头皮测得的脑电信号幅度在10-100µV 范围内，对心电、肌电、EOG等生理信号非常敏感。此外，轻微的身体运动、电力线干扰和基线漂移会给记录的脑电图信号带来严重的伪迹，导致信噪比差。因此，需对采集的信号进行预处理，以消除伪迹。

(3)情绪相关脑电特征提取和选择。通常，从时域、频域、时频域和电极域提取脑电图特征。通过从不同维度获取脑电信息，可以准确表征不同情绪下的大脑活动。特征提取后，基于监督和非监督方法的脑电特征选择可用于选择高度相关的情感相关特征。

(4)情感识别的分类器构建。经过特征提取和选择，基于脑电特征建立情感分类器。

情绪脑电识别提取特征方法

在情绪识别领域, EEG 传统特征主要分为时域 (time domain) 特征、频域 (frequency domain)特征、时频域 (time-frequency domain) 特征三类。考虑到脑区的不对称性也可以反映情绪信息, 空间域 (space domain) 特征也因此逐渐用于识别情绪，功能脑网络的方法也被应用于脑电信号的特征提取。

参考文献

Joormann, Gotlib I. Emotion regulation in depression: Relation to cognitive inhibition. Cognition and Emotion, 2010, 24: 281-298.

Ribas G C. The cerebral sulci and gyri[J]. Neurosurgical FOCUS, 2010, 28(2): E2.

Güntekin B, Basar E. Emotional face expressions are differentiated with brain oscillations[J]. International Journal of Psychophysiology, 2007, 64(1): 91-100.

Schmidt L A, Trainor L J. Frontal brain electrical activity (EEG) distinguishes valence and intensity of musical emotions[J]. Cognition & Emotion, 2001, 15(4): 487-500.

Lang P J, Bradley M M. Emotion and the motivational brain[J]. Biological Psychology, 2010, 84(3):437-450.

Min-Ki K, Miyoung K, Eunmi O, et al. A Review on the Computational Methods for Emotional State Estimation from the Human EEG[J]. Computational and Mathematical Methods in Medicine, 2013, (2013-3-24), 2013, 2013:573734.

A survey of affective brain computer interfaces: principles, state-of-the-art, and challenges[J]. Brain-Computer Interfaces, 2014, 1(2):66-84.

Plutchik R. The nature of emotions: Human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice[J]. American scientist, 2001, 89(4): 344-350.

Verma G K, Tiwary U S. Affect representation and recognition in 3D continuous valence–arousal–dominance space[J]. Multimedia Tools and Applications, 2017, 76(2):2159-2183.

Russell J A. A Circumplex Model of Affect[J]. Journal of Personality and Social Psychology, 1980, 39(6):1161-1178.

如果你是希望利用脑电技术开展脑电情绪识别科研的研究生、临床研究的医生或者研究人员，但没

有脑电基础，欢迎关注茗创科技脑电数据与分析启航班。

原文可以联系工程师 17373158786 索要~

更多脑电知识，请持续关注更新~