作者丨张玮玮

学校丨东北大学硕士生

研究方向丨情绪识别

引言

论文动机

近年来，脑电图 (EEG) 在处理情感识别方面得到了广泛的应用。虽然近年来人们提出了各种各样的脑电信号情感识别方法，但为了进一步提高脑电信号的情感识别性能，仍有一些重要问题需要深入研究。

首要问题是如何从脑电信号中提取具有鲁棒性的高级语义特征，相对于手工特征而言，如何提取更具区别性的时空域深度特征。第二个问题是哪些大脑区域对情绪识别更有贡献，以及如何利用这些脑区域的地形图信息来提高 EEG 的情绪识别。第三个问题是如何利用脑电信号在不同脑区的时间信息来提高情绪识别。

论文工作

作者提出了一种新的 EEG 情感识别方法。该方法由具有区域到全局层次特征学习过程的空间和时间神经网络模型组成，以 R2G-STNN 表示，学习具有鉴别性的时空脑电图特征。采用双向长短时记忆 (BiLSTM) 网络，分别捕捉电极在脑区和脑区之间的内在空间关系，以了解脑电电极的空间特征。

考虑到不同的脑区在脑电情感识别中所起的作用不同，在 R2G-STNN 模型中引入区域注意层，学习一组权值，以增强或削弱脑区的贡献。基于空间特征序列，BiLSTM 学习区域和全部时空特征，领域判别器和分类器同时工作用以减弱领域偏移。基于以上提出的方法，本文在 SEED 数据集上设计了跨被试和被试混淆实验，并取得了很好的效果。

网络模型

R2G-STNN 方法由三个主要部分组成，如图 1 所示，即特征提取器部分，分类器部分，判别器部分。

▲ 图1. R2G-STNN模型架构

特征提取器

空间域特征提取如图 2 所示。为了学习时域特征，表示一个由 T=9 个相邻 EEG 片段组成的一个 EEG 样本，d,n 分别表示每个电极对应的特征数目，和电极数目。

首先，作者将分为若干组，每个组对应大脑分区的电极，从而在每个脑区形成一组区域特征向量，具体分区如图 3 与表 1 所示。接着，区域特征向量送入 BiLSTM 网络学习区域深度特征，并且引入区域注意层，学习一组权值，以增强或削弱脑区的贡献。最后，加权区域特征向量进一步输入 BiLSTM，学习全脑深度特征。

▲ 图2. 从区域到全脑空间域特征学习过程

▲ 图3. 脑区域分类图

▲ 表1. 脑区域电极分类表

对于脑分区时域特征的提取，表示第 j 个脑区第 i 个脑电特征，则脑分区的特征表示为。

因此，我们可以将 BiLSTM 应用于特征向量序列间的时间信息学习，得到如下区域时间特征向量：

全脑时域特征提取基于全局特征矩阵，将按列串联成，最终特征向量包含区域和全局信息的脑电图样本 X（由 T 段组成）。

分类器与判别器

在脑电情感识别中，值得注意的是，训练和测试脑电数据样本可能来自不同的领域，例如，训练和测试数据样本来自不同的受试者。在这种情况下，基于训练数据训练的情绪识别模型可能不适用于测试数据。为了解决这一问题，我们引入了一个分类器与判别器协同工作来产生鉴别性强和领域不变的情感特征。

分类器与一般深度学习的相同，损失函数可以表示为：

在判别器部分，假定分别来自源域和目标域，为了消减领域差异，损失函数表示为：

通过最大化识别器的上述损失函数，特征提取过程会产生域不变的特征，从而消减情绪识别中的域差异。

实验设计与结果

被试混淆实验

作者在每个 session 选择 9 个脑电信号的试验用作训练数据集，并使用同一时段的其他 6 项试验作为测试数据，并且计算 15 名受试者的平均识别精度和标准差作为最终识别结果。实验结果如表 2 与表 3 所示。

▲ 表2. 被试混淆实验结果

▲ 表3. 被试混淆5个频段实验结果

跨被试实验

跨被试脑电情感识别问题，其中训练的脑电图数据样本和测试的脑电图数据样本来自不同的受试者。为此，作者采用 LOSO 交叉验证策略进行实验，循环取一名受试者的脑电信号作为测试数据，其余所有受试者的脑电图信号作为训练数据。在每个受试者使用一次测试数据后，计算所有识别精度的平均值，实验结果如表 4 与表 5 所示。

▲ 表4. 跨被试实验结果

▲ 表5. 跨被试5个频段实验结果

结论

在本文中，作者提出了一个新颖的 R2G-STNN 方法对脑电信号进行情感识别，分层的学习过程从区域到全脑提取时空脑电图特征。在 SEED 脑电情感数据库上的大量实验表明，R2G-STNN 方法在被试混淆和跨被试的脑电情感识别方面均取得了较好的效果。

点击以下标题查看更多往期内容：

#投稿通道#

让你的论文被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

? 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site

• 所有文章配图，请单独在附件中发送

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 下载论文

从局部脑到全脑：时空域分层神经网络脑电情绪识别模型相关推荐

脑电情绪识别：脑功能连接网络与局部激活信息结合
作者丨张玮玮学校丨东北大学硕士生研究方向丨情绪识别引言论文动机情绪状态的转变通常会激活脑电功率谱的变化.近年来的研究发现,不同的情绪状态造成的脑电图波谱的差异在脑电 α 频带比较明显,并可以 ...
（论文加源码）基于DEAP脑电数据集的脑电情绪识别（利用生成对抗性网络进行特征提取和数据扩充）
本篇论文发表于2022年的顶级期刊,代码可以完整运行,详情见第八节或者个人主页论文源码见个人主页:https://download.csdn.net/download/qq_45874683/876 ...
（论文加源码）基于DEAP和MABHOB数据集的二分类脑电情绪识别（pytorch深度神经网络（DNN）和卷积神经网络（CNN））
该论文发表于2021年的顶级期刊.(pytorch框架) 代码解析部分在个人主页: https://blog.csdn.net/qq_45874683/article/details/13000797 ...
AAAI 2020 | 启发式变分路径推理（VPR）脑电情绪识别
©PaperWeekly 原创 · 作者|张玮玮学校|东北大学硕士生研究方向|脑电情绪识别论文工作人类情感认知的研究表明,在情感表达过程中,空间相邻区域和功能相关区域之间存在着联系和通路.作者 ...
AAAI2020 一种启发式变分路径推理（VPR）脑电情绪识别方法
AAAI2020|| 一种启发式变分路径推理(VPR)脑电情绪识别方法论文工作人类情感认知的研究表明,在情感表达过程中,空间相邻区域和功能相关区域之间存在着联系和通路.作者提出了一种启发式的变分路 ...
深度学习基于DEAP的脑电情绪识别情感分类(附代码)
DEAP数据集: DEAP数据集来源: DEAP: A Dataset for Emotion Analysis using Physiological and Audiovisual Signals ...
基于DEAP的脑电情绪识别论文源码改进版本（附论文代码，lstm和rnn）
论文及改进版源码链接: (论文加源码)基于DEAP的脑电情绪识别论文源码改进版本(附论文代码,lstm和rnn) https://download.csdn.net/download/qq_45874 ...
（论文加源码）基于DEAP的脑电情绪识别（CNN,RNN和两种不同的注意力机制）
论文及源码见个人主页:https://download.csdn.net/download/qq_45874683/85063985 (论文加源码)基于DEAP的脑电情绪识别(CNN,RNN和两种不同 ...
（论文加源码）基于CNN和LSTM的脑电情绪识别（数据集为DEAP和seed）
目录目录: 运行过程: 1. 运行1D文件(没有什么bug): 2. 再运行3D文件(没有出现bug): 3. 最后运行main文件(出现了两个bug)(前提需要配置好tensorflow的框架): ...

从局部脑到全脑：时空域分层神经网络脑电情绪识别模型

引言

网络模型

实验设计与结果

结论

从局部脑到全脑：时空域分层神经网络脑电情绪识别模型相关推荐

最新文章

热门文章