点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

睡眠阶段分类作为一种典型的生理信号分类任务，对睡眠质量评估和疾病诊断至关重要。但是，如何有效利用大脑的空间特征和睡眠阶段之间的时间转换信息仍然是一个挑战。特别是由于人类对人脑的了解是有限的，为睡眠阶段分类预定义合适的空间脑连接结构仍然是一个悬而未决的问题。在本文，我们提出了一种新颖的深度图神经网络GraphSleepNet进行自动睡眠阶段分类。GraphSleepNet的主要优点是自适应地学习不同脑电（EEG）通道之间的内在空间联系，从而最好地服务于空图卷积网络（ST-GCN）。该研究提出一种多变量时间序列分类的通用自适应图神经网络框架并首次应用于睡眠阶段分类。

贾子钰：北京交通大学计算机与信息技术学院博士生，指导老师是林友芳教授和王晶副教授。计划于2021年在麻省理工学院进行博士联合培养，指导老师是Roger Mark教授（IEEE Fellow）。主要研究兴趣集中于生理时间序列的分析与挖掘、深度学习理论与方法研究。目前已于IJCAI、ACM MM、ICDM、ECML-PKDD等会议或期刊发表论文8篇，相关工作的源码也会陆续开源到Github上。

一、时间序列概述

1．时间序列

时间序列是按照时间排序的一组随机变量，它通常是在相等间隔的时间段内

依照给定的采样率对某种潜在过程进行观测的结果。

2．时间序列的分析与挖掘

在过去的二十年中，时间序列的分析与挖掘被认为是数据挖掘中最具挑战性的问题之一^[1]。

交通流量时间序列

金融时间序列

[1] Fawaz, Hassan Ismail, et al. "Deep learning for time series classification: a review." Data Mining and Knowledge Discovery 33.4 (2019): 917-963.

二、生理时间序列概述

心电ECG

脑电EEG

应用领域：

三、相关深度学习模型

论文一：GraphSleepNet （IJCAI 2020）

论文链接：

https://www.ijcai.org/Proceedings/2020/184

论文代码：

https://github.com/ziyujia/GraphSleepNet

1、简介

睡眠：

• 人的一生中约有三分之一的时间都在睡眠中度过， 睡眠质量的好坏直接影响到人类的身心健康；

• 睡眠分期是评估睡眠质量和诊断睡眠障碍的重要手段。

人工睡眠分期：

• 睡眠专家会根据睡眠分期标准和多导睡眠图（PSG）对睡眠阶段进行划分；

• 人工睡眠分期是一项繁琐且耗时的任务；

• 睡眠专家的主观性和可变性易影响睡眠分期的结果。

自动睡眠分期：

• 提高传统睡眠分期的效率；

• 具有重要的临床价值。

2、相关工作

传统机器学习：

• 支持向量机和随机森林等方法。

• 需要手工设计特征，且要求大量的先验领域知识。

卷积神经网络和递归神经网络：

• FDCCNN^[1],SeqSleepNet^[2],DeepSleepNet^[3]等。

• 输入必须是网格数据 (类似于图像)。

网格数据的局限性：

• 大脑区域间的连接关系被忽视。

• 由于大脑处于非欧氏空间，因此图是最适合用于表示大脑连接性的数据结构。

对大脑的功能连接进行建模：

• 图卷积神经网络在处理图数据中展示了相当优异的表现^[4,5]。

• 现有的工作往往使用的是固定的图结构，但是睡眠是一个动态的过程。

• 人类对大脑的理解是有限的。

3、研究难点

挑战1：如何为睡眠分期确定合适的图结构。

挑战2：如何有效地提取时空特征。

Grid data

Graph data

在睡眠期间，大脑区域的空间特性是不同的。

在时间维度上，睡眠阶段之间存在着过渡规则。

挑战2.1：如何将图卷积有效的应用于睡眠分期。

挑战2.2：如何利用相邻睡眠阶段之间的过渡规则。

AASM睡眠分期标准中的睡眠阶段过渡规则^[6]

4、解决方法

GraphSleepNet: 自适应时空图卷积网络

本文贡献：

• 第一次将时空图卷积用于睡眠分期任务；

• 一种新颖的自适应睡眠图学习机制；

• 我们设计了一种时空图卷积；

• 实现了睡眠分期领域中的最优结果。

挑战1：如何为睡眠分期确定合适的图结构。

方法1：我们提出了一种自适应睡眠图学习机制。

• 与时空图卷积集成在统一的架构中。

• 动态的构造邻接矩阵A。

• 利用损失函数中的第二项以控制邻接矩阵A的稀疏性。

挑战2：如何有效地提取时空特征。

方法2：我们设计了一种时空图卷积架构。

a)空间维度：利用图卷积聚合空间信息。

使用基于谱图理论的图卷积方法。

利用图拉普拉斯算子的切比雪夫展开来降低计算复杂性。

b)时间维度：使用卷积神经网络进行卷积操作以提取睡眠阶段间的过渡规则。

c)时空注意力：自动提取有价值的信息。

5、实验与评估

数据集：

Montreal Archive of Sleep Studies (MASS)-SS3 dataset^[7]

• 该数据集包含来自62位健康受试者（28位男性和34位女性）的PSG记录。

• 专家根据AASM标准将这些PSG记录分为五个睡眠阶段（W，N1，N2，N3和REM）。

• 我们从原始信号中的每个通道中提取微分熵（DE）特征

Number of samples for each sleep stage

基准方法：

• [Dong et al., 2017][8]: 一种混合神经网络，它结合了多层感知机和长短期记忆，此外，我们还比较了其随机森林和支持向量机的性能。

• [Supratak et al., 2017][3]: 一个结合了卷积神经网络和双向长短期记忆来捕捉时间不变量特征和睡眠阶段间的过渡规则的模型。

• [Chambon et al., 2018][9]: 利用多变量和多模态时间序列进行时间睡眠阶段分类。

• [Phan et al., 2019][2]: 通过使用基于注意力的双向递归神经网络和递归神经网络，将单一的睡眠阶段分类问题改变为序列到序列的分类问题。

• [Sun et al., 2019][10]: 一种分别学习综合特征和时间序列的层次神经网络。

• [Jiang et al., 2019][11]: 使用多模态分解和基于隐马尔科夫模型优化的泛用睡眠阶段分类。

与SOTA方法的对比结果：

实验分析：

• 邻接矩阵: 我们提出的自适应图学习的结果优于所有固定图的结果。

• 输入睡眠阶段网络的数量 Tn : 分类表现随着 Tn 增加而提高, 并且在 Tn = 5时达到最高的分类精度。

6、总结与展望

结论：

• 据我们所知，这是首次将时空图卷积应用到了自动睡眠阶段分类任务。此外，我们还提出了一种新型的自适应睡眠图学习机制，该机制与时空图卷积同时集成在一个统一的网络架构中。

• 我们设计了一种时空卷积，它包括用于捕捉空间特征的图积卷和用于捕捉不同睡眠阶段之间过渡规则的时空卷积。

• 实验结果表明，GraphSleepNet在睡眠阶段分类中实现了最先进的性能。

展望：

• 我们所提出的模型是一个多变量生理时间序列的通用框架。

• 它还可以应用于时间序列的分类、预测和其他相关领域。

论文二：SST-EmotionNet (ACM MM 2020)

SST-EmotionNet: Spatial-Spectral-Temporal based Attention 3D

Dense Network for EEG Emotion Recognitionion 3D

论文链接：

https://dl.acm.org/doi/abs/10.1145/3394171.3413724

1、简介

情绪:

情绪与许多精神疾病相关联，如自闭症和抑郁症^{[1, 2]};

情绪被用作评估患者精神障碍的参考^[3]。

基于EEG信号的情绪识别:

与面部表情等情绪识别方法相比，脑电信号可以客观地反映不同的情绪，是一种能够识别真实情绪的可靠方法^[4] 。

[1]  Al-Kaysi, et al. (2017). Predicting tDCS treatment outcomes of patients with major depressive disorder using automated EEG classification. Journal of affective

disorders, 208, 597-603.

[2]  Bocharov, et al. (2017). Depression and implicit emotion processing: An EEG study. Neurophysiologie Clinique/Clinical Neurophysiology, 47(3), 225-230.

[3]  Zhong, et al. (2020). EEG-Based Emotion Recognition Using Regularized Graph Neural Networks. IEEE Transactions on Affective Computing.

[4]  Zheng, et al. (2015). Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks. IEEE Transactions on Autonomous Mental Development, 7(3), 162-175

2、相关工作

频域特征: 

DE^[5,6], PSD^[7,8], DASM^[9], RASM^[10], DCAU^[4], etc.

时域特征: 

LSTM^[11], MMResLSTM^[12], etc.

空域特征: 

CNN^[13,14], GCN^[15,16],etc.

大部分现有的情绪识别方法仅考虑了以上一种或两种特征。

脑电信号在不同情绪状态下的时频空特征激活:

研究难点：

C1: 如何利用被现有方法所忽略的脑电时、频、空特征之间的互补性。

C2: 如何捕获情绪识别任务中脑电信号的局部时频空特征。

3、工作流程图

4、解决方法

C1: 如何利用不同特征间的互补性？

S1.1: 构建脑电信号的3D时频空表示。

C2: 如何捕获时频空特征中的局部特征？

S2: 设计了一种时频空注意力机制，用于动态捕获时、频、空域下对于情绪识别任务有价值的局部特征模式。

5、实验结果

与SOTA模型做对比：

6、总结与贡献

• 我们提出了一个双流3D密集网络，它使用脑电信号的3D时频空表示在一个统一的网络框架下融合脑电信号的时频空特征。

• 我们提出了一种时频空注意力机制，用于动态捕捉时、频、空下有辨别力的局部模式。

• 我们两个数据集上进行了实验，实验结果显示我们的SST-EmotionNet表现优于其他SOTA模型。

文末福利

论文、数据集、代码

◼ GraphSleepNet模型：https://github.com/ziyujia/GraphSleepNet

◼ MMCNN模型：https://github.com/ziyujia/ECML-PKDD_MMCNN

◼ SST-EmotionNet模型：正在整理，后续会公开。

整理：唐家欣

审稿：贾子钰

排版：岳白雪

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你！

请将简历等信息发至yun.he@aminer.cn！

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注

（直播回放：https://b23.tv/ifBA8L）

（点击“阅读原文”下载本次报告ppt）