面向睡眠阶段分类的自适应时空图卷积神经网络

©PaperWeekly 原创 · 作者｜宁晓军

学校｜北京交通大学硕士生

研究方向｜时间序列分析与挖掘；图神经网络

本文介绍一篇北京交通大学网络科学与智能系统研究所贾子钰博士等人，于 IJCAI 2020 发表的论文《GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification》，该研究提出一种多变量时间序列分类的通用图神经网络框架并首次应用于睡眠阶段分类。

论文标题：

GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification

论文链接：

https://www.ijcai.org/Proceedings/2020/0184.pdf

代码链接：

https://github.com/ziyujia/GraphSleepNet

论文作者主页：

https://ziyujia.github.io/

背景简介

睡眠阶段分类对睡眠质量的评估和疾病的诊断具有重要意义，睡眠专家通常根据睡眠分期标准和多导睡眠图（polysomnography, PSG）来判定睡眠状态。在目前的睡眠分期领域研究中，睡眠专家通常使用 R&K 睡眠分期标准和美国睡眠医学会（AASM）制定的睡眠分期标准进行睡眠阶段的识别。

特别是在 AASM 标准中还记录了不同睡眠阶段之间的转换规则，帮助睡眠专家通过时间上下文进行睡眠分期。虽然有标准和规则提供决策支持，但是由睡眠专家人工进行睡眠分期仍然是一项繁琐且耗时的任务，分期结果也容易受到睡眠专家主观意识的影响。

动机

2.1 挑战

2.1.1 网格数据的局限性

目前大多数睡眠分期模型大多使用 CNNs 和 RNNs 模型，尽管 CNNs 和 RNNs 能够实现较高的睡眠分期准确率，但它们的局限性在于模型的输入必须是网格数据（例如 2D 图像表示），这导致了大脑区域之间的联系被忽略。由于大脑区域处于非欧式空间，因此图应当是表示大脑连接性最自然且最适合的数据结构。

2.1.2 大脑连接关系的建模

基于图卷积神经网络在图结构数据中的成功应用，我们采用图结构表示方法研究睡眠分期问题，在多导 EEG 数据中，每个 EEG 通道对应于睡眠图中的一个节点，两个节点之间的连接对应于睡眠图中存在的边。

固定的图结构是图卷积神经网络中的重要输入，也是提取空间信息的关键。但由于人类对人脑的认知是有限的，因此为睡眠分期预定义合适的空间脑连接结构仍然是一个挑战。因此，论文尝试提出一种数据驱动的大脑连接结构学习模块与与时空图卷积集成于统一的图神经网络框架。

2.1.3 睡眠过渡规则

如何利用相邻睡眠阶段之间的过渡规则也是一个挑战。睡眠专家在进行当前睡眠阶段的分期时，往往会结合其相邻睡眠阶段。因此，充分利用睡眠阶段间的过渡规则往往能够提升睡眠分期的准确率。

2.2 贡献

据我们所知，这是首次尝试将 ST-GCN 应用于睡眠分期领域。此外，我们提出了一种新的自适应睡眠图学习机制，它与 ST-GCN 同时被集成在统一的深度神经网络的架构中。
我们设计了一种基于注意力机制的时空卷积结构，它可以有效的捕获不同睡眠阶段的空间特征和睡眠阶段之间的转换规则。
在基准数据集的实验结果表明，提出的 GraphSleepNet 优于传统的基线方法，取得了 SOTA 的性能。

问题定义

在本研究中睡眠阶段网络被定义为无向图

，其中 V 表示节点集合，每个节点都对应一个通道(电极)，|V|=N 表示睡眠阶段网络中节点的个数；E 是边的集合，表示节点之间的连接关系；

表示睡眠阶段网络 G 的邻接矩阵。

如图 1 所示，

是由一个 30s 的脑电信号序列

构建的，且本文所提出的模型中使用的邻接矩阵

是通过学习得到的，而不是传统的 GCNs 通常使用的固定的邻接矩阵。

睡眠特征矩阵是图形睡眠网的输入。我们将原始信号序列定义为，其中 L 表示样本数，Ts 表示每个样本的时间序列长度

。对于每个样本

，我们提取不同频带上的差分熵（DE）特征，并定义每个样本

的特征矩阵

，其中

表示样本 i 的第 n 个节点的

个特征。

本文通过时空图卷积神经网络对脑电信号编码并建立其与睡眠分期之间的映射关系。睡眠分期问题定义为：给定睡眠阶段网络序列，对当前阶段的睡眠分期 y 进行分类识别。其中

表示

在时间维度的上下文，y 表示

的睡眠阶段类别标签，Tn=2d+1 表示睡眠阶段网络的长度，其中 d∈N+ 表示时间上下文系数。

Adaptive Spatial-Temporal GCN

GraphSleepNet 的总体架构如图 2 所示。我们总结了本文模型的三大关键点：

1）该模型能够表示节点之间的功能连接关系并动态构造邻接矩阵（脑连接网络）；

2）该模型利用空间图卷积和时间卷积提取睡眠脑电信号的空间特征和时间特征；

3）该模型采用时空注意机制自动捕获更有价值的时空信息进行高精度分类。

4.1 Adaptive Sleep Graph Learning

如图 3 所示，自适应睡眠图学习可以动态地学习图结构，而不是通过先验知识或人为地构造图（如 k 近邻图）。因此，基于输入的矩阵，我们定义了一个非负函数来表示节点

和

之间的连接关系。

通过具有可学习权向量

的神经网络来实现，学习的图结构（邻接矩阵）

定义为：

其中，激活函数 ReLU 保证了

是非负的。softmax 对

的每一行进行规范化。权向量

通过最小化以下损失函数来更新：

这样，节点 m 与节点 n 之间的距离越大，

越小。由于大脑连接结构不是一个完全连通的图，我们利用上述损失函数的第二项来控制图的稀疏性，其中 λ ≥ 0 为正则化参数。为了避免损失函数最小化而产生平凡解（即

），我们将它作为正则项来形成最终的损失函数。

其中，

为多分类任务的原始损失函数，L 为样本数，R 为类别数。

4.2 Spatial-Temporal Graph Convolution

时空图卷积结合了空间图卷积和时间卷积，用于提取时空特征。如图 2 所示，空间图卷积通过聚合每个睡眠阶段网络中的邻接节点的信息来捕获空间特征。时间卷积提取相邻睡眠阶段间的时间依赖来捕捉睡眠转化规则，进而提升模型分类效果。

（1）Spatial Graph Convolution

我们利用基于谱图理论的图卷积来提取空间维度上的空间特征。对于每个待识别的睡眠阶段，自适应睡眠图学习模块会提供一个邻接矩阵

。我们利用图拉普拉斯算子的切比雪夫展开来降低计算复杂度。基于 K-1 阶切比雪夫多项式的切比雪夫图卷积定义为：

其中

为卷积核，

表示图卷积运算，

表示切比雪夫系数的向量，

表示输入的数据，

表示拉普拉斯矩阵，

表示度数矩阵，

，

是拉普拉斯矩阵的最大特征值，

是单位矩阵。

是递归定义的切比雪夫多项式，特别地，

，

。

通过使用切比雪夫多项式的近似展开，可以提取到以每个节点为中心的 0 到 K -1 阶邻居的信息。

在本次工作中，我们将上述定义推广到具有多个特征的节点。第 l 层的输入表示为，

为每个节点的通道数，当 l=1 时，

。

表示第 l 层的时间维度。对于每个

，我们使用

个卷积核进行图卷积操作

，其中卷积核的参数为

，因此，每个节点都能聚合其 0~K-1 阶邻居节点的信息。

（2）Temporal Convolution

为了捕捉睡眠转换规则，睡眠专家通常结合相邻的睡眠阶段对当前睡眠阶段进行分类，我们则使用 CNN 在时间维度上进行卷积运算。具体来说，在图卷积运算充分提取每个睡眠阶段网络的空间特征后，我们使用一个标准的 2D 卷积层来提取当前睡眠阶段的时间上下文信息。第 l 层的时域卷积运算定义为：

其中 ReLU 是激活函数，Φ 表示卷积内核的参数，* 表示标准卷积操作。

4.3 Spatial-Temporal Attention

我们使用了一种时空注意力机制来捕获睡眠阶段网络上有价值的时空信息。时空注意力机制包括空间注意力和时间注意力。

（1）Spatial Attention

在空间维度上，不同区域对睡眠阶段的影响是不同的，睡眠阶段是动态变化的。为了自动提取注意空间动态，我们使用了空间注意力机制，其定义如下：

其中，

，

是模型的可训练参数，σ 表示 sigmoid 激活函数。

表示第 l 层的输入，

表示时间注意力矩阵，它是由当前层的输入动态进行计算得到的

表示节点 m 和节点 n 之间的相关性。最后，使用 softmax 函数对注意力矩阵进行归一化。模型在进行图卷积时会结合学习的邻接矩阵

和空间注意力矩阵

，进而实现节点权值的动态更新。

（2）Temporal Attention

在时间维度上，相邻的睡眠阶段之间通常存在相关性，并且这种相关性在睡眠状态变化时也会发生变化。因此，我们利用时间注意力机制来捕获睡眠阶段网络间的动态时间信息：

其中，

，

是可训练参数。

表示时间注意力矩阵，

表示睡眠阶段 m 与 n 之间的相关性。最后，使用 softmax 函数对注意力矩阵进行归一化。

实验

5.1 Datasets

我们在 Montreal Archive of Sleep Studies(MASS)-SS3 数据集上评估了我们提出的模型。MASS-SS3 数据集包含来自 62 名健康受试者（28 名男性和 34 名女性）的 PSG 记录。每次记录包含 20 导 EEG、2 导 EOG、3 导 EMG 和 1 导 ECG。

PSG 记录采用 0.30-100Hz (EEG)，0.10-100Hz (EOG, ECG)，10-100Hz (EMG) 带通滤波器进行预处理。我们从 9 个交叉频带中提取每个通道的 DE特征：0.5-4Hz、2-6Hz、4-8Hz、6-11Hz、8-14Hz、11-22Hz、14-31Hz、22-40Hz、31-50Hz。

5.2 Result

我们与 8 种 Baseline 方法进行了比较，结果如表 2 所示，更多的实验设置、Baseline 介绍等请参阅我们的论文原文。

传统的机器学习方法（SVM、RF）不能很好地学习复杂的时空特征。然而现有的深度学习模型如 CNN 和 RNN 可以直接提取空间或时间特征，因此其性能优于基于传统机器学习的方法。

虽然 CNN 和 RNN 的精度很高，但是这些模型的输入必须是网格数据，忽略了大脑区域之间的连接。由于大脑区域处于非欧几里得空间，图是表示这种联系最合适的数据结构。GraphSleepNet 基于自适应睡眠图结构提取时间和空间特征。因此，本文提出的 GraphSleepNet 方法优于其他基线方法。

5.3 Experimental Analysis

为了进一步研究自适应睡眠图学习的有效性，我们设计了五个固定的邻接矩阵与之进行比较。

图 4 (a) 表明，自适应的邻接矩阵在睡眠分期中获得了最高的准确率。此外，与先验知识相结合的邻接矩阵（如 PLV 邻接矩阵）取得了次优效果。由于大脑网络不是一个完全连通的图，所以全连通邻接矩阵效果不好。一般情况下，邻接矩阵对分类效果有显著影响。本文提出的用于分类任务的自适应睡眠图学习优于所有固定图。

此外，我们研究了输入睡眠阶段网络的数量（时间上下文的长度）对分类性能的影响。图 4 (b) 显示，随着

的增加，分类性能有所提高，

时分类准确率最高。值得注意的是，根据 AASM 标准，睡眠专家也是根据 5 个睡眠阶段来判断当前的睡眠状态，显示了所提模型的实用性。另外，输入睡眠阶段网络的数量过大会导致分类性能下降，这可能是由于信息冗余造成的。

结论

本文提出了一种新的深度图神经网络用于自动睡眠分期。该模型的主要优点是自适应地学习最适合 ST-GCN 的睡眠连接结构，以及该模型结合时空卷积和时空注意机制，同时捕获睡眠数据的注意时空特征。该方法为实现睡眠自动分期提供了一种新的思路。此外，该文提出的模型是一个多变量时间序列的通用框架，未来可以应用于时间序列分类、预测等相关领域中。

更多阅读

#投稿通道#

让你的论文被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

???? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

???? 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site

• 所有文章配图，请单独在附件中发送

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。