说到运动想象（motor imagenation, MI), 我们都很熟悉，它是指个体在心理上模拟给定动作时的动态状态。如何通过运动想象的脑电信号来分类个体的心理意图，一直是研究人员关注的重点，MI信号可以用于控制外部设备，如大脑控制的机器人、大脑控制的外骨骼、自动驾驶汽车等， 因此提高MI信号的分类准确性是极其有意义的。

脑电图（EEG）的信噪比较低，因此如何从脑电图信号中提取特征并正确分类是BCI技术最重要的部分。传统上，通用空间模式（CSP）和支持向量机（SVM）用于对脑电图信号进行分类，并实现良好的分类结果。随着深度学习的发展，卷积神经网络（CNN）备受关注。到目前为止，已经为BCI 范式提出了各种具有不同架构的神经网络。

本文通过将CNN和LSTM组合在一起，提出了一个新的功能融合深度学习框架。其次，该算法同时提取脑电图信号的时间和空间特征，提高了精度， 第三，该网络提取了中间层特征，以防止特征丢失。

数据集

本文的数据来自BCI Competition IV，“BCI 竞赛IV”的目标是验证脑机接口 (BCI) 的信号处理和分类方法。与过去的 BCI 竞赛相比，解决了与实际 BCI 系统高度相关的新的挑战性问题，例如（数据集链接已附上）：

•无试验结构的连续脑电图分类（数据集 1）。

•受眼球运动伪影影响的 EEG 信号分类（数据‍集 2）。

•MEG 手腕运动方向的分类（数据集 3）。

•ECoG 中需要细粒度空间分辨率的歧视（数据集 4）。

简要介绍一下这四个数据集：

数据集 1： ‹motor imagery, uncued classifier application›

由 柏林 BCI 组提供：Technische Universität Berlin（机器学习实验室）和 Fraunhofer FIRST（智能数据分析组）（ Klaus-Robert Müller、 Benjamin Blankertz、Carmen Vidaurre , Guido Nolte ), and Campus Benjamin Franklin of the Charité - University Medicine Berlin, Department of the Charité, University Medicine Berlin, Department of the Neurology, Neurophysics Group (Gabriel Curio)EEG, motor imagery (2 classes of left hand, right hand, foot);评估数据是连续的脑电图，其中还包含空闲状态的时间段[64个EEG通道（0.05-200Hz），1000Hz采样率，2个类别（+空闲状态），7个科目]

数据集 2a： ‹4 级运动图像› 
由 格拉茨科技大学知识发现研究所 （脑机接口实验室 ，（Clemens Brunner、Robert Leeb、Gernot Müller-Putz、 Alois Schlögl、 Gert Pfurtscheller ) 脑电图，提示运动意象（左手、右手、脚、舌头） [22 个脑电图通道（0.5-100Hz；陷波滤波器），3 个EOG 通道，250Hz 采样率，4 个类别，9 个科目]

数据集 2b: ‹motor imagery›
由 格拉茨科技大学知识发现研究所 （脑机接口实验室 ，（Robert Leeb、Clemens Brunner、Gernot -Müller-Putz、 Alois Schlögl、 Gert Pfurtscheller ) 脑电图，提示运动意象（左手，右手） [3 个双极脑电图通道（0.5-100Hz；陷波滤波），3 个EOG 通道，250Hz 采样率，2 类，9 名受试者]

数据集 3： <MEG中的手部运动方向> 
由 弗莱堡阿尔伯特路德维希大学 脑机接口计划、弗莱堡伯恩斯坦计算神经科学中心 和 图宾根大学医学心理学和行为神经生物学研究所提供（ Stephan Waldert , Carsten Mehring , HubertPreissl , Christoph Braun )
该数据集包含定向调制的低频 MEG 活动，这些活动是在受试者在四个不同方向上进行手腕运动时记录的。[10个MEG通道（过滤到0.5-100Hz），400Hz采样率，4个班级，2个科目]

数据集 4： 《ECoG 中的手指运动》
由 西雅图华盛顿大学物理和医学系( Kai J. Miller ) 和 纽约州卫生部沃兹沃斯中心 ( Gerwin Schalk ) 提供 个人屈曲期间的 ECoG 数据五个手指；使用数据手套获取的运动。 [48 - 64 ECoG 通道（0.15-200Hz），1000Hz 采样率，5 个类别，3 个科目]

融合模型

卷积神经网络CNN已成为最受欢迎的基于深度学习的网络作品，用于在几个不同任务中学习功能。与传统的机器学习算法不同，CNN不需要手动设计功能，它从原始数据中自动学习抽象特征进行分类，从而避免丢失有用信息。与通常有两个独立步骤（包括特征学习和分类）的经典框架相比，CNN可以学习特征，并同时由多层神经网络进行分类。

LSTM通常用于处理时间序列的非线性特征。LSTM的主要特点是存在三个门：忘记门、存储单元和输出门，这极大地提高了LSTM处理时间信息的能力。

（ps: Conv1D 不代表卷积核只有一维,也不代表被卷积的特征只有一维，而是指卷积的方向是一维的；flatten可以理解为把数据扯成一条）

由上述的描述我们可知，CNN网络和LSTM网络可以分别提取空间和时间特征。因此，本文提出了一种同时提取时空特征的特征融合网络方法。有两种网络结构：并行结构和串行结构。与串行结构相比，并行结构同时处理原始数据，这可以有效地从原始数据中提取更多的形成，并提高MI脑电图信号的分类精度。本文采取了并行结构，基于脑电图的时空特征，构建了一个CNN-LSTM并行结构模型，如上图所示， CNN由一个输入层、一个一维卷积层、一个可分离的卷积层和2个扁平层组成。LSTM由输入层、LSTM层和扁平层组成。最后，这两个部分被归类为完全连接的层。除此之外，这个混合模型使用直系线性单元（ReLU）激活和批量归一化（BN）来规范CNN中的激活函数。激活函数tanh用于LSTM。为了帮助规范模型，我们在每层中使用drop out（随机丢掉一些神经元），并将drop out设置为0.5，以帮助防止在小样本量训练时过度拟合。

将实验结果与其他论文进行比较，包括EEGNet算法[1]、Schirrmeister等人提出的ConvNet算法[2]、滤波器库时空卷积网络（FBSF-TSCNN）[3]、SRLDA算法[4]、CSP-LCD算法[5]、FBCSP-CNN-LSTM算法[6]，获得如上结果。可以看出，本文的算法取得了最佳效果。此外，FFCL在所有九个受试者中的准确性一直优于EEGNet。

结论

本文提出了一种基于CNN和LSTM网络融合多级空间-时间特征的脑电图分类算法。提取和融合了空间特征、时间特征和中间层特征。它克服了传统机器学习算法的缺点，即无法人工调参。结果表明，与单个特征相比，融合特征具有更强的分离性和更高的分类精度。此外，即使在嘈杂的数据集上，融合特征的准确性也高于其他算法，这表明使用融合特征的算法可以提取更多信息进行分类，并且对不同主体具有很强的适应性。总之，本研究中提出的算法可以从脑电图信号中提取具有更强分离性的时空信息，并通过集成中层特征来提高MI脑电图信号的交流，这为脑电图信号分类研究提供了新的想法。

参考文献

[1] V.J. Lawhern, A.J. Solon, N.R. Waytowich, et al., EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces, J. Neural Eng. 15 (5) (2016), 056013.1-056013.17.

[2] R.T. Schirrmeister, L. Gemein, K. Eggensperger, et al., Deep learning with convolutional neural networks for decoding and visualization of EEG pathology, Hum. Brain Mapp. 38 (11) (2017) 5391–5420. 
[3] Chen J, Yu Z L, Gu Z, et al. Deep Temporal-Spatial Feature Learning for Motor Imagery-Based Brain–Computer Interfaces. in: IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society, 2020, PP(11). 
[4] Luis F. Nicolas-Alonso, Rebeca Corralejo, Javier Gomez-Pilar, Daniel Alvarez, Roberto Hornero, Adaptive stacked generalization for multiclass motor imagery- based brain computer interfaces, IEEE Trans. Neural Syst. Rehab. Eng. A Publication IEEE Eng. Med. Biol. Society 23 (4) (2015) 702–712. 
[5] Qingsong Ai, Anqi Chen, Kun Chen, Quan Liu, Tichao Zhou, Sijin Xin, Ze Ji, Feature extraction of four-class motor imagery EEG signals based on functional brain network, J. Neural Eng. 16 (2) (2019), 026032.1-026032.14. 
[6] Ruilong Zhang, Qun Zong, Liqian Dou, Xinyi Zhao, A novel hybrid deep learning scheme for four-class motor imagery classification, J. Neural Eng. 16 (6) (2019), 066004.1-066004.11.

仅用于学术分享，若侵权请留言，即时删侵！

更多阅读

意识在大脑中什么位置?新发现有助于确定其位置

中国工程院《全球工程前沿2022》重磅发布！

吃饭不用你自己动手，让基于脑机接口的机器人辅助你

Brain.space 为我们的现代世界重塑脑电图

Nature：科学家首次利用深度学习量化人类意识

P300脑机接口及数据集处理

Nature：重磅！人类一生中的脑图形态变化

加入社群

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

加QQ群：913607986

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

2.加入社区成为兼职创作者，请联系微信：RoseBCI

点个在看祝你开心一整天!