大家好！

Rose给大家分享一下深度学习技术在脑机接口中的应用。

什么是脑机接口？

脑机接口(BCI)是一种系统，可将受试者(人类或动物)的大脑活动模式提取并转换为用于交互式应用程序的消息或命令。脑活动模式是通过脑电图(EEG)获得的信号。

仅凭我们的思想来控制设备的概念并不是什么新鲜事物。实际上已经进行了一些研究和实验，例如猴子控制机器人手臂自动进食，控制轮椅和控制光标每分钟输入大约8个单词。

除了控制设备，BCI的不同应用和研究还包括：

睡眠模式

癫痫

注意缺陷多动障碍(ADHD)

意识障碍

麻醉深度

疲劳和精神负荷

心情

情绪

游戏

语言

......

(当然BCI应用于研究不止上面，欢迎大家可以在脑机接口社区群中补充和分享)

说明，上面的研究与应用与其说是与BCI相关，不如说是与脑信号相关，因为这些领域的研究本质都是基于脑信号研究的。[这句话是Rose小哥自己的话，若是有不恰当，欢迎在后台留言]

BCI应用的挑战

BCI系统的正常工作主要依赖于破译大脑活动的能力。但是单个EEG数据可能包含伪影，电力线干扰，测量和环境噪声。它还包含来自主体/受试者持续思想的干扰。这些伪影/噪声掩盖了实际目标信号。

在实验过程中，由于疲劳，心情甚至是微妙的身体运动(例如眨眼)，我们的大脑都会产生不同的信号。结果，在特定用户上训练的分类器可能很难推广到同一个人在不同时间记录的数据。

EEG信号是高度特定于用户的，因此，大多数BCI系统都针对每个用户进行了校准。在佐治亚理工学院的研究中，他们对未见过的受试者(不是训练数据集的一部分)获得了38％的准确率，对见过的受试者获得了75％的准确率。

Hajinoroozi等人对受试者内和跨受试者进行了测试，结果表明，跨受试者模型的表现总是比受试者内模型差。

在数据收集中，基本事实通常取决于主体对象必须执行的操作。因此，由于不可能知道主体对象在想什么或对象正专注于什么地方，这可能很棘手。

BCI非常具有挑战性，因为它跨多个学科，涉及多个专业的：

神经科学

信号处理

机器学习

计算智能

认知科学

物理等

这些挑战表明了想要将BCI系统推广到大众市场会遇到巨大的挑战。

关于不同学科如何进入到脑机专业，可以查看《脑机头条 第29期|  非脑机专业如何进入脑机接口领域》

为什么BCI应用中需要深度学习

---

近年来，深度学习在各种任务中表现非常突出显眼。它的表现优于使用手工特征的“传统”机器学习方法。

将具有高可变性和非平稳噪声的大脑电活动解码为有意义的信号是很困难的。使用机器学习算法来解决BCI应用程序可以降低这样的困难。

深度学习具有从高维数据中提取特征并从分层表示中学习的能力，并在计算机视觉和自然语言处理领域中产生了许多实际应用。鉴于其在其他领域的有效性，深度学习似乎有望从原始的EEG数据中学习以提取更好的功能以提高性能和鲁棒性。

EEG数据集是高维的，具有高参数的深度学习模型可以直接学习原始的EGG信号。

常见的深度学习架构

---

为了应对BCI应用中的挑战，研究人员致力于改进从EEG信号中提取基本特征的方法，并建立可以更好地推广的模型。

受限玻尔兹曼机(RestrictedBoltzmann Machine, RBM)

受限玻尔兹曼机(RBM)基于训练数据对数似然的梯度上升来学习输入数据的概率分布。深度信念网络(DeepBelief Network, DBN)由三个RBM组成，可以以深度学习的方式堆叠和训练RBM。

图片来源于网络

递归神经网络(Recurrentneural network, RNN)

考虑到EEG数据具有时间结构，频率随时间变化，因此采用循环神经网络(RNN)是合适的。RNN通过递归对序列数据进行建模，及时将RNN展开形成前馈神经网络以应用反向传播。

图片来源于网络

长期短期存储器(LSTM)是一种RNN架构，由存储块组成，这些存储块使用带有自连接存储单元的门控单元。LSTM解决了传统RNN所面临的消失的梯度问题。

图片来源于网络

卷积神经网络

最近的发现表明卷积神经网络(CNN)处理时间序列的有效性，因为它们能够从原始数据中学习最相关的特征。CNN可以扩展到更高的维度，以学习任务所需的功能。卷积层通常包括卷积，非线性激活和池化。

图片来源于网络

CNN在多项任务上均胜过BCI竞赛的获胜者。当然也有一些SVM的性能比CNN方法要好一些。多项研究探索了将DBN与CNN结合以及RNN与CNN结合的想法。DBN与CNN的结合产生了非常喜人的结果。

Schirrmeister等人研究了浅层和深层CNN模型的影响。结果表明，较浅(5层)的全卷积模型的性能优于较深的卷积模型。

Zhang等人在精度、精度、F-measure和G-mean方面评估了深度(从2到10)，其表现优于深度模型。

由于可供BCI使用的训练样本数量较少，许多研究工作表明，参数较少的较浅的体系结构更有用。

正则化

正如BCI应用面临的挑战中所述，EEG信号变化很大。受试者之间甚至同一受试者内的脑电信号都可能有很大差异，因为脑电图包含持续进行的大脑活动和测量噪声引起的干扰。

这些类型的噪声建议使用正则化，以使网络的权重较小，以减少过拟合。神经网络的常见正则化方法是L1和L2，它们会根据权重的大小和符号给权重增加惩罚。dropout技术也是经常用来减少过拟合。

这些正则化技术通常会稍微改善性能，大多数研究至少使用一种正则化技术。

当前的深度学习技术与在BCI应用中存在的问题

---

目前，深度学习模型的性能在一些领域的研究与应用中，已经达到非常高了，比如人脸识别。但它在BCI领域是否可以超越传统的处理技术，我们拭目以待。因为与有ImageNet数据集作为基准数据集的natural image不同，EEG没有基准数据集。

在BCI中，研究中使用了许多不同的任务和不同的数据集，报告的结果对特定数据集的个体研究具有高度的吸引力。每项研究的报告绩效指标和方法各不相同，缺乏标准化的报告方法。

可重复性是推动一个领域向前发展的关键;这在计算机视觉领域中可以看到，那里的技术进步非常快。随着开放源代码数据集的可用性和代码的共享，计算机视觉社区实现了最先进的性能，适用于现实世界的应用程序。

而对于BCI研究，许多研究人员使用私人数据集，他们不公开发布他们的代码。获取数据的成本更高，标注数据需要主题专家的贡献。

BCI应用中的深度学习问题

训练深度学习模型通常需要一个大的训练数据集。不像计算机视觉研究社区，那里有大量的数据;有限的BCI数据对该领域的发展提出了挑战。高质量数据的获取也很有挑战性，可能会采用扩充数据集或使用生成式对抗网络。

深度学习模型在记忆数据集方面很棒，但考虑到脑电图的低信噪比，深度学习模型可能会记忆噪声数据。因此，即使使用各种正则化技术，性能也会受到很大的影响。

Zhang等人强调，深度学习模型容易受到对抗性攻击。其后果可能从用户的困惑和沮丧，到大大降低用户的生活质量，甚至有可能故意伤害用户，而导致用户危险。

一般来说，深度学习模型被认为是一个黑匣子，它不能洞察决策背后的神经生理学现象。这让临床医生和最终用户感到不舒服，特别是当了解模型如何以及为什么产生输出时，对于做出明智的临床选择可能至关重要。Sturm等人的一项研究使用分层相关传播将决策转换成热图，表明每个数据点与决策结果的相关性。

深度学习模型需要很长时间来训练;因此，在每次使用之前需要很长时间来校准新用户。我们不能期望新用户花几个小时来记录他们在不同任务上的大脑模式，也不能允许BCI用户每次使用系统时都要等待。

结论

---

研究人员需要开发出更可靠、更一致的算法，以便于训练和部署。算法必须能够处理小的训练样本，处理嘈杂的信号，在不同的时间和情绪下很好地适用于不同的用户。

许多研究都是在少量的研究对象上进行离线评估的，但要让实际的BCI应用程序发挥作用，需要机器学习能够实时工作。

由于缺乏数据和代码共享，深度学习在BCI领域进展缓慢;当研究人员公开共享数据集和代码时，进展会快得多。

在将BCI应用程序推向大众市场之前，有许多问题需要解决。

文章来源于网络，仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言！

更多阅读

快速入门脑机接口：BCI基础(一)

中科院自动化所余山：尽早制定脑机接口的保护机制及防护标准

快速入门脑机接口：BCI基础(二)

脑波的振幅、位相、分类

如何快速找到脑机接口社区的历史文章？

第2期 | 国内脑机接口领域专家教授汇总(修改)

收藏 | 脑电EEG基础与处理汇总

未来50年的神经科学会是什么样呢？

脑机接口BCI学习交流QQ群：515148456