近日，北京理工大学机械与车辆学院毕路拯教授团队提出一种神经表征驱动的手部运动解码深度学习模型。研究成果以“MRCPs-and-ERS/D-Oscillations-Driven Deep Learning Models for Decoding Unimanual and Bimanual Movements”为题，被国际权威期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》录取。论文第一作者为其团队博士研究生王佳蓉。

为了推进脑机接口和脑控机器迈向真实的应用场景，北京理工大学毕路拯教授团队一直致力于自然场景下的脑机接口、脑机混合智能和脑机协同控制的理论、方法和应用研究。在脑机接口方面，该团队关于考虑注意状态的运动意图分层解码模型曾发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队在推动运动意图神经解码走向真实应用场景方面取得研究进展》，关于单手和双手协同运动的神经解码成果曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《如何对单手和双手协同运动方向进行神经表征和解码？北理工研究团队给出了相关方案》，关于不同注意力状态下运动意图的鲁棒神经解码研究曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《北理工团队在不同注意力状态下肢体运动意图的鲁棒神经解码方面取得重要研究进展》，该论文也获得2022世界机器人大赛-BCI脑控机器人大赛一青年论文比赛一等奖（唯一），关于非侵入式神经信号的连续运动解码曾发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队在基于非侵入式神经信号的连续运动解码方面取得新进展》，所创建的自然场景下声音目标探测的听觉脑机接口曾发表发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队创建自然场景下声音目标探测的听觉脑机接口》。在脑机协同控制方面，该团队所创建的多任务操控的脑机协同控制方法并应用于智能车辆的研究曾发表在被国际顶级期刊《IEEE Transactions on Systems, Man, and Cybernetics: Systems》，参考《北理工团队创建面向多任务操控的脑机协同控制方法并应用于智能车辆》，创建的脑机协同控制框架以及在脑空智能车辆上的应用研究曾发表于国际顶级期刊《IEEE Transactions on Intelligent Transportation Systems》，参考《北理工研究团队在脑机协同控制技术与脑控智能车辆方面取得重要进展》，所提出的基于鲁棒非线性模型预测的脑机协同控制方法以及在脑空移动机器人上的应用研究曾发表于国际顶级期刊《IEEE Transactions on Cybernetics》，参考《北理工研究团队在脑-控移动机器人上取得重要进展》。此外，该团队首创的脑控多域多任务机器人系统还曾作为脑机接口领域创新成果在2022年世界机器人大赛现场进行展示，参考《北理工智能人机系统团队研发“脑控”机器人 应用于城市反恐防暴--2022世界机器人大赛》。

研究背景及主要内容

运动脑机接口(BCI)可以恢复或补偿中枢神经系统功能。在运动-脑机接口中，依赖于患者剩余或完整运动功能的运动执行(ME)是一种更为直观和自然的范式。基于ME范式，我们可以从脑电图信号中解码手部的自主运动意图。大量的工作已研究了基于脑电图的单手运动解码。此外，由于双手协调在日常生活辅助和双侧神经康复治疗中具有重要意义，因此也有研究对双手运动解码进行了探索。然而，单手和双手动作的多类分类表现仍较弱。为了解决这一问题，在这项工作中，本文首次提出了一个神经生理特征驱动的深度学习模型，利用运动相关的皮层电位(MRCPs)和事件相关的同步/去同步(ERS/D)振荡。这一工作的灵感来自于发现大脑信号编码运动相关的信息同时包括ME中的诱发电位和振荡成分。该模型由特征表征模块、基于注意力机制的信道加权模块和浅卷积神经网络模块组成。结果表明，本文提出的模型具有优于基线方法的性能。单手和双手运动的6类分类准确率达到80.3%。此外，我们模型的每个特征模块都对性能有贡献。这项工作首次将MRCPs和ERS/D振荡融合到深度学习中，以增强多类单手和双手运动的解码性能。这项工作可以促进单手和双手运动的神经解码，用于神经康复和辅助。

图1 模型框架

模型框架

图1展示了提出的深度学习模型，用于解码执行的单手和双手动作，称为ME-Net。提出的模型包含三个模块。首先，分别用离散小波变换(DWT)和连续小波变换(CWT)表示单手和双手运动的MRCPs振荡和ERS/D振荡;然后根据运动的神经特征提取时间特征和频谱特征，并通过互信息进行选择。其次，提出了一种基于注意力机制的空间信道加权方法。最后，将浅卷积神经网络(CNN)结构应用于提取的时间-频谱-空间特征图，并对执行的单手和双手运动进行解码。

研究结果

共8名被试参与了本实验，图2展示了单手和双手运动的平均MRCP结果。在单手和双手运动准备阶段，MRCPs均稳定在0 μV左右。在此之后，观察到一个较小的正移伴随较大的负移。当负面移动达到顶峰时，一个更大的正面反弹显示。此外，可以观察到，对于右半球和中心线的电极，在双手运动时发现的负偏移量比单手运动时更大。对于左半球的电极，单手和双手运动的负偏移量几乎相同。

图2 单手和双手运动的平均MRCP结果

图3展示了在C1, C2, Cz, C3和C4电极上单手和双手运动的平均时频结果。可以发现，从运动开始前开始，在[0,8]Hz的低频波段有明显的功率增量，尤其是在[0,4]Hz。此外，与单手运动相比，双手运动在低频波段的功率增量更大。对于[8,20]Hz频段，尤其是[8,13]Hz频段，在动作准备和执行阶段均有明显的功率下降。此外，在运动开始后，还可以观察到[20,40]Hz频段的功率增加。

图3 单手和双手运动的时频分析结果

本文提出的解码模型首先将MRCPs和ERS/D振荡的神经特征融合为时间-频谱特征，然后应用基于注意的信道加权方法提取空间特征。因此，通过使用特征表示和基于注意的信道加权模块，可以获得时间-频谱-空间特征图。为了评估本文提出的模型中每个特征表示部分的有效性，本文通过从提出的模型中去除一个或两个特征部分来比较解码精度。对比结果见表1。与其他特征组合的模型相比，本文提出的具有时间-频谱-空间特征的ME-Net模型表现出最好的性能。

表1使用不同的特征组合的解码结果比较

本文对单手运动和双手运动进行了六类解码，包括两类单手运动和四类双手运动。图4给出了在[- 1,0]s、[-0.5,0.5]s和[0,1]s时间窗口内单手、双手以及单手和双手运动解码的结果以及相应的混淆矩阵。三个时间窗口分别对应于运动开始前、运动开始前和运动开始后的一半时间窗和运动开始后的一半时间窗。

图4 (a)单手、双手、单双手动作分类的解码性能比较。(b)、(c)、(d)分别为单手运动和双手运动、单双手运动的混淆矩阵图。

图5为滑动解码窗下的分类结果。图5中的彩色线对应所有受试者的平均解码精度，每条灰色线对应一个受试者的解码精度。在[- 1,0]s窗口后，解码精度明显提高，最终在[0,1]s窗口达到峰值，解码窗口[- 1,0]s的平均精度为59.4±6.4%，解码窗口[-0.5,0.5]s的平均精度为77.2±6.8%。在[0,1]s窗口，六类分类的峰值准确率达到80.3%。每个被试也可以观察到类似的现象，随着涉及的窗包含更多的运动信息，解码性能也有所提高。

图5 单双手运动的滑动窗解码结果

研究贡献及前景

本研究提出的模型是一种有效的解码多类单手和双手运动的模型。其关键在于利用ME的神经特征来捕获MRCPs和ERS/D振荡特征。这项工作可以促进单手和双手运动的神经解码，用于神经康复和辅助。

团队与作者简介

北京理工大学智能人机系统团队隶属于北京理工大学机械与车辆学院机电系统与装备研究所。团队由5名教师和30余名博士后、博士和硕士研究生组成，负责人为毕路拯教授。团队主要研究方向包括脑机接口与脑控智能机器、多机器人协同与多模态智能感知、无人机探测技术、以及人机智能交互与智能辅助驾驶。团队在国际权威期刊IEEE TCYB, TBME, TITS, TSMCS, TNSRE和THMS等发表论文100余篇（含IEEE Trans 28篇）。获授权国家发明专利26项。获教育部自然科学奖二等奖1项，中国电子学会科技进步二等奖1项。获得2022年世界机器人大会-BCI脑控机器人大赛-青年论文比赛一等奖（唯一）。获首届“京彩大创”北京大学生创新创业总决赛季军、一等奖和第八届中国国际“互联网+”大学生创新创业大赛北京赛区一等奖。

毕路拯教授简介

毕路拯现为北京理工大学机械与车辆学院教授、博士生导师、机电系统与装备研究所所长。他先后在美国University of Michigan, AnnArbor和新加坡南洋理工大学作过访问学者。他是IEEE高级会员、担任复杂系统建模与仿真（英文版）、IEEE/ASME AIM, ACC, ASME DSCC等的AE，Frontiers in Neurorobotics (SCI)客座AE。他是国家自然基金重点项目、装备发展部某重大项目、科技创新-2030-“脑科学与类脑重大项目评审专家、工信部国防基础科研、军委科技委前沿创新项目、教育部博士后基金以及浙江省自然基金等的项目评审专家。担任中国脑机接口产业联盟数据与基础软件工作组副主席、中国计算机学会智能汽车分会专委会常委委员、中国人工智能学会脑机融合与生物机器智能专委会委员、中国仿真学会交通建模与仿真专业委员会委员、中国仿真学会智能优化与调度专业委员会委员、世界机器人大赛-BCI脑控机器人专家组成员。

仅用于学术分享，若侵权请留言，即时删侵！

更多阅读

马斯克合伙人“造出”大脑皮层 有望进行人体测试

人类“第六感”首次被证实，研究发现人脑具有磁场感应能力

上海交大教授卢策吾深度解读“具身智能”

预见2023：《2023年中国脑机接口行业全景图谱》

这个脑机接口实现每分钟超60个单词的意念说话

脑机接口公司Precision Neuroscience完成了B轮4100万美元

哈佛研究人员说：柔性水凝胶电极也许是脑机接口的下一步

人类意识的大脑模式

加入社群

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

加QQ群：913607986

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

2.加入社区成为兼职创作者，请联系微信：RoseBCI

点个在看祝你开心一整天!