点击上面"脑机接口社区"关注我们

更多技术干货第一时间送达

脑机接口(Brain-Computer Interface, BCI)可以让用户使用脑电信号直接与计算机或其他外部设备进行交互。该名词是由美国加州大学洛杉矶分校Vidal教授1973年发明的,但是早在1969年美国耶鲁大学和华盛顿大学的研究者们已经分别在牛和猴子上进行了闭环脑机接口实验,比如可以通过脑机接口系统让奔跑中的公牛突然停下来,让猴子可以通过控制单个脑细胞的活动来操控仪表指针以获取食物奖励。脑机接口最初是为病人设计的,特别是像霍金那样全身瘫痪又不能说话的病人。近年来,脑机接口的应用范围逐渐扩展到正常人,用于游戏、神经营销、情感识别、精神状态评估等。

用于脑机接口系统的输入信号可以分为非侵入式、半侵入式和侵入式三种。其位置和特征如图1所示。

图1. 脑机接口系统的信号来源和特征

非侵入式脑机接口无需动手术,直接从头皮表面采集大脑信号。常用的非侵入式信号有头皮脑电(EEG)、功能近红外光谱(fNIRS)和功能核磁共振成像(fMRI)等,其中以EEG最为常见。EEG通常由头戴式的脑电帽通过电极从头皮上采集,可以在头皮上监测到群体神经元的放电活动。

基于EEG的闭环脑机接口架构图如图2所示,包括EEG信号采集、信号处理、特征工程、分类回归和控制器几个部分:

图2 基于EEG的闭环脑机接口系统架构

  1. 信号采集:通过脑电帽进行。传统的脑电帽使用湿电极,佩戴不太方便和舒适。现在越来越多的脑电帽使用干电极,佩戴更加方便,但是一般信号质量比湿电极稍差。

  2. 信号处理:因为EEG信号幅值很小,并且容易受到肌电、眼电、心电、交流电工频干扰等的影响,必须通过信号处理提高其信噪比。信号处理一般包括时域滤波和空域滤波两步。时域滤波一般用陷波滤波器去除50或60Hz的交流电工频干扰,然后用带通滤波器,比如【8,30】Hz,去除高频噪声和低频漂移。空域滤波通过独立成分分析(ICA)、共同空间模式(CSP)、典型相关分析(CCA)等把原始EEG通道通过加权的办法组合成新的通道,提高信息量,并降低通道数目。

  3. 特征工程:主要是特征提取,有时候也包括特征选择。常用的特征包括时域、频域、时频域、黎曼空间、topoplots等。

  4. 分类回归:使用机器学习算法从EEG特征中解码其含义。常用的方法有线性判别分析 (LDA)、支持向量机 (SVM)等。

  5. 控制器:根据脑电信号含义,向外界设备,比如计算机、机器人等,发送指令。在有些应用(比如文字输入)中,控制器并不是必需的,脑电信号经过分类器后已经直接被解码成文字了。

经典的脑机接口系统主要包括运动想象(Motor Imagery, MI)、事件相关电位(Event Related Potential, ERP)和稳态视觉诱发电位(Steady-State Visual Evoked Potential, SSVEP)三种范式。本文主要考虑基于运动想象的BCI系统。肢体运动的执行和想象会影响大脑特定区域感觉运动皮层的节律活动的变化。比如对于左手的想象动作会导致大脑右半球激活强烈,右手的想象动作会导致大脑左半球激活强烈,而脚的想象动作会导致大脑顶部激发强烈。根据这些特征可以把运动想象转化成输出指令,用于外部设备的控制。

EEG信号很微弱,容易受到身体其它电信号和外界环境干扰,具有很大的个体差异,并且是非平稳的(同一个用户不同时间的EEG信号会有差异),所以很难设计一个脑机接口系统,其机器学习模型参数固定且对不同用户、不同脑电帽和不同任务都是最优。通常需要对新用户、新设备和新任务进行校准,但是此校准过程费时费力,对用户不友好,所以缩短或消除此校准过程对于脑机接口系统的推广应用非常重要。

迁移学习是目前脑机接口中减少校准的最重要的方法,也是本文的主题。其主要思想是通过相似或相关的其它用户、设备或任务的数据来帮助当前用户、设备或任务进行校准。虽然文献中已经有很多迁移学习方法,但是大部分都只是针对信号处理、特征工程、分类回归3个组件中的1个进行考虑的,特别是分类回归部分。个别文献考虑了其中的2个组件。附件中的最新文章“Transfer Learning for Brain-Computer Interfaces: A Complete Pipeline”提出,这3个组件中可以同时考虑迁移学习,并且在信号处理之前应该显式地加入一个数据对齐组件,让来自不同用户的数据分布更加一致,有利于后续的迁移学习。研究人员提出的脑机接口中迁移学习的完整流程如图3所示。

图3. 运动想象脑机接口中迁移学习的完整流程

研究人员介绍了数据对齐、空间滤波、特征工程和分类回归中一些基本的迁移学习方法,及改进的、效果更好的迁移学习方法,并通过近百种算法组合比较验证了如下结论:

  1. 在脑机接口的迁移学习中加入显式的数据对齐组件非常重要。常用的数据对齐方法在研究小组的最新综述文章“D. Wu, Y. Xu and B.-L. Lu, “Transfer Learning for EEG-Based Brain-Computer Interfaces: A Review of Progress Made Since 2016,”IEEE Trans. on Cognitive and Developmental Systems, 2020, accepted”中有很完整的介绍,如下表所示。研究人员推荐使用其中的 Euclidean Alignment (EA)方法,完全无监督,运算代价低,适用于传统机器学习和深度学习。该方法在之前的博文也有介绍,并帮助团队获得2019中国脑机接口比赛技术赛一等奖。来自多伦多大学Vector Institute for Artificial Intelligence的研究者们在多个脑机接口范式和深度学习模型上也验证了EA的优异性能。

  2. 在脑机接口的多个组件中同时考虑迁移学习往往比只在部分组件中考虑迁移学习效果好。复杂的迁移学习方法往往比简单的效果好。这个结论在跨用户/跨试次的运动想象分类、在线/离线运动想象分类、及传统机器学习和深度学习中都得到了验证。

本工作由华中科技大学人工智能与自动化学院脑机接口与机器学习实验室伍冬睿教授、博士生蒋雪、硕士生彭睿旻、杭州电子科技大学孔万增教授、和华中科技大学黄剑教授、曾志刚教授共同完成,受到湖北省杰青和浙江省脑机协同智能重点实验室支持,目前在 Information Sciences 审稿中.

原文和代码下载地址:

https://github.com/drwuHUST/TLBCI

文章来源于网络,仅用于学术交流,

不用于商业行为,转载请联系后台

若有侵权及疑问,请后台留言,管理员即时删侵!

更多阅读

基于头皮脑电的癫痫分类

复旦研制出国内首款无线脑机接口芯片,获国际顶级科技会议奖项

基于生理信号的情感计算研究综述(一)

基于SSVEP-EOG的混合BCI用于机械臂控制

全球知名脑科学实验室:陈天桥雒芊芊研究院(TCCI)招聘脑机接口项目(副)主任以及认知评估科学家

手把手教你EEG脑电数据预处理-操作篇

Python-可视化Evoked数据

快速入门脑机接口:BCI基础(一)

你的每一次在看,我都很在意!

运动想象脑机接口中迁移学习的完整流程相关推荐

  1. 伍冬睿教授:脑机接口中迁移学习的完整流程

    大家好,今天Rose分享一篇关于脑机接口中的迁移学习的完整流程.本文由华中科技大学伍冬睿教授授权分享. 关于脑机接口中迁移学习方面的研究,伍教授团队做过大量的工作.之前社区分享过<脑机接口中的流 ...

  2. 用发型、妆容和面部形态解释人脸识别准确性的性别差异;在CARLA实施的基于交叉口情况覆盖的自动驾驶车辆验证和确认框架;迈向医学同行影响的Shapley价值图框架;确定运动想象脑机接口中各种用户状态和特

    中文标题:用发型.妆容和面部形态解释人脸识别准确性的性别差异 英文标题:Gendered Differences in Face Recognition Accuracy Explained by H ...

  3. 国内研究团队利用神经反馈训练提高运动想象脑机接口的性能

    运动想象(MI)任务表现的显著性差异严重阻碍了MI在脑机接口(BCI)中的广泛应用.先前的研究人员发现,静息态的alpha波段功率与MI-BCI性能呈正相关.在本研究中,研究人员设计了一种基于上调al ...

  4. 运动想象脑机接口方向投稿期刊选择(二)

    Elsevier Springer Arizona State University 摘自Letpub网站:http://www.letpub.com.cn/index.php?page=journa ...

  5. 脑机接口中的流形嵌入知识迁移学习

    目录 导读 本分享为脑机学习者Rose整理发表于公众号:脑机接口社区 .QQ交流群:941473018 关于迁移学习应用在脑机接口领域,前面我们分享过伍冬睿教授团队的<华中科技大学伍冬睿教授:非 ...

  6. 脑机接口的深度学习算法

    脑机接口的深度学习算法 脑电图控制是一种利用脑信号去控制电子设备和电路的非侵入式技术.目前,脑机接口系统提供了两种信号类型--原始信号和逻辑状态信号(用于开关设备).本文对脑机接口系统的性能进行了探讨 ...

  7. 深度学习技术在脑机接口中的应用

    大家好! Rose给大家分享一下深度学习技术在脑机接口中的应用. 什么是脑机接口? 脑机接口(BCI)是一种系统,可将受试者(人类或动物)的大脑活动模式提取并转换为用于交互式应用程序的消息或命令.脑活 ...

  8. 基于耳部脑电的语音想象脑机接口系统

    本次分享一篇发表于JNE期刊的基于耳部脑电的语音想象脑机接口系统. 摘要 本研究调查了以用户耳朵 (ear-EEG) 为中心的脑电图 (EEG) 对基于语音想象的脑机接口 (BCI) 系统的功效.开发 ...

  9. 《脑机接口导论》学习笔记 3.记录大脑的信号和刺激大脑

    本章,我们将对大脑中神经元电信号的记录与对神经元进行刺激的技术手段进行了解,并分析各项技术的优劣性与适用性,从而探究这些技术用于BCI输入信号的获取以及通过此类技术使BCI达成交互的可行性. 目录 3 ...

最新文章

  1. node.js 多个异步过程判断执行是否完成
  2. vue2.0 组件通信
  3. CodeForces - 858D Polycarp's phone book(字典树/map)
  4. Hadoop-Flume-类比吸尘器图解
  5. Nexus3.x.x上传第三方jar
  6. 已婚男人的心理五大变化
  7. Guava入门~CharMatcher
  8. 从0到1上线一个微信小程序
  9. 不要让开源成为贸易战的牺牲品!
  10. vsftpd+pam_mysql+mysql
  11. python以文本方式字节流_如何在Python3中将文本流编码为字节流?
  12. php ttc转ttf 在线,iPad字体字库与Windows字库互相转换
  13. MySQL集群Cluster
  14. 自定义 View 之圆形、圆角、爱心、动态旗帜等图片效果
  15. opencv与pcl去找质心
  16. 11、合宙Air模块Luat开发:通过http协议获取天气信息
  17. Daily English(每日一句)
  18. 英语作文计算机的出现,临时英文(电脑输入法出现临时英文)
  19. 逆向工程实验_lab0(密码学算法逆向)
  20. python 输入一个数组_python怎么输入数组

热门文章

  1. Python错误“ImportError: No module named MySQLdb”解决方法
  2. 返回Json数据浏览器带上<pre></pre>标签解决方法
  3. 使用RedisDesktopManager客户端无法连接Redis服务器问题解决办法
  4. Spark程序运行常见错误解决方法以及优化
  5. Windows魔法堂:解决“由于启动计算机时出现页面文件配置问题.......”
  6. Java进程占用内存过高,排查解决方法
  7. 如何对以破折号/连字符开头的字符串进行grep?
  8. 将嵌套的Python字典转换为对象?
  9. 如何使用jQuery创建“请稍候,正在加载...”动画?
  10. 当用户将鼠标悬停在列表项上时,使光标成为手