重磅!公开基于“内心对话”的EEG脑机接口数据集,助力语音意念控制研究
脑电图是一种标准的、无创的测量脑电活动的方法。人工智能的最新进展让大脑模式的自动检测得到显著改进,允许越来越快、更可靠和可访问的脑-机接口。很多的范式已被用于实现人机交互。在过去的几年里,对解释和描述“内心声音”现象的兴趣有了广泛的增加。这种被称为“内在言语”的范式,提高了仅通过思考来执行命令的可能性,允许以一种“自然”的方式控制外部设备。由于缺乏公开可用的脑电图数据集,限制了内部语音识别新技术的发展。
本项研究给出了在此模式下采集的10个参与者数据集,以及另外两种相关模式下采集的136个通道数据集。本项工作的主要目的是为科学界提供一个开放访问的内部语音命令的多类脑电图数据库,可以用来更好地理解相关的大脑机制。
为了在用户和设备之间建立通信,已经使用了不同的范式被应用于脑机接口,比如P300、稳态视觉诱发电位(SSVP)和运动想象。虽然这些范式被应用于 BCI 系统中取得了很大进步,但对于某些应用来说,它们仍然不能带来有效的控制设备的方法。这主要是因为它们速度太慢或者需要用户付出很大的努力,从而限制了BCIs在现实生活和长期应用中的适用性。
而基于语音相关范式(无声、想象或内部语音)的 BCI 寻求解决上述限制的方法,因为它们为控制外部设备提供了一种更自然的方式。大多数语言模型和理论一致认为,语音涉及听觉处理、语义和句法处理以及运动规划和发音过程。尽管上述三种范式之间存在重大而明显的理论差异,但它们在文献中经常被不一致和误导地提及。在本文中,我们介绍了这三种范式中每一种范式的主要特征。
无声讲话是指正常讲话时产生的发音,但不发出声音。通常使用运动捕捉设备、成像技术或通过测量肌肉活动来测量,而不仅仅是通过大脑信号。此外,Cooney等人提出了一个类似的范式,称为“预期语音”,要求没有发声能力的参与者进行语音。
想象言语类似于无声言语,但它是在没有任何发音动作的情况下产生的,就像说话的运动想象一样。在这里,参与者必须感觉自己好像在讲话,主要集中在不同的发音手势。该范式被广泛应用于EEG、ECoG信号和脑磁图。在DaSalla等人中,元音/a/和/u/是经过仔细挑选的,因为它们有最不同的发音过程。要求的动作是:对于元音/a/,“想象张口和想象发声”;对于元音/u/,“想象圆唇和想象发声”。在Pressel等人中,要求的动作是:“想象这个发音,或者把给出的单词发音作为提示。”最后,Zhao等人所使用的类(提示)被选为具有不同发音,正如作者所提到的:“这些提示被选为保持鼻音、爆破音、元音以及浊音和清音的数量相对均匀”。
内在言语被定义为人以纯意义思维的内化过程,通常与自己内心“声音”的听觉意象相关联。它也被称为言语思维、内心对话、隐秘的自我谈话、内心独白、内心说话。不像想象的和无声的讲话,外部对话的音韵特征和话轮转换特征都没有保留。与运动系统中的大脑信号相比,语言处理似乎更加复杂,涉及不同皮层区域的神经网络,这些区域参与语音或语义分析、语音产生和其他过程。
为了提高对内部语音及其在真实BCI 系统中的应用的理解,我们构建了一个多语音相关的 BCI 数据集,在三种不同的条件下执行四项心理任务:内部语音、发音言语和视觉状态。该数据集将允许未来的用户探索内部语音是否激活与发音相似的机制,或者它是否更接近于可视化空间位置或运动。每个参与者在一天的记录中进行了 475 到 570 次试验,获得了一个包含超过 9 小时连续 EEG 数据记录的数据集,超过 5600 次试验。
数据采集
下图为参与者信息:
上图为实验设置。两台计算机 PC1 和 PC2 都位于采集室外。PC1 运行刺激协议,同时与 PC2 通信显示的每个提示。PC2 从采集系统接收采样的 EEG 数据,并使用从 PC1 接收到的信息标记事件。录制结束时,创建并保存了 a.bdf 文件。
为每个参与者安排记录日。
工作流程。在每个时间间隔内呈现给参与者的屏幕被绘制在图的顶部箭头上。相对时间和全局时间分别绘制在箭头上方和下方。
每个类别的全局平均试验。垂直的黑线对应区间边界,如上图所示。顶行:内部语音,中间行:发声语音。底行:可视化条件。
文件结构:
数据集地址:
https://openneuro.org/datasets/ds003626/versions/2.1.0
参考
Nieto, N., Peterson, V., Rufiner, H.L. et al. Thinking out loud, an open-access EEG-based BCI dataset for inner speech recognition. Sci Data 9, 52 (2022). https://doi.org/10.1038/s41597-022-01147-2
仅用于学术交流,不用于商业行为,若有侵权及疑问,请后台留言,管理员即时删侵!
更多阅读
脑-机交互运动训练的神经反馈方法及康复应用
工程师将大脑信号直接转化为语音
人工智能芯片借鉴大脑学习机制实现终身学习
脑机接口(BCI)系统概述及应用
牛津大学的研究人员首次在人体植入“闭环”生物电子研究系统
PNAS:人类首次利用新型脑磁图可视化快速大脑信号
基于EEG的癫痫自动检测: 综述与展望
2021年度脑机接口重大事件和进展汇总
点个在看祝你开心一整天!
重磅!公开基于“内心对话”的EEG脑机接口数据集,助力语音意念控制研究相关推荐
- 【脑机接口】用人脑意念控制机器人即将落地
转发文章最多的朋友可以免费进入价值99元的<湾区AI精英会>海归圈子 你是否曾经有想过在自己的大脑上装上一个机器接口,然后可以用手机来控制? 昨天,硅谷明星马斯克再一次成为聚光灯下的焦点, ...
- 脑机接口新进展!意念控制机器人离实现更近了一步!
你是否想过像科幻电影里一样,拥有意念操控物体的超能力? 多年来,研究人员一直在努力制造一种设备,让人们可以用他们的思想控制并独立地进行某些活动. 不同的机构和组织一直在致力于建造无缝意念控制的机器人来 ...
- Nature封面:脑机接口重大突破!意念手写字速度破纪录!
近日,由斯坦福大学.霍华德·休斯医学研究所(HHMI).布朗大学等机构的科研人员联合研究,该研究首次从脑电信号中解码手写字母的动作,使瘫痪人士意念中的写字动作可以实时转换成屏幕上的文字. 该项研究结果 ...
- 瘫痪17年,利用双向脑机接口来诱发触觉,控制机械手
大多数身体健壮的人将完成简单的日常任务视为理所当然的事情-当他们拿起一杯温热的咖啡时,他们可以感觉到咖啡的重量和温度并相应地调整抓地力,这样咖啡液就不会洒出来.对手臂和手具有完整感觉和运动控制能力的人 ...
- 脑机接口 | 面向步态神经电生理研究的非人灵长类模型与系统
近期,海南大学生物医学工程学院脑机芯片神经工程团队在Frontiers in Neuroscience期刊上发表了题为<面向步态&神经电生理研究的非人灵长类模型与系统>的学术论文. ...
- 工程技术TOP期刊《Engineering》观点评述:基于脑电图的脑-机接口系统在实用化进程中面临的挑战...
许敏鹏[a,b], 何峰[a,b,*], 钟子平 [a,b,c], 顾晓松[b,d], 明东[a,b,*] [a] Departmentof Biomedical Engineering, Colle ...
- 耶鲁大学等机构提出的脑机接口软硬件协同设计,增加脑机的更大潜力
脑机接口(brain -computer Interfaces, BCIs)或脑机接口(brain - machine Interfaces, BMIs)自从被医生和研究人员使用以来,已经为治疗神经系 ...
- Raspberry Pi 支持开源脑机接口
脑机接口听起来很科幻,但实际上已经慢慢进入普通人的生活了. 有许多不同的方法可以用来检测和解释人脑中的电活动,以便它可以用来控制其他外部设备,比如计算机. 通常脑机接口设备的开发和应用是高校研究部门和 ...
- 可扩展且侵入性最小的脑机接口平台
这项研究描述了一种构建神经接口的新方法,包括可贴合的薄膜电极阵列和微创手术输送系统,它们共同促进以双向方式与大部分皮质表面进行通信(实现记录和刺激).研究人员展示了在不需要开颅的情况下,将包含超过20 ...
最新文章
- web前端培训:本期教程CSS 三大特性
- ABAP TBL鼠标滚动到某行某列
- 2016年第七届蓝桥杯C/C++ B组国赛 —— 第一题:一步之遥
- 【原创 深度学习与TensorFlow 动手实践系列 - 2】第二课:传统神经网络
- Linux 练习题-3文件与磁盘 问答
- 不花钱就补足营养的8妙招
- 【数学】Floating-Point Hazard
- 分享最新40款免费的 WordPress 主题(上篇)
- XenApp备份方法
- 【X240 QQ视频对方听不到声音】解决方法
- 【BP预测】基于BP神经网络实现混凝土强度预测含Matlab源码
- 为什么世界上最好的语言是php,我们来谈谈PHP为什么是世界上最好的语言?
- python 折线图标签_如何使用python绘制折线图?
- TensorFlow1深度学习基础(笔记二)
- 2012-11-21四六级词汇#9312;-----…
- Beta阶段事后诸葛亮分析
- html中背景不平铺怎么写,css怎么让背景图片不平铺?
- 10.525Ghz 微波雷达感应基础(二)--CW模式雷达
- HDU 2112-HDU Today
- 数字标牌创建内容的一些基本技巧