脑机接口新应用,利用深度学习对无声语音信号解码
浙江大学、中国矿业大学和伦敦大学的研究人员研究了可用于识别神经肌肉信号的空间特征和解码器。具体来说,研究人员提出了利用迁移学习和深度学习的方法,将表面肌电信号数据转换为包含丰富的时频域信息的声谱图。对于迁移学习,在大型图像数据集上使用一个预先训练好的Xception模型来生成特征。然后利用提取的特征对三种深度学习方法(MLP、CNN和bLSTM)进行训练,并对其进行评价,以识别词集中的发音肌肉运动。所提出的解码器成功地识别了无声语音,双向长短时记忆的准确率达到了90%,优于其他两种算法。实验结果验证了谱图特征和深度学习算法的有效性。
无声语音解码是一种基于关节神经肌肉活动的脑机接口 (BCI) 的新应用,可减少数据获取和处理的难度。在本研究中,浙江大学、中国矿业大学和伦敦大学的研究人员研究了可用于识别神经肌肉信号的空间特征和解码器。表面肌电图 (sEMG) 数据是从人类受试者在模拟语音情况下记录的。
1
无声语言数据
捕获与语音相关的 sEMG
研究发声和关节肌之间的关系,研究人员在面部周围选择合适的电极位置,如图1所示。通道2和5是双极诱导,以提高共模抑制比 (CMRR),而其他的则是导出单极性。通道 1 和 2 记录提口角肌(levator anguli oris),而通道 4记录extrinsic tongue和二腹肌前腹。通道 3、5 和 6 分别记录颈阔肌、extrinsic tongue和翼外侧。此外,两个参考电极放置在耳后的乳突上。
图1.记录面部和颈部周围的位置
在记录六通道表面肌电信号的同时,训练被试想象按确定的顺序依次说出计算机屏幕上显示的标记词,这就是本文无声言语的含义。在我们的实验中,选择十个汉字,包括“噪”、“1 #”、“2 #”、“前”、“后”、“左”、“右”、“快”、“慢”,“停”,意思是’null’, ’No.1’, ’No.2’, ’forward’,’backward’, ’left’,’right’, ’accelerate’, ’decelerate’, ’stop’。共记录10个单词的有效样本69296个,标签分布情况各不相同,如表1所示。图2展示了一个有效的六通道表面肌电信号示例。
图2 想象用中文说“decelerate”时的六通道表面肌电图 (sEMG) 示例
2
预处理
应用一个8阶Butterworth带通滤波器(0.15 ~ 300hz)来消除表面肌电信号的直流偏置和高频。得到过滤后的表面肌电信号,如图3b所示。
图3 sEMG预处理。(a)原始sEMG的一个例子,对应图2中的通道2;
(b)通过Butterworth (0.15 ~ 300hz)和notch (50hz)滤波器过滤的表面肌电信号;
(c)二次变异减少(QVR)处理后的sEMG,最大幅度变化小于1 mV。
3
处理方法
为了有效提取sEMG的时频特征,将原始的六通道sEMG在时域转化为频域,形成以图像表示的谱图。选取当前最先进的模型Xception提取图像特征,分别采用MLP、CNN和bLSTM进行解码。图4描述了sEMG的解码过程。
图4为无声语音解码。(a):表面电极捕捉神经肌肉活动;(b):所有数据通过短时傅里叶变换(STFT)转换为频谱图;(c):使用迁移学习方法从谱图中提取特征;(d):神经网络利用提取的特征解码多通道sEMG。
图5为一个频谱图示例
这图像相互关联,反映了频域中的 sEMG 空间关系。受短视频流的启发,图像被视为固定大小的视频。然后,无声语音解码成为视频分类,通过深度学习方法进行探索。
研究人员在上述特征集探索了三种深度学习方法,即MLP、CNN和bLSTM。图6展示了研究者的解码过程,其中部件(c)∼(g)代表了三个模型的公共结构和组件,只是每个模型中使用了不同的隐藏层和参数。
图6 解码过程。(a) 光谱图。(b) Xception 提取的特征集。(c) 神经网络的输入层。(d) 神经网络的隐藏层。(e) 全连接密集层。(f) Softmax 层作为输出层。(g) 从模型中获得的预测标签。
解码无声语音的多层感知器(MLP)架构
解码无声语音的多层感知器(MLP)架构。
一个特征向量穿过层,输出数字(从0到9)。
解码无声语音的CNN的架构
CNN的结构如图8所示,其中使用了两个带有不同过滤器的卷积层(Conv1和Conv2)来创建特定的feature map。池化层提供了向下采样来减少特征的大小,也有助于防止过拟合。
图8 用于解码无声语音的卷积神经网络 (CNN) 架构
解码无声语音的bLSTM的架构
bLSTM,包括前向 LSTM 和后向 LSTM,捕获双向语义依赖关系。对于六通道 sEMG,bLSTM 往往是一个合适的分类器,因为它可以有效地模拟双向依赖关系。图 9 显示了 bLSTM 架构的细节,由三个双向层、两个密集层和一个 softmax 输出层组成。
图9 用于解码无声语音的双向长短期记忆(bLSTM) 架构
下图提供了训练配置文件。图12a,d给出了MLP的训练细节,其中精度在150 epoch左右稳定,验证损失保持在0.45左右。在图12b,e中,CNN training取得的验证结果比MLP稍好,但是需要大量的epoch。bLSTM在图12c中验证精度最好,为0.92,在图12f中验证损耗最低,为0.26,但是由于bLSTM需要大量的epoch来完成训练,因此其计算效率不如MLP和CNN。验证性能线通常遵循训练过程,这意味着模型通常训练良好,没有明显的过拟合或欠拟合。
图12 三个深度学习模型在特征集上的训练配置文件。(a) 和 (d):MLP 训练。(b) 和 (e):CNN 训练。(c) 和 (f):bLSTM 训练。训练和验证结果都显示在上面的子图中。
图13 三种解码器的混淆矩阵
为了显示测试集的更多预测细节,研究人员计算了混淆矩阵。如图13所示。标签0和8在所有测试预测中准确率最高,而标签1、5和6的准确率相对较低。除了标签5,其他所有的准确性都从图13a,c中有所增加。样品更有可能被归类为标签0或8。此外,所有三种解码器在区分标签4和标签6时有相同的困难。这可能是由类似的神经肌肉活动引起的。
参考:
Wang Y, Zhang M, Wu R M, et al. Silent speech decoding using spectrogram features based on neuromuscular activities[J]. Brain Sciences, 2020, 10(7): 442..
编译作者:Tina编译
不用于商业行为,转载请联系后台
若有侵权,请后台留言,管理员即时删侵!
更多阅读
[MNE-Python-1]| MNE-Python详细安装与使用
猴子意念打字,有可能敲出莎士比亚全集
Nature子刊:利用闭环脑机接口缓解疼痛感
疑难探究|脑卒中后失语症(post-stroke aphasis,PSA)
利用脑机接口从鸟的脑电波中重现鸟唱歌声
投稿通道
如何让你的工作让更多人知晓和受益?
脑机接口社区就是这样一个连接学界、
企业界和爱好者的平台渠道。
社区鼓励高校实验室、企业或个人在我们平台上分享优质内容。
稿件要求
稿件系个人原创作品,若已在其他平台发表,请明确标注。
稿件一经录取,便提供稿费!
投稿通道
微信扫码,备注:投稿+姓名+单位
微信交流群,请扫码上方微信
(备注:姓名+单位+专业/领域行业)
QQ交流群:913607986
你的每一次在看,我都很在意!
脑机接口新应用,利用深度学习对无声语音信号解码相关推荐
- 脑机接口新进展!即插即用,不用每天校准
脑机接口新进展!即插即用,不用每天校准 道翰天琼认知智能机器人平台API接口大脑为您揭秘.如果你的电脑,每天使用前都要花时间重装系统,是不是难以想象.脑机接口目前差不多就是这个情况,因为还没有实现长时 ...
- 非侵入脑机接口新突破!用意念控制光标,连续追踪效果提升5倍
来源:智东西 看点:CMU研究人员在使用非侵入式脑机接口开发了第一个成功用意念控制的机械臂,展现了连续追踪和跟踪计算机光标的能力. 智东西6月23日消息,卡内基梅隆大学与明尼苏达大学的研究人员在非侵入 ...
- 脑机接口新进展!意念控制机器人离实现更近了一步!
你是否想过像科幻电影里一样,拥有意念操控物体的超能力? 多年来,研究人员一直在努力制造一种设备,让人们可以用他们的思想控制并独立地进行某些活动. 不同的机构和组织一直在致力于建造无缝意念控制的机器人来 ...
- 《自然》 脑机接口新突破 人脑信号转文本准确率达97%
来源:网易智能 据国外媒体报道,一个由加州大学旧金山分校的研究团队打造的新型人工智能系统可根据人脑信号来生成文本,准确率最高可达97%. 亚马逊和谷歌等科技公司打造的虚拟助手相当先进,语音识别能力比起 ...
- 用意念打字,中国脑机接口新纪录诞生!
不用手,不用键盘,直接凭借意念,每分钟在电脑屏幕输出691.55比特,相当于每分钟输出69个汉字. 每分钟输出691.55比特,脑控打字纪录挑战赛最高分. 刚刚,中国利用脑机接口技术打字的新纪录在第三 ...
- 深度学习下的脑机接口BCI究竟有多远?
BCI | ECoG | 脑机接口 LFP | CMRR | 生物计算 随着生命科学.医药研发.数据分析.数据挖掘.LFP.生物计算.靶点发现.基因测序等技术的快速发展,脑科学逐渐出现在人们的视野中 ...
- 解密脑机接口:专访CMU生物医学工程系主任贺斌
卡耐基梅隆大学生物医学工程系主任贺斌教授(照片由本人提供) 来源: 知识分子 撰文 | 李澄宇(中科院神经所PI) 赵维杰(NSR新闻编辑) 脑机接口能做什么?带上电极帽,你可以在实 ...
- 耶鲁大学等机构提出的脑机接口软硬件协同设计,增加脑机的更大潜力
脑机接口(brain -computer Interfaces, BCIs)或脑机接口(brain - machine Interfaces, BMIs)自从被医生和研究人员使用以来,已经为治疗神经系 ...
- 脑机接口技术的现状与未来!
来源:芯智讯 一.前言 通过在脑后插入一根线缆,我们就能够畅游计算机世界:只需一个意念我们就能改变"现实":学习知识不再需要通过书本.视频等媒介,也不需要在花费大量的时间,只需直接 ...
最新文章
- 一篇不一样的docker原理解析
- 怎么绘制机械孔_机械制图中常用的图纸简化画法,相当适合初学者!
- ORA-30649: 缺少DIRECTORY关键字的问题解决方法
- 漫画:什么是一致性哈希
- sql-bench mysql_MySQL性能测试(一)——RHEL 7.1, MySQL 5.6.25, sql-bench
- 本周ASP.NET英文技术文章推荐[03/18 - 03/24]
- 基于web的电影院售票系统的设计与实现
- C基础:数组打印直方图
- 用continue计算100以内奇数和_一分钟明白break和continue
- 四、ARDUINO UNO开发板介绍
- Q3面试嵌入式软件工程师的面试经验
- 传智:自己简单实现一个struts2框架的demo
- Java—企业微信网页版登陆认证详解
- java 百度经纬度 转换为 高德经纬度 谷歌
- CTF 小白教程《从0到1:CTFer成长之路》SQL - 2 解题过程
- gateway笔记TODO
- 李智慧 - 架构师训练营 第三周
- 蒲丰投针问题的matlab仿真
- Java判断平衡二叉树
- 那些年你趟过的坑——项目经理爬坑论