【论文学习：基于EEG/EMG/EOG的多模态人机接口，用于实时控制软机器人手】

提出了一种三界面模式。系统可以识别运动想象、手势和眼球运动。脑电图模式用来识别左右移动的意图。肌电图用来识别手势，便于控制机器人。眼电模式用来识别向左看或向右看的眼部运动，也可以通过眨两下眼睛来选择最适合的动作。

实验要求：6名受试者一只前臂带肌电环（myo以200HZ的采样频率采集肌电），一只手带软手机器人。

实验过程：EOG模式下，向左或向右箭头的出现之时受试者用眼睛（向左看或向右看）跟踪箭头的方向，并保持自然眨眼。在EEG模式下，想象中的左手或右手动作依次作为提示显示在屏幕上，显示相应手动作的运动想象，持续2秒钟。每个模式都涉及10个实验，5左5右。每个模式的实验持续44秒。

mHMI运动意图检测和控制软机器人的流程图：在检测用户意图之前，通过每个模式采集10次试验的训练数据，分别计算阈值和训练分类器参数，建立EOG和EEG的训练模型。

mHMI的主要结构和工作流程

实验结果：运动意图分析，比如眼电模式下，处理信号，设置阈值，经过正确识别后，可以将看左、看右信号转换为机器人动作的指令，将眨双眼的信号识别为系统切换模式的命令。经过处理，分别标记出非自愿眨眼、自愿单眨眼和自愿双眨眼；根据三十幅度的正负情况标记出左扫视和右扫视。

在软机器人的帮助下受试者能够根据自己的意图快速地抓取其日常生活中的各种物体。EEG2个动作，EOG2个，EMG5个。

数据处理过程：

在EOG模式下，首先使用零相位FIR低通滤波器对EOG进行滤波，该滤波器具有较低的截止频率0.05 Hz和较高的截止频率45 Hz。然后，利用Daubechies小波的4阶和10个分解级别，通过基于小波变换的滤波EOG得到结果。因此，采用双阈值法建立了EOG模型，识别左视、左视和双眨眼的眼动，并将其转化为相应的命令，分别为弯五指推（S1）、捏五指拉（S2）和模式移位（S0）。

在EEG模式下，首先从EEG信号中去除直流分量和相对于首选公共平均参考的基线漂移，并使用截止频率为0.05的零相位FIR低通滤波器对其进行滤波∼45赫兹。接下来，将EEG中的总平均ERD\/ERS估计为与静息状态前2秒参考间隔相比的功率降低（ERD）或功率增加（ERS）。计算由左侧或右侧MI分别获得的信号的二次和的平均值。使用db4母小波作为平均值，通过Daubechies小波在5个级别提取每个通道中的功率变化（Chen等人，2017）。分别记录在左侧（C3）和右侧（C4）初级感觉运动皮层中央区域的EEG平均值之间的差异得到，ERD和ERS使用差异归一化计算。然后构造一个最优超平面作为两类特征分类的决策面，然后选择合适的核函数RBF，根据支持向量机（SVM）的原理，在MATLAB 2010a（MathWorks，Inc.）下使用MATLAB函数“svmtrain.m”确定决策面参数。最后，将处理后的脑电数据输入到SVM分类器的训练模型中，然后从测试集上的测试模型中得到分类结果。结果很容易转化为三指抓握（S3）和拳头（S4）命令来控制软机器人。

在肌电图模式下，如果大多数主要的手臂肌肉还可以正常运动，受试者可以在手臂上佩戴MYO，并练习五种基本手势。所有操作的详细信息也可以在网站上的MYO support上找到（Labs，2018a）。Myo Connect的应用程序编程接口用于从前臂的肌电活动中实时获取手势数据，并将肌电输入到打包的模式识别算法中，对手势进行分类，这些手势成功地转换为相应的控制指令（如S5、S6、S7、S8、S9和S10）。

运动意图分析：

眼电：

如A所示，根据不同的电压分布范围，采用眼电检测方法。第一个子图描述了原始EOG与小波去噪后信号的比较差异。在第二个子图中，如果信号大于第一个阈值180μV，则眨眼被认为是有意义的；否则将被忽略。图5B描绘了扫视检测的过程。第一个子图显示了获得4个扫视单的原始EOG。第二部分基于小波变换对其进行重构。将一些有噪声的随机信号分解为小的阶梯信号，可以从信号的点差分中得到单值脉冲信号，因此应将阈值设置为30μV以正确识别脉冲信号。如果达到或超过阈值，则脉冲信号要么被视为扫视信号，要么被忽略。校正后的扫视信号如第三子图所示：如果脉冲信号为正，则表示向右看；否则它表示向左看。经过正确识别后，可以将看左、看右信号转换为机器人手弯五指推、捏五指拉的命令，将双眨眼信号转换为系统切换模式的命令。经过EOG处理后，相同的部分用条形图标记为相同的颜色。(A)是基于EOG的眨眼处理结果，阈值1、2和3眨眼向量的分别代表非自愿眨眼，自愿单眨眼和自愿双眨眼，(B)是扫视，如果扫视幅度为正数，则表示左扫视(蓝色)，否则表示右扫视(绿色)。

脑电：

通过相关事件去同步化和同步化从脑电信号中提取反应感觉运动的脑活动的生理现象。在每个受试者10次实验出现提示前2秒，计算得到C3\C4的总平均ERD\ERS频率范围是8-12HZ. 图6显示了不同情况下左手或右手运动想象的平均ERD\/ERS。为了直观地发现大脑活动，并确定ERD和ERS的百分比值，在红线下方带有菱形的蓝色线区域代表ERD（功率降低），绿色线的剩余区域代表ERS（功率增加），在左侧和右侧MI（提示出现后的时间段2 s）期间。脑电图显示对侧（如C3或C4）有明显的ERD（蓝色区域）和相对较浅的ERS（绿色区域）。该特征反映了信号特征的变化，因此可以识别左手或右手运动想象。

肌电：

提取表面肌电的共同特征：如平均绝对值、波形长度、过零、斜率符号变化和平均绝对值斜率，用来手势识别和分类。

多模式的性能是由不同模式下的所有评估参数的平均值来表示。控制命令方面，明显优于单一模式，还进一步简化了添加命令的过程，避免了系统中单一模式的缺点。

mHMI可以检测11种运动意图，准确率为93.83%，平均ITR为47.41位\/min。

论文详情： An EEG/EMG/EOG-Based Multimodal Human-Machine Interface to Real-Time Control of a Soft Robot Hand

参考：

(24条消息) 基于EEG/EMG/EOG的多模态人机接口，实时控制软机器人手_脑机接口社区的博客-CSDN博客_eog眼电图

【论文学习：基于EEG/EMG/EOG的多模态人机接口，用于实时控制软机器人手】相关推荐

基于EEG/EMG/EOG的多模态人机接口，实时控制软机器人手
点击上面"脑机接口社区"关注我们更多技术干货第一时间送达 ‍‍‍ 脑机接口(BCI)技术在运动康复治疗应用中有非常大的潜力,它可以利用神经可塑性来恢复运动功能,提高中风患者者的生 ...
论文学习——基于循环神经网络的电信行业容量数据预测方法
文章目录 0 封面 1 标题 title 2 摘要 abstract 3 关键字 keywords 4 总结 conclusion 5 引言 introduction 6 介绍 LSTM 6.1 LS ...
论文学习——基于集成LSTM-AE的时间序列异常检测方法
文章目录 0 封面 1 标题 2 摘要 3 结语 4 引言 4.1 一个问题 4.1 新方向 5 实验设计写在前面:<华中科技大学学报(自然科学版)>:主办单位:华中科技大学:中文核心: ...
论文学习|基于少镜头学习的毛果杨群体叶片性状分析
关于原文 Few-Shot Learning Enables Population-Scale Analysis of Leaf Traits in Populus trichocarpa 基于少镜头 ...
论文学习——基于混合GA优化LSTM的中小流域流量预测研究
文章目录 1 摘要 2 结语(conclusion) 3 引言 4 基于LSTM的流量预测模型 4.1 LSTM神经网络浅介绍 4.2 数据选择与处理 5 SVM + BP + LSTM 三种单预测模 ...
论文学习——基于查询的workload预测（CMU）
一.简介论文题目:Query-based Workload Forecasting for Self-Driving Database Management Systems 发表在2018SIGMO ...
论文学习——基于优化DTW算法的水文要素时间序列数据相似性分析
文章目录 1 摘要 2 结论 3 引言 4 水文时间序列数据相似性度量的相关研究 4.0 前人工作 4.1 提出问题 4.2 DTW动态时间弯曲距离算法 5 基于DTW的水文要素时间序列数据相似性度量 ...
经典论文复现 | 基于深度学习的图像超分辨率重建
过去几年发表于各大 AI 顶会论文提出的 400 多种算法中,公开算法代码的仅占 6%,其中三分之一的论文作者分享了测试数据,约 54% 的分享包含"伪代码".这是今年 AAAI ...
基于音频和文本的多模态语音情感识别(一篇极好的论文，值得一看哦！)
基于音频和文本的多模态语音情感识别语音情感识别是一项具有挑战性的任务,在构建性能良好的分类器时,广泛依赖于使用音频功能的模型.本文提出了一种新的深度双循环编码器模型,该模型同时利用文本数据和音频信号 ...
基于机器视觉的图像处理缺陷检测方法论文学习
基于机器视觉的图像处理缺陷检测方法论文学习 Machine Vision based Defect Detection Approach using Image Processing Abstract ...

【论文学习：基于EEG/EMG/EOG的多模态人机接口，用于实时控制软机器人手】

【论文学习：基于EEG/EMG/EOG的多模态人机接口，用于实时控制软机器人手】相关推荐

最新文章

热门文章