实际BCI应用:异步EEG/EOG BCI手抓取和释放的可行性

你有没有想过，身体需要多少传感器、信号处理和子任务来处理和执行一个成功的命令?

Crea等人在Scientific Reports 2018中的论文《Feasibility and safety of shared EEG/EOG and vision-guidedautonomous whole-arm exoskeleton control to perform activities of daily living》这篇论文代表了迈向实用脑机接口(BCI)的激动人心的一步。在该项研究中，研究人员专为手臂和手指控制严重缺陷而影响日常活动（例如饮酒或饮食）的患者设计了BCI系统。例如，这种损伤是由脊髓损伤或中风引起的，并且对生活质量有很大的影响。

该项研究中所述的BCI是一个复杂的系统，它结合了一个完整的手臂外骨骼，目的是整合EEG和EOG(来自大脑和眼球运动的电信号)来达到和抓取控制能力。主要的挑战是在如何让系统易于使用，也就是用户友好，同时保证系统的安全和有效。

整个手臂外骨骼的不同组成部分的示意图

上图中，(a)NeuroExos肩肘模块（NESM）外骨骼，由三部分组成：肩膀，手臂和肘部；(b)手腕外骨骼包括两个模块：手模块允许手张开或闭合运动，而手腕模块允许前旋或后仰运动。

正如论文作者所指出的，侵入性测量的最新研究1,2已经获得了非常吸引人的结果。然而在植入时依旧存在风险和发病率。这篇论文的作者(由SurjoSoekadar领导)在之前的工作中(与我们尊敬的导师Niels Birbaumer)证明了异步EEG/EOG BCI用于抓取的可行性。这里，研究者指的是可以在任何时间使用的接口，而不需要与时间线索同步(如果有时间线索的话，会极大地促进算法的发展，尽管会极大地减少用户体验)。

参与者S3使用DLR机械臂从瓶子中喝水

图中第一次成功试验的四张连续图像显示了参与者S3使用机械手臂抓住瓶子，把它拿到嘴边，用吸管喝咖啡(她的标准饮用方法)，然后把瓶子放回桌上。背景中的研究人员被安置在监控参与者和机器人手臂的位置。

该项目的研究成果在两个方面中实现了非常大的创新。首先，它们扩展了接口。用作者的话表示，“与简单的抓握任务相比，例如，操作整个手臂的外骨骼来喝水，涉及到一系列的子任务，如伸手、抓握和举起。”“这种扩展转化为更大的可能行动空间，具有大量的自由度。对信息传输带宽的需求迅速增长。为了解决这个问题，机器人技术以视觉引导的自主系统的形式出现。类似的过程发生在大脑中，“自动化”的任务并没有被有意识地控制。

换句话说，该系统是由EEG和EOG信号连接起来的人与机器智能的融合。机器人和人类合作完成的任务是拿起一杯水，喝完，然后把它放回桌子上。人类位于指令链的顶端，通过EOG信号启动到达动作，并通过EEG抓取动作，如下图所示。

基于脑电图/眼电图（EEG / EOG）触发的有限状态机（FSM）的共享人类机器人控制策略

图中 (a)可视化由EEG / EOG控制的全臂外骨骼动作。绿色箭头表示使用EOG记录的向右水平向眼(HOVr)记录，而“张开的手”和“张开的手”指示与抓握和释放动作的运动图像有关的感觉运动节律(SMRERD，9–15 Hz)的EEG不同步。紫色箭头表示整个手臂的外骨骼的动作。(b)整个手臂外骨骼控制回路的流程图。

对于EEG/EOG，作者使用了Neuroelectrics的Enobio无线系统，使用了6个固体凝胶电极。使用BCI2000，这些信号被转换成命令，与机器人视觉引导系统共享控制外骨骼。后者是用来跟踪和达到被抓住的对象。整个系统相当复杂，包括红外摄像机、Enobio、外骨骼组件(手腕部和肩肘部)和视觉界面。大多数子系统间的通信是通过TCP/IP进行中介的(例如，Enobio的软件NIC可以在网络上连续传输EEG数据)。

基于TCP/IP协议和模拟通信的组件和通信体系结构

未来的发展
最终的结果会让科幻迷们想起半机械人的概念，或者更准确地说，像一只龙虾(不是用内部植入物制造的，而是用一个智能外壳，就像钢铁侠穿的那样)。正是人类和人工智能与机器人技术的奇妙融合，使得这一技术以及类似的技术发展令人兴奋，因为它们通过与外皮层的共享控制，绕过了BCI的带宽限制。随着这类系统中的所有技术元素(传感器、信号处理、人工智能、机器人)的发展和融合，它们的影响将是巨大的，可能会蔓延到消费者应用领域。

参考
[1]Restoration of reaching and grasping movements through brain-controlled muscle stimulation in a person with tetraplegia: a proof-of-concept demonstration
[2]Reach and grasp by people with tetraplegia using a neurally controlled robotic arm
https://www.neuroelectrics.com/blog/2018/07/31/practical-bci-application-feasibility-of-asynchronous-eeg-eog-bcis-for-grasping/
实际BCI应用:异步EEG/EOG BCI手抓取和释放的可行性

实际BCI应用:异步EEG/EOG BCI手抓取和释放的可行性相关推荐

鲁棒，抗遮挡的对柔性手抓取的物体6D姿态估计
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达标题:Robust, Occlusion-aware Pose Estimation for Obje ...
使用python异步框架aiohttp从NASA抓取火星图片
原作:PAWEŁ FERTYK 翻译:大江狗原文链接:https://pfertyk.me/2017/06/getting-mars-photos-from-nasa-using-aiohttp/ ...
Python异步爬虫之协程抓取妹子图片(aiohttp、aiofiles)
目录前言一.什么是协程? 二.协程的优势三.代码分析 1.引入库 2.获取所有时间线的链接 3.获取一个时间线中所有相册的链接 4.获取一个相册中所有的图片链接以及相册的名字 5.下载并保存图片 ...
【selenium 小练手抓取某大厂TP】
今天搞了一个使用selenium 抓取某厂B的图片的爬虫链接请到 https://www.jianshu.com/p/cf1bb718a3dc
python find()效率_基于python分别采用同步与异步（协程）方式抓取时光网TOP100电影...
欢迎各位小哥哥小姐姐阅读本的文章,对大家学习有帮助,请点赞加关注哦!!!!!!!!!! 您的点赞和关注将是我持续更新的动力呢.^v^ 有不懂的问题可以私聊我哦! 如题,同步运行就是python按照代码 ...
新闻爬虫步骤python_抓取新闻网站：异步爬虫实现的流程和细节
利用python写爬虫的人越来越多,这也表明了用python写爬虫相比其它语言用起来更方便一些.很多新闻网站都没有反爬虫的策略,所以爬取新闻网站的数据就更加方便.但是,新闻网站多如牛毛,我们该如何去爬 ...
Python 多进程、协程异步抓取英雄联盟皮肤并保存在本地
作者 | 俊欣来源 | 关于数据分析与可视化就在11月7日晚间,<英雄联盟>S11赛季全球总决赛决斗,在冰岛拉开"帷幕",同时面向全球直播.在经过了5个小时的鏖战, ...
网络爬虫中Fiddler抓取PC端网页数据包与手机端APP数据包
1 引言在编写网络爬虫时,第一步(也是极为关键一步)就是对网络的请求(request)和回复(response)进行分析,寻找其中的规律,然后才能通过网络爬虫进行模拟.浏览器大多也自带有调试工具可以 ...
抓取异步数据（AJAX）笔记
抓取异步数据(AJAX) 数据在XHR中提取结果完整代码注意事项数据在XHR中可以看到,单击XHR按钮后,左侧的列表只显示了一个名为data的URL,很明显,这是获取数据的路由名字,在右侧的 ...
PHPcurl抓取AJAX异步内容(转载)
PHPcurl抓取AJAX异步内容其实抓ajax异步内容的页面和抓普通的页面区别不大.ajax只不过是做了一次异步的http请求,只要使用firebug类似的工具,找到请求的后端服务url和传值的参 ...

实际BCI应用:异步EEG/EOG BCI手抓取和释放的可行性

实际BCI应用:异步EEG/EOG BCI手抓取和释放的可行性相关推荐

最新文章

热门文章