Photo: Nathaniel Welch

来源： IEEE电气电子工程师

Motion Restored: Luke Tynan, who was paralyzed in 2017 by a spinal cord injury, demonstrates the wearable system that enables him to control his arm and hand. Sensors on the arm register his intentions, while electrodes stimulate the nerves and muscles to produce his desired movements.

2015年，一群神经科学家和工程师聚集在一起观看一名男子玩电子游戏《吉他英雄》。该男子当时胸部以下已瘫痪了三年有余，但借助这套设备，他小心翼翼地握着简化的吉他界面，用右手的手指按下指板键，左手敲击弹奏杆，使用《吉他英雄》电子游戏弹奏了一些音符。

该男子的行动并不依赖于他体内受损的脊柱。相反，他使用了一种我们称之为神经搭桥（neural bypass）的技术，将他的意图转化为行动。首先，大脑植入物在他的运动皮层中提取神经信号，然后这些信号被转到计算机运行的机器学习算法上进行破译；最后，包裹在他前臂上的电极将指令传递给他的肌肉。这基本上使用了一种人工神经系统。

我们（作者，以下简称我）在俄亥俄州哥伦布的巴特尔纪念研究所做了这项研究。后来我把实验室搬到了纽约州曼哈西特范斯坦医学研究所的生物电子医学研究所。生物电子医学是一个相对较新的领域，在这个领域里，我们使用仪器来读取和调节身体神经系统内的电活动，开创了对病人的新疗法。我们小组的特别任务是破解与运动和感觉有关的神经密码，以便我们能够开发出新的方法来治疗全世界数以百万计的瘫痪患者——仅在美国就有540万人。要做到这一点，我们首先需要了解大脑神经元发出的电信号与身体动作的关系；然后我们需要正确地“说”语言，并调节适当的神经通路，以恢复运动和触觉。在研究这个问题20多年后，我觉得我们刚刚开始了解了这个神秘代码的一些关键部分。

我的团队，包括电气工程师Nikunj Bhagat、神经科学家Santosh Chandrasekaran和诊所经理Richard Ramdeo，正在利用这些信息构建两种不同的合成神经系统。一种方法是使用大脑植入物来高保真地控制瘫痪的肢体。另一种采用非侵入性可穿戴技术，提供的控制精度较低，但好处是不需要进行脑部手术。这项可穿戴技术也可能很快推广到患者身上。

Photo: Nathaniel Welch

Group Effort: Study participant Luke Tynan [front] works with a team of researchers to try out the wearable neural bypass. From left: Chad Bouton, Richard Ramdeo, Santosh Chandrasekaran, and Nikunj Bhagat.

“吉他英雄”实验的参与者Ian Burkhart在2010年因一头扎进海浪中，头朝下撞到沙堤，导致瘫痪。撞击使他颈部的几块椎骨骨折，脊柱受损，也导致他胸部以下瘫痪。他的受伤阻止了大脑产生的电信号沿着神经传递，从而触发肌肉的动作。在他参与我们的研究期间，技术帮助找回了失去的功能。他成功地进行了刷卡、倒水等行为，这标志着瘫痪病人第一次通过植入大脑的设备成功控制了自己的肌肉。这指出了我们研究的两个方向。

Photo: Ohio State University Wexner Medical Center/Batelle

Rocking Out: In 2015, study participant Ian Burkhart used the first version of the implant-based neural bypass to play the game Guitar Hero.

Burkhart使用的系统是实验性的，当研究结束后，他也相应无法再自主控制肌肉。为了改变这一点，研究人员正在开发一种非侵入性可穿戴技术，它无需植入大脑，因此使用也更快速和方便。正如我将在本文后面描述的，目前，一些四肢瘫痪的人已经在使用这个系统来抓取物体。研究人员的短期目标是将这种非侵入性技术商业化，并希望明年这一技术可以获得美国食品和药物管理局（FDA）的批准。这是我们的短期目标。

我们也在致力于一种双向神经搭桥的长期设想，它将使用大脑植入物来接收接近信号源的信号，并从我们将放置在肢体上的传感器返回反馈。我们希望这种双向系统能够恢复运动和感觉，这项技术已经开始进行临床试验，他们希望这个双向系统能同时恢复运动和触觉，让像Ian Burkhart这样的瘫痪患者能用双手演奏音乐。

瘫痪过去被认为是一种永久性的疾病。但是在过去的二十年里，在读取大脑的神经信号和使用电刺激来给瘫痪的肌肉提供动力方面取得了显著的进展。

在21世纪初，美国BrainGate联盟开始进行一项具有突破性意义的研究工作。他们的技术通过大脑植入物来收集来自大脑运动区域的信号，并利用这些信号来控制各种机器。早年我有幸与该协会合作，开发了机器学习算法来破译神经代码。2007年，这些算法帮助了一位因中风而瘫痪的妇女用思维来操纵轮椅。2012年，BrainGate的研究小组已经能使一位瘫痪的妇女用机械臂拿起了瓶子。与此同时，BrainGate的其他研究人员还在使用植入式电极刺激脊椎，让瘫痪患者可以用腿站立甚至行走。

我的研究小组一直在解决这个问题的两个方面：读取大脑的信号以及刺激肌肉，重点放在手上。在我和BrainGate团队一起工作的时候，我记得看到一项调查，询问脊髓损伤患者的首要任务。四肢瘫痪者，也就是四肢瘫痪的人回答说，他们的首要任务是恢复手臂和手的功能。

机器人技术在一定程度上满足了这种需求。一种商业上可用的机械臂可以通过轮椅控制操作，这项研究已经探索了通过大脑植入物或头皮电极来控制机械臂的技术。但有些人仍然渴望能控制自己的手臂。2016年，Burkhart在接受媒体采访时表示，他不希望轮椅上安装机械臂，因为他觉得这会引起太多关注。他说，控制自己手臂的不引人注目的技术将使他“几乎可以作为一个正常的社会成员发挥作用”，而不是被当作一个半机器人对待。

恢复双手的运动是一项艰巨的挑战。人类的手有20多个自由度，或者说它可以移动和旋转的方式比腿要多得多。这意味着有更多的肌肉需要刺激，这就产生了一个非常复杂的控制系统问题。我们还不能完全理解手的复杂动作是如何在大脑中编码的。尽管面临这些挑战，研究人员依旧尽力帮助四肢瘫痪的病人恢复正常。

Burkhart的植入物是在他大脑的运动皮层中，这个区域控制着手的运动。研究人员已经广泛地绘制了运动皮层的地图，因此有大量的信息表明，运动皮层的一般神经活动如何与整个手部以及每个手指的运动相关。但是从植入物的96个电极上获得的数据量是惊人的：每一个电极每秒测量活动30000次。在这洪流般的数据中，我们必须找到表示“拇指弯曲”或“食指伸出”的离散信号。

对这些信号解码试验需要人工智能的技术，也同样需要有毅力的志愿者配合。志愿者需要参加为期15周，每周三次的课程来进行系统培训。在每次的练习中，Ian Burkhart都会在电脑屏幕上看到一只动态的手在移动和弯曲它的手指。他依此进行想象，大脑中的植入物在记录他的神经元活动时也进行着同样的动作。随着时间的推移，一种机器学习算法就能找出哪种活动模式可以对应“拇指弯曲”或“食指伸出”的动作。

一旦我们的神经搭桥系统理解了这些信号，它就可以为Burkhart前臂的肌肉产生一种模式的电脉冲，理论上模拟了大脑通过未受损的脊髓和神经发出的脉冲。但实际上，将Burkhart的意图转化为肌肉运动需要另一轮激烈的训练和校准。我们花了无数个小时刺激包裹在他前臂上的130个不同的电极来决定如何控制他的手腕、手和每个手指的肌肉。但我们无法复制手所能做的所有动作，而且我们至今为止无法完全控制小指的运动，但我们知道我们必须开发出更好的东西。

为了制作一个更实用、更方便的系统，我们决定开发一个完全无创的版本，我们称之为GlidePath。我们招募了有脊髓损伤但肩膀仍有一定活动能力的志愿者。我们在志愿者的手臂上放置了一种惯性传感器和生物传感器的专有组合，让他们想象伸手去拿不同的物体。来自传感器的数据输入机器学习算法，使我们能够推断志愿者的抓取意图。然后他们前臂上的柔性电极按特定顺序刺激肌肉。在一次治疗中，志愿者Casey Ellin用这种可穿戴的旁路从桌子上拿起一根麦片棒，放到嘴里咬了一口。我们在2020年将这些结果发表在了《生物电子医学（Bioelectronic Medicine）》杂志上。

我的团队正致力于将传感器和刺激器集成到轻便、不显眼的可穿戴设备中；我们还开发了一个应用程序，将与可穿戴设备配对，以便临床医生可以检查和调整刺激设置。此设置将有助于远程康复会话，因为应用程序中的数据将上载到云中。

为了加快校准刺激模式的过程，研究人员在健全志愿者和瘫痪志愿者的帮助下，建立了一个数据库，用于研究这些模式是如何映射到手部运动的。虽然每个人对刺激的反应不同，但是其中的相似性足以用来训练系统。它类似于亚马逊的Alexa语音助手，它接受了数千种语音的训练，而且随时可以使用，但随着时间的推移，它进一步完善了对特定用户语音模式的理解。可穿戴设备也将在近期准备就绪，初级设备可以提供让人打开和合上手的基本功能，后续，研究人员将通过继续了解用户意图，从而帮助每个用户完成对他们来说最重要的动作。

Photos: Nathaniel Welch

Patching Through: Chad Bouton [left] holds the latest version of the wearable patch that stimulates nerves and muscles when placed on the user’s forearm [right].

我们认为这项技术可以帮助脊柱损伤患者以及中风康复患者，我们正在与Good Shepherd康复医院和Barrow神经研究所合作测试我们的技术。中风患者通常会使用这个设备接受神经肌肉电刺激，以协助患者自主运动，或帮助患者恢复运动功能。有相当多的证据表明，当病人在电极刺激正常肌肉的同时尝试做动作时，这种康复疗法效果更好。大脑和肌肉联合运动已被证明可以增加神经系统适应损伤的能力，也就是所谓的“可塑性”。因为刺激是需要患者用意图激发的，所以“神经搭桥”系统将确保患者充分参与。研究人员计划能随着时间的推移收集数据，此外，他们还希望将来即使这个系统关闭了，患者依旧能恢复自身的某些功能。

尽管可穿戴设备的应用令人兴奋，但如今在技术的初级阶段，非侵入性的技术并不能轻易控制复杂的手指运动。研究人员并未指望GlidePath技术能让使用者立即就能玩《吉他英雄》，甚至弹奏真正的吉他。他们正在继续研究一种包括大脑植入配合的“神经搭桥”，以提升系统的控制能力。

当Burkhart使用早期版本的神经旁路术时，他告诉我们，它向独立迈出了一大步。但是有很多实际的事情我们没有考虑。他告诉我们，“感觉不到我拿着的东西是很奇怪的。” 确实，像扣衬衫扣子这样的日常工作确实需要感官反馈，而后，研究人员才决定进行一项双向“神经搭桥”手术，将运动指令从大脑传送到手，并将感觉反馈从手传送到大脑。传输过程跳过患者受损的脊柱，在两个方向中来回移动。

The Two-Way Bypass

To enable a paralyzed person to pick up an object, implanted electrode arrays in the motor cortex (1) pick up the neural signals generated as the person imagines moving his arm and hand. Those noisy brain signals are then decoded by an AI-powered processor (2), which sends nerve-stimulation instructions to an electrode patch (3) on the person’s forearm. As the person grabs the object, thin-film sensors on the hand (4) register the sensory information. That data passes back through the processor, and stimulation instructions are sent to implanted electrode arrays in the sensory cortex (5)—allowing the person to “feel” the object and adjust his grip if necessary. Another electrode array on the spinal cord (6) stimulates the spinal nerves during this process, in hopes of encouraging regrowth and repair.

Illustration: Asia Pietrzyk

The Wearable Bypass

Paralyzed people with some motor function remaining in their arms can make use of a less invasive, though less precise, approach. A patch on the forearm (3) registers biometric signals as the person attempts to use his hand. Those noisy biometric signals are decoded by an AI-powered processor (2), which sends nerve-stimulation instructions to electrodes on that same forearm patch.

为了让人们从瘫痪的手上获得感觉，我们知道我们需要在手上安装微调的传感器，并在大脑的感觉皮层区域安装一个植入物。对于传感器，我们首先考虑人类皮肤如何向大脑发送反馈。当你拿起东西时，比如说，一个装满咖啡的一次性杯子，压力会压迫皮肤的底层。当你举起杯子时，你的皮肤会移动、拉伸和变形。我们开发的薄膜传感器可以检测杯子对皮肤的压力，以及当你提起杯子，重力把它拉下来时施加在皮肤上的剪切力（横向）。这种微妙的反馈是至关重要的，因为在这种情况下，适当的运动范围非常窄；如果你把杯子挤得太紧，你最后会全身都是热咖啡。

我们的每一个传感器都有不同的区域来检测最轻微的压力或剪切力。通过聚合测量值，我们的系统可以准确地确定皮肤是如何弯曲或拉伸的。处理器将把这些信息发送到感觉皮层的植入物上，使用户能够感觉到手中的杯子，并根据需要调整握感。

Photos, top: The Feinstein Institutes for Medical Research; bottom: Abigail Bouton

Touch and Feel: An fMRI image [top] shows brain activity associated with hand movements. The two-way bypass records from the motor cortex and stimulates the sensory cortex. Thin-film sensors [bottom] measure pressure and force; that data goes to stimulating electrodes in the sensory cortex.

另一个挑战是找出刺激感觉皮层的确切位置。感觉皮层接收手部输入的部分还没有通过电极详尽地绘制出来，部分原因是处理指尖的区域被塞进了大脑中一个叫做中央沟的凹槽中。为了填补运动皮层地图的空白，研究小组的人员与神经外科医生Ashesh Mehta 和 Stephan Bickel，以及一些住院的癫痫患者一起配合，进行绘制癫痫活动图的程序。通过将深度电极用于刺激中央沟沟槽的区域，并询问患者有感觉的部位，研究人员能够将设备的触感反馈延伸至指尖等手部特定部位。

这些知识为临床试验做好了准备，这标志着我们研究的下一步。我们目前正在招募四肢瘫痪的志愿者进行这项研究，我们团队的神经外科医生将在感觉皮层植入三组电极，在运动皮层植入两组电极。刺激感觉皮层可能会给解释运动皮层中神经信号的解码算法带来新的挑战，运动皮层中的神经信号会对电信号的接收产生影响，因此研究者也需要克服这一问题。

在这项研究中，我们又增加了一个转折点。除了刺激前臂肌肉和感觉皮层，我们还要刺激脊髓。我们的推理如下：在脊髓中，有1000万个神经元在复杂的网络中。早期的研究表明，即使在没有大脑指令的情况下，这些神经元也有一定的能力暂时指导身体的运动。我们将让志愿者专注于一个预期的动作，在前臂电极的帮助下进行身体上的动作，并接收手上传感器的反馈。如果我们在这个过程中刺激脊髓，我们相信我们可以促进其网络的可塑性，加强脊髓内参与手部运动的神经元之间的联系。我们有可能获得一种持续超过研究时间的修复效果：我们的梦想是让脊髓受损的人的双手恢复正常。

总有一天，我们为瘫痪病人提供大脑植入物的技术能获得临床证明并批准使用。我们希望看到他们用双手做出复杂的动作，我们希望看到他们系鞋带，用键盘打字以及弹钢琴。我们的目标是让这些人在与亲人握手的时候能感觉到回握。我们要恢复他们的运动和知觉，并最终恢复他们独立生活的能力。

关注。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”