Towards Multi-Modal Intention Interfaces for Human-Robot Co-Manipulation

Peternel L,Tsagarakis N,Ajoudani A,Ieee.Towards Multi-Modal Intention Interfaces for Human-Robot Co-Manipulation. 2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS 2016)2016. p. 2663-9.

文章目录

投稿期刊(会议)
被引次数
摘要
1.Introduction
2.方法
- (1)混合力/阻抗控制器
- (2)肌电反馈接口
- - A、Reciprocal Tele-Impedance 互惠远程阻抗
  - B、Mirrored Tele-Impedance
- (3)任务框架配置反馈接口(optiTrack,捕捉手臂姿态，调整机器人阻抗系数在空间上的分布)
3.实验
- (1)EMG信号反馈
- (2)力/阻抗混合控制得到的Z轴力
- (3)optiTrack捕捉手臂姿态，调整阻抗分布

投稿期刊(会议)

2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS
Daejeon Convention Center (DCC)
Daejeon, Korea, October 9-14, 2016

被引次数

40(谷歌学术2021_9_17)

摘要

针对动态不确定任务，提出了一种新的人机协作方法。该方法的基本要素是一个多模态接口，它实时地向机器人提供关于人类运动行为的反馈。人体肌肉活动测量和臂力可操纵性属性分别编码有关运动和阻抗的信息，以及任务框架的预期配置。通过这种人在回路的框架，开发的机器人混合控制器可以调整其动作，以在协作任务的不同阶段提供所需的运动和阻抗调节。我们在一个需要两个代理适当互补行为的双人锯切任务中对所提出的方法进行了实验评估。

1.Introduction

人与机器人的物理交互和协作是机器人融入我们日常生活的两个基本和必要的方面。机器人有望帮助我们完成各种任务，其中许多任务需要协作才能成功完成。为了实现这种行为，机器人必须能够与人类对手进行物理交互，并预测人类的意图，尽管与不确定和不可预测的环境进行额外交互。
为了部分解决与非结构化和不可预测的环境的物理相互作用的问题，引入了阻抗控制方法，该方法便于间接调节接触中的相互作用力。质量弹簧阻尼系统，参数预先识别，并在任务执行过程中保持固定。然而，在环境或任务相互作用力是变化或不确定因素的情况下，必须通过阻抗参数和参考运动、力、任务框架、频率等自适应地调节期望的响应。这一方面在人-机器人合作场景中尤其重要，这要求机器人主动读取人类对手的意图并做出相应的反应。
人的意图可以通过不同的模态和接口传递给机器人。例如机器人上的力传感器阅读人类的目标，或者控制合作结果。比如：协同对象运输、物体抬升、物体放置、物体摆动、姿势辅助等等。然而，涉及与粗糙环境同时交互的协作任务(例如，协同操作工具的使用)可能导致力传感器读数的各种不可预知的力分量。在这种情况下，很难区分与人类行为相关的成分和与环境相互作用产生的成分。或者，可以使用视觉反馈或语言命令来确定人的意图并为机器人控制器生成所需的轨迹。然而，在某些情况下，任务的复杂性可能会阻止机器人从这些更高级别的反馈模式中获得所需的感觉运动行为。
直接在感觉运动水平上获得期望的协作机器人行为的另一种选择是使用机器人学习技术，例如：逐渐相互适应、强化学习、人类演示。

在本文中，我们提出了一种直观的人机协同操作的新方法，该方法基于直接从合作伙伴的肢体功能/属性读取意图。为此，我们绕过了从机器人一侧的力传感器读数中与人的意图估计相关的上述问题。这样，我们就绕过了机器人侧力传感器读数中与人类意图估计相关的上述问题。而不是使用复杂的演示学习技术。我们只需要最小程度的预编程。该方法基于混合力/阻抗控制方案，在该方案中，我们可以确定哪些轴应该用于间接(通过运动)和直接力调节任务。为了提取人类的意图并将其反馈给机器人，我们开发了一种融合了人类肌肉活动和手臂构型反馈的多模态人机接口。肌电反馈被用来估计直接用于机器人阻抗控制的人体手臂刚度趋势，而任务框架则基于估计的人类手臂端点的力可操作性椭球来调整。
所提出的方法提供了高度的适应性，从某种意义上说，人类可以以任意的速度执行任务。人类也可以随时停止和继续执行，而机器人则做出积极和相应的反应。此外，任务框架配置反馈界面允许用户重新配置执行协作任务的任务框架。基于该反馈，机器人简单地在笛卡尔空间中旋转任务框架以跟随人的意图，而在指定阻抗/力轴意义上的任务定义保持不变。因此，提出的方法建立了一个共享的权威框架，其中人类控制任务的认知方面，而机器人在运动级别上提供辅助。
实验：KUKA LBR iiwa七轴，选择双人横切锯合作木刻作为实验任务，因为它需要主体之间适当而严格的协调，此外，这项任务的执行需要与环境进行粗略且不可预测的交互。所选任务的这些具有挑战性的方面为所提出的方法提供了一个要求苛刻的真实世界评估实验。

2.方法

方案框架如下图：

该框架由四个主要单元组成：

混合力/阻抗控制器
力反馈单元，为与力相关的任务提供必要的反馈
肌电反馈接口，提供有关人类行为的主要反馈
任务框架配置接口，提供有关人为任务框架的反馈。

(1)混合力/阻抗控制器

在与未知环境相互作用时，力/阻抗混合式控制方案已显示出优于纯力或阻抗控制技术的优点。这种控制方案的主要优点是机器人平台可以在任务所需的某些笛卡尔方向上调节力和阻抗。因此，我们采用混合力/阻抗控制方案来在工具和环境之间建立所需的力(通过直接力轴)，并能够解决执行任务时的环境不确定性(通过阻抗轴)。对于锯切任务，任务参考系中的期望相互作用力/力矩由下式定义：
Fint=Fforce+K(xa−xd)+D(x˙a−x˙d)\bm F_{int} =\bm F_{force}+ \bm K(x_a-x_d)+ \bm D({\dot x}_a-{\dot x}_d) Fint=Fforce+K(xa−xd)+D(x˙a−x˙d) 其中 Fint\bm F_{int}Fint 是环境作用于机器人的笛卡尔空间相互作用力/力矩，K和D\bm K 和 \bm DK和D是笛卡尔空间机器人的虚拟刚度和阻尼矩阵。xa和xdx_a和x_dxa和xd是机器人末端的当前位姿和期望位姿。Fforce\bm F_{force}Fforce与力的任务有关，表示在某些轴上的力控制，旨在确保工具与环境在这些方向上的接触。Fforce\bm F_{force}Fforce由PI\bm {PI}PI控制器控制：Fforce=KPFeF+KIF∫eFdt\bm F_{force} = \bm K_P^F \bm e_F + \bm K_I^F \int \bm e_F \mathrm{d}t Fforce=KPFeF+KIF∫eFdt eF=SF(Fa−Fd)\bm e_F= \bm S_F(\bm F_a- \bm F_d) eF=SF(Fa−Fd) eF\bm e_FeF 是当前力Fa\bm F_aFa和期望力Fd\bm F_dFd的偏差，KF\bm K^FKF是PI\bm {PI}PI控制器的增益，SF\bm S_FSF是用于选择力应控制的轴的对角矩阵，如果轴是力控制的，则相应的对角线元素应等于1，否则设置为零。PI\bm {PI}PI控制器用于补偿环境扰动、模型和运动学误差、关节摩擦等不确定性。没有使用导数项来避免稳定性问题，因为力的测量由于与环境的粗暴相互作用而产生噪声。在笛卡尔空间期望的相互作用力Fint\bm F_{int}Fint被控制在机器人关节扭矩水平：M(q)q¨+C(q,q˙)q˙+g(q)=τ+JrTFint\bm {M(q){\ddot q }+C(q,{\dot q}){\dot q}+g(q)= \tau +J_r^TF_{int} } M(q)q¨+C(q,q˙)q˙+g(q)=τ+JrTFint τ\bm \tauτ 是机器人关节扭矩的矢量，在已知机器人动力学模型的情况下，我们可以计算产生所需的相互作用力/力矩Fint\bm F_{int}Fint所需的关节力矩τ\bm\tauτ。利用计算出的力矩τ\bm \tauτ对KUKA机械臂进行关节力矩控制。

(2)肌电反馈接口

肌电反馈的主要作用是在人机协作策略中调节机器人的刚度，刚度调节的策略对领导者和追随者角色的确定与认知非常重要。为了实现这一目标，可以利用人体手臂端点刚度的复杂模型来获得所需笛卡尔刚度矩阵，这一过程需要离线识别和校准阶段，难以实时调节，限制应用。
在本文中，我们通过使用一种简化的方法跟踪人类操作员的刚度变化趋势来解决这个问题(第2节)，同时使用一种更实用的方法来识别预期的任务框架(第3节)
将测量得到的肌肉电信号(EMG)进行矫正和滤波后，利用最大自主收缩(MVC)进行归一化处理。将处理后的肌电与肌肉激活程度之间的映射定义为：0≤Ai(t)=EMGi(t)MVCi≤10 \le A_i(t)= \frac{EMG_i(t)}{MVC_i} \le 1 0≤Ai(t)=MVCiEMGi(t)≤1 其中A为肌肉激活水平，EMG(t)为经处理的肌电信号，MVC为肌肉最大自主收缩状态下的肌电信号。下标数字i对应于所选肌肉对的主动肌和拮抗肌。将肌肉激活与关节刚度趋势$ c_h 之间的映射定义为之间的映射定义为之间的映射定义为ch=b11−e−b2(A1+A2)1+e−b2(A1+A2)c_h=b_1 \frac{1-e^{-b_2(A_1+A_2)}}{1+e^{-b_2(A_1+A_2)}}ch=b11+e−b2(A1+A2)1−e−b2(A1+A2)$, b1b_1b1定义了最大振幅， b2b_2b2定义了形状，他们都是通过实验获得。刚度估计可以按比例调整(ch′=achc'_h=ac_hch′=ach)到人体刚度的工作范围，aaa通过实验获得，且ch′和ch均∈[0,1]c'_h和c_h均\in[0,1]ch′和ch均∈[0,1]。
我们使用简化的单关节刚度来估计人类手臂在笛卡尔空间相关轴上的刚度。拮抗性肌肉测量允许检测拉力、推力和协同收缩动作。在我们的示例中，我们选择了在此特定任务中对控制端点刚度起主导作用的肩部刚度。将估计的人体刚度与机械臂刚度调制参数之间的映射定义为:kr=ch′(kmax−kmin)+kmink_r=c'_h(k_{max}-k_{min})+k_{min}kr=ch′(kmax−kmin)+kmin kmax和kmink_{max}和k_{min}kmax和kmin是机器人刚度的可控范围。

A、Reciprocal Tele-Impedance 互惠远程阻抗

如果任务在操作阶段是互惠的，机器人应该读懂人类的意图，并以互惠的方式行事。合作锯就是这种任务的一个例子。当人类操作员坚定的拉锯，机器人必须保持顺从，不能反对拉锯人的努力。在下一阶段，角色互换，机器人拉锯，而人类则降低刚度并保持顺从。指定用于运动的轴/轴上的刚度(通过阻抗控制)通过以下方式获得：Kctrl=SK(1−kr)\bm K_{ctrl}=\bm S_K(1-k_r)Kctrl=SK(1−kr) SK\bm S_KSK是一个单位对角线矩阵，用于选择应在其中调整刚度的轴(前三个元素的单位为N/m，后三个元素的单位为Nm/rad)。$\bm K_{ctrl} 是用于控制指定轴的刚度的矩阵。如果特定轴刚度不用改变，则是用于控制指定轴的刚度的矩阵。如果特定轴刚度不用改变，则是用于控制指定轴的刚度的矩阵。如果特定轴刚度不用改变，则\bm S_K 的相应对角线元素应等于零。力/阻抗控制器中的机器人笛卡尔刚度等于：的相应对角线元素应等于零。力/阻抗控制器中的机器人笛卡尔刚度等于：的相应对角线元素应等于零。力/阻抗控制器中的机器人笛卡尔刚度等于：$ \bm K=\bm K_{const}+\bm K_{ctrl}$KaTeX parse error: Expected 'EOF', got '&' at position 1: &̲emsp;&emsp; 其中\bm K_{const} $是包含应为常数的轴的刚度值的对角矩阵.

B、Mirrored Tele-Impedance

如果任务要求两个代理在任务操作的某个阶段产生相同的行为，则应该在机器人方面反映人的意图。一个这样的例子是协作螺栓拧紧或阀门转向。当应转动螺栓/阀门时，两个代理都应该是刚性的，以产生相同方向的扭矩并执行旋转。在下一阶段，两个代理都应该松弛，重新配置和准备另一个旋转周期。在这种情况下，人体的刚度应该反映在机器人上：Kctrl=SKkr\bm K_{ctrl}=\bm S_Kk_rKctrl=SKkr

(3)任务框架配置反馈接口(optiTrack,捕捉手臂姿态，调整机器人阻抗系数在空间上的分布)

众所周知，人类利用手臂配置来实现适合任务的运动学或动力学行为，尤其是某些姿势在完成给定任务时效率更高。因此，理解人类合作者意图的一个基本方法是观察与位置相关的属性，如速度和力可操纵性度量。例如，在锯切任务中，锯切运动轴需要产生一个力来拉动锯子并驱动锯片，而锯片又会切割材料。理想情况下，人类应该将锯轴与最高的力可操纵性方向对齐，以优化该任务的执行。然后，机器人应该调整它自己的锯切运动轴，以符合人类的意图，并适应协作的努力。
在该方法中，机器人任务参考系根据估计的人类手臂端点力可操纵性椭球进行调整。该措施描述了操作员可以有效控制相互作用力的主要方向。力可操纵性可以从以下公式推导出来：τ=JhT,τTτ=1,FTJhJhTF=1\bm \tau=J_h^T,\bm \tau^T\bm\tau=1,F^TJ_hJ_h^TF=1τ=JhT,τTτ=1,FTJhJhTF=1 JhJ_hJh是人类手臂雅可比矩阵，端点力可操纵性椭球可由(JhJhT)−1(J_hJ_h^T)^{-1}(JhJhT)−1的特征值和特征向量确定。我们使用特征向量来确定任务框架的方向，即力可操纵性椭球的主轴与锯切轴对齐。因此，调整后的在机器人基座的刚度矩阵Kadj\bm K_{adj}Kadj，通过对(JhJhT)−1(J_hJ_h^T)^{-1}(JhJhT)−1做奇异值分解方式获得UR和VRT\bm U_R和\bm V_R^TUR和VRT,同时Keig\bm K_{eig}Keig是含有刚度矩阵K\bm KK的特征值的对角矩阵。Kadj=UR⋅Keig⋅VRT\bm K_{adj} =\bm U_R \cdot \bm K_{eig} \cdot V_R^T Kadj=UR⋅Keig⋅VRT 除了调整刚度矩阵外，我们还控制了机械手的方向，使其与任务框架对齐，并与人类手的方向相匹配。

3.实验

(1)EMG信号反馈

(2)力/阻抗混合控制得到的Z轴力

(3)optiTrack捕捉手臂姿态，调整阻抗分布

锯子沿着X轴，姿态变化前：

姿态变化后：