文章概括

作者：Francesco De Pace，Gal Gorjup，Huidong Bai，Andrea Sanna，Minas Liarokapis，Mark Billinghurst
来源：Francesco De Pace, Gal Gorjup, Huidong Bai, Andrea Sanna, Minas Liarokapis, and Mark Billinghurst. 2020. Assessing the Suitability and Effectiveness of Mixed Reality Interfaces for Accurate Robot Teleoperation. In 26th ACM Symposium on Virtual Reality Software and Technology (VRST ’20), November 1–4, 2020, Virtual Event, Canada. ACM, New York, NY, USA, 3 pages. https://doi.org/10.1145/3385956.3422092
原文：https://dl.acm.org/doi/pdf/10.1145/3385956.3422092
代码、数据和视频：暂无
系列文章目录：
上一篇：
论文笔记（八）：360 VR Based Robot Teleoperation Interface for Virtual Tour
下一篇：

摘要

在这项工作中，评估了一个混合现实（MR）系统，以评估它是否可以有效地用于需要精确控制机器人末端执行器的远程操作任务。使用多个RGB-D相机捕捉机器人及其局部环境，远程用户通过虚拟现实（VR）控制器控制机器人手臂运动。采集到的数据通过网络进行流式传输，并进行3D重建，远程用户可以通过VR头显实时监控执行状态。我们将我们的方法与其他两个界面进行了比较：i）纯VR中的远程操作，机器人模型与真实的关节状态进行渲染；ii）MR中的远程操作，机器人的渲染模型叠加在实际的点云数据上。初步结果表明，虚拟机器人可视化比纯点云更能实现机器人手臂的精确远动操作。

CCS CONCEPTS

以人为本的计算→混合/增强现实。

关键词

混合现实、虚拟现实、机器人远程操作

1. 介绍

人们对开发允许操作者使用虚拟现实(VR)和混合现实(MR)技术远程控制[5，7]和/或与机器人平台协作[6，9]的方法越来越感兴趣。例如，Sun等人[8]开发了两种类型的控制模式来调整MR中工业机械手的位置、方向和力。类似地，Whitney等人描述了一种远程遥控操作系统[10，11]，在MR中控制机械臂完成取放任务。结果表明，在完成时间和工作量方面，直接操作优于MR远程操作。据我们所知，还没有研究彻底分析MR接口在更复杂的路径跟随任务中的有效性和准确性。在这项工作中，我们评估了我们的MR机器人远程操作系统，用于需要高度精确控制末端执行器位置和速度的任务，如远程手术[6，9]或焊接[5，7]。这是由RGB-D传感器，允许的物理环境的实时3D重建促进。

2. MR系统

该系统被设计为连接两个不同的环境，即本地机器人环境和远程用户/操作者环境（分别为LE和RE）。LE包含一台通用机器人UR5操纵器及其控制器、一台运行Ubuntu 18.04和机器人操作系统(ROS)Melodic的个人计算机(LPC_1)和两台英特尔RealSense D415摄像机。LPC_1用于与机器人控制器交换数据，并通过局域网收发数据。两台深度相机连接到LPC_1，通过网络基于用户数据报协议（UDP）采集、压缩和共享相机帧。RE设置还包含一台运行Windows 10的计算机(RPC_1)和一个沉浸式VIVE Pro VR头盔，其中有一个控制器和两个跟踪站。RPC_1通过局域网接收来自LPC_1的帧，并运行Unity3D中开发的用户界面。为了正确地可视化点云和检测机器人在虚拟环境中的位置和方向，利用两种不同的校准程序。深度相机采用[1]中提出的方法进行外在校准，确保高保真可视化。机器人的对准依赖于使用一个Aruco标记[3]，放置在相对于真实机械手的已知位置，使得它能够识别其在虚拟空间中的位置和方向。操作者能够通过按下Vive控制器的侧键远程控制机械臂，将控制器的相对位置和方向映射到机器人末端执行器上。操作者还可以通过按压Vive控制器的触摸板，使用远距离传送界面在虚拟环境中移动。控制器和机器人末端执行器上都呈现了虚拟参考系统指示器，以突出显示平移和旋转的轴线。

3. MR接口评估

为了研究MR中远程操作的有效性，所提出的系统(以下称为MR_S)已经与另外两个接口(图1)进行了比较：一个 "纯 "VR版本的系统(VR_S)和一个MR版本的系统，机器人的虚拟表示叠加在真实的系统上(MRR_S)。由于校准误差和点云的低分辨率，引入VR_S和MRR_S接口并进行比较，以便研究这些对MR远程操作的影响。 6名用户（年龄在25岁至31岁之间）被要求使用上述三种界面完成四种不同的任务，并完成一项关于他们使用机器人系统经验的综合调查。调查显示，参与者对机器人技术的接触程度适中（平均3.6分）。

图1：混合和虚拟现实界面的比较。(a) "纯 "虚拟界面(VR_S)，(b) "纯 "点云界面(MR_S)，(c)点云和虚拟机器人界面(MRR_S)，(d)实验室空间中的真实机器人。
在最初的任务（姿势任务，PT），用户不得不移动 endeffector 到三个不同的位置和方向在三维空间，突出一个红色的虚拟资产（称为鬼）。在最后一个任务（速度任务，ST）中，用户必须沿着特定的轨迹跟随幽灵的移动（纯翻译）。PT和ST已经预先记录与真实的机器人，以获得基线数据。采集的参数有：i)末端执行器姿势(PT)，ii)末端执行器相对于时间的轨迹(ST)，iii)基于SUS问卷的可用性[2]，iv)基于NASA-TLX问卷的工作量[4]。关于SUS评分(S)，VR_S(S=80)和MRR_S(S=71)都被证明是有价值的解决方案，而MR_S提供了不满意的结果(S=58)。这些结果似乎被工作量得分所证实（VR_S（S=34），MRR_S（S=39），MR_S（S=60）），这表明纯点云似乎不足以远程操作机器人。相比之下，机器人的虚拟表征则大大提高了可用性。关于PT，可以看出，VR_S的翻译误差最小，其次是MRR_S和MR_S（图2a）。另一方面，旋转误差似乎相当高，与采用的接口无关。ST结果显示了类似的速度跟踪趋势（图2b中1-3列）。然而，通过MRR_S接口获得的轨迹似乎比其他接口更接近基线（图2b中的第4列）。

图2：a）PT的平移（左图）和旋转（右图）误差。 b）速度任务的表现。蓝线表示基线。前三列呈现末端执行器的位置。最后一列呈现了三维空间中的远程操作末端执行器轨迹。

4. 结论和讨论

初步结果表明，与同时渲染机器人虚拟表象的界面相比，纯点云界面似乎效率较低。未来的工作将涉及更多的用户，考虑操作者在3D空间的身体运动，并评估操作者对界面的欣赏程度。此外，旋转任务也将被考虑。结果将提供有用的见解，以了解人类操作员可以在多大程度上有效和准确地使用MR接口控制和远程操作机器人平台。

论文笔记（九）：Assessing the Suitability and ... Mixed Reality Interfaces for Accurate Robot Teleoperation相关推荐

【论文笔记】Integrate Point-Cloud Segmentation with 3D LiDAR Scan-Matching for Mobile Robot Localization a
[论文笔记]Integrate Point-Cloud Segmentation with 3D LiDAR Scan-Matching for Mobile Robot Localization a ...
经验 | 深度学习中从基础综述、论文笔记到工程经验、训练技巧
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:本文授权转自知乎作者跑者小越,https://zhuanla ...
从基础综述、论文笔记到工程经验、训练技巧：值得一看的目标检测好文推荐...
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文授权转自知乎作者跑者小越,https://zhuanlan.z ...
论文笔记（十六）：Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning
Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning 文章概括摘要 1 介绍 2 大规模并 ...
[论文总结] 深度学习在农业领域应用论文笔记5
深度学习在农业领域应用论文笔记5 1. Channel pruned YOLO V5s-based deep learning approach for rapid and accurate appl ...
【论文笔记】MGU-Net
[论文笔记]Multi-Scale GCN-Assisted Two-Stage Network for Joint Segmentation of Retinal Layers and Disc i ...
论文笔记（八）：360 VR Based Robot Teleoperation Interface for Virtual Tour
360 VR Based Robot Teleoperation Interface for Virtual Tour 文章概括摘要 1. 介绍 2. 方法和系统设计 2.1 系统结构 2.2 远程 ...
论文笔记【A Comprehensive Study of Deep Video Action Recognition】
论文链接:A Comprehensive Study of Deep Video Action Recognition 目录 A Comprehensive Study of Deep Video A ...
ST-Resnet 论文笔记
ST-Resnet 论文笔记摘要人群流量预测对交通管理和公共安全具有重要意义,同时也受到跨区域交通.事件.天气等复杂因素的影响,具有很大的挑战性.我们提出了一种基于深度学习的方法,称为ST-Res ...
论文笔记：PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models
论文笔记:PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models 目录 ...

论文笔记（九）：Assessing the Suitability and ... Mixed Reality Interfaces for Accurate Robot Teleoperation

Assessing the Suitability and Effectiveness of Mixed Reality Interfaces for Accurate Robot Teleoperation