360 VR Based Robot Teleoperation Interface for Virtual Tour

文章概括
摘要
1. 介绍
2. 方法和系统设计
- 2.1 系统结构
- 2.2 远程机器人服务
- - 2.2.1 硬件
  - 2.2.2 软件
3. 执行方面
4. 结论和未来工作
鸣谢
参考文献

文章概括

作者：Yeonju Oh，Ramviyas Parasuraman，Tim McGraw，Byung-Cheol Min
来源：March 2018 Conference: International Workshop on Virtual, Augmented and Mixed Reality for Human-Robot InteractionAt: Chicago, IL, USA
原文：https://www.researchgate.net/profile/Ramviyas-Parasuraman/publication/324896965_360_VR_Based_Robot_Teleoperation_Interface_for_Virtual_Tour/links/5aeb3c5ba6fdcc8508b6c4f3/360-VR-Based-Robot-Teleoperation-Interface-for-Virtual-Tour.pdf
代码、数据和视频：暂无
系列文章目录：
上一篇：
论文笔记（七）：ROS Reality: A Virtual Reality Framework Using Consumer-Grade Hardware for ROS-Enabled Robot
下一篇：

摘要

我们提出了一种新颖的移动机器人远程操作界面，展示了机器人辅助远程网真系统与虚拟现实（VR）设备在虚拟旅游场景中的适用性。为了提高逼真度，并在用户界面提供直观的远程环境复制，我们实现了一个自动移动移动机器人（视点）的系统，同时在虚拟现实装备（Oculus Rift）上显示来自机器人的360度实时视频流。一旦用户在一组给定的选项中选择了目的地位置，机器人就会根据最短路径图生成一条通往目的地的路线，并使用依赖于测量无线信号到达方向（DOA）的无线信号跟踪方法沿路线行驶。在本文中，我们对系统和架构进行了概述，重点介绍了目前系统开发的进展，并对上述系统的实现方面进行了讨论。

1. 介绍

除了娱乐行业，虚拟现实（VR）还有无数潜在的应用领域，如旅游[22]、工业设计[5]、建筑、房地产、医疗[6，7]和教育[20]。在这些应用中，我们感兴趣的是VR在虚拟旅游场景中的应用，可以为用户提供真实环境的生动旅游体验。例如，在2017年的谷歌I/O大会上，谷歌推出了利用智能手机制作教育VR内容的主题，主要功能是学生可以观看360度实地考察视频，真实地学习书本上的内容。通过试点研究，学生可以参与更多沉浸式、互动性和社交活动，获得更强的学习体验。

目前，这类虚拟旅游应用的局限性主要体现在显示预录媒体（视频或全景图片）方面[8，12，21]。

因此，为了缓解这种局限性，实现真正的沉浸式远程旅游体验，本研究提出了一种利用VR显示器的系统，该系统可以从移动代理，特别是移动机器人中产生360度摄像头的实时（近实时）流。图1展示了所提出的系统的一个示例场景。VR显示屏显示的是总的界面，这样配备了VR装备的用户就可以直观地看到机器人的三维视图，也可以控制机器人在远处的环境中导航（并改变视角）。

图1：拟议的VR接口的示例。

近年来，利用VR进行机器人控制的研究非常活跃[4]。特别是使用头戴式显示器（HMD）的沉浸式远程操作系统已经被开发出来[9，11]。通过VR界面实现的远距操作比使用液晶显示器和操纵杆的界面更容易、更直观[3，10]。例如，在[1]中，将全向相机拍摄的图像加入到水下遥控潜水器(ROV)上，生成全景图像，VR显示器渲染组合图像，提高水下环境的空间感知能力。在另一项研究中[13]，开发了一种基于VR的远程操作界面，通过模仿用户用VR控制器操作的动作，让用户与机器人机械手一起完成特定的任务(组装工作)，比传统的自动化过程中使用的自动组装更加精确。

之前的这些研究表明，VR界面可以比一般的显示器（如屏幕和操纵杆控制器）更有效，并且可以通过整合各种系统在现实生活中使用。从这些作品中得到启发，在本文中，我们提出了一种结合移动机器人360度摄像头的VR界面，以更好地发挥VR显示器的沉浸式体验。此外，我们通过无线信号跟踪方法为机器人设计了一个自主导航系统[15，16]。这样一来，用户在通过VR显示屏进行虚拟游览体验时，有望减少疲劳感(不用担心微调动作控制)，通过最大限度地减少导航环境的心理工作量，获得更轻松的体验。

此外，我们期望这个平台可以在VR环境下实现一个直观的远程呈现机器人与360度摄像头视频流界面的通用。因此，基于VR的机器人界面的可用性不仅可以针对虚拟旅游的情况进行改进，还可以广泛地针对一般的远程呈现情况进行改进。例如，通过VR和触觉反馈引导远程操作者提高连通性是可行的[14，18]。

2. 方法和系统设计

本节提供了整体架构，并讨论了构建整个系统的用户界面（UI）组件。

2.1 系统结构

图2显示了整体系统架构的概况。为了充分支持设想中的虚拟旅游的概念，我们确定了以下几个基本组成部分：一个VR视频流和渲染，机器人在室内自主导航的信号跟踪，以及与VR界面的集成。这将系统分为三个实体。在客户端的VR用户界面(User)，作为移动代理的移动机器人(Robot)，以及生成机器人路径的路径规划和跟踪功能(Server)。

图2：提出的基于360 VR的虚拟（远程）旅游系统概述。

机器人的路径规划功能集成了机器人操作系统(ROS)[19]，它是简化机器人编程中开发流程的有力工具。VR装备和机器人之间通过HTTP服务器实现视频流的互联，基于Rosbridge的Socket通信实现机器人控制。如果要与本地网络进行无线通信，以及通过Internet进行通信，必须禁用TCP连接对应的端口防火墙，或者正确设置路由器的端口转发功能。如图2所示，系统中各子部件之间进行必要的信息交换。

360度相机通过两个鱼眼镜头拍摄具有变形图像的广角视角。每个鱼眼镜头都能捕捉到视角超过180度的图像。我们使用的相机(RICOH THETA S)采用了上述概念，将两个鱼眼镜头组合在一起，共拍摄出360度的图像。因此，通过拼接图3(a)中橙色指引的图像帧，在图3(b)所示的球形物体上呈现实时视频流。此时，在全景照片中会产生一个轻微的边界。为了提高延迟方面的流媒体质量，我们必须改变流媒体的设置，比如降低视频帧的比特率或流媒体缓冲区大小，因为相机需要将两张照片一起发送，这是双鱼眼镜头的特点。因此，我们每次做这个后期处理的时候都会有一个取舍。

图3：360视频流的渲染过程。

2.2 远程机器人服务

一旦用户使用用户界面选择了他们的目的地，机器人就开始根据注册的Wi-Fi接入点（AP）规划路径，并使用[15]中提出的基于定向天线的无线信号跟踪方法跟踪生成的路径。同时，HTTP服务器传输实时视频流，并允许用户在HMD上观看机器人的视图。

2.2.1 硬件

如图4所示，在整个环境中预装多个AP，它们可以作为机器人跟踪的途径点或目的地。与其他使用信标或RFID的基础设施相比，这种方法具有成本效益。它也非常有效，因为可以利用典型的Wi-Fi AP。

图4：AP1和AP6之间的链路被阻断的示例场景（图中表示）。因此，路径生成为AP1-AP2-AP5-AP6。

一个360度的摄像头和一个旋转的Wi-Fi定向天线连接到移动机器人上的车载计算机上，该移动机器人提供ROS兼容的驱动程序。定向天线测量由伺服平移系统旋转的特定角度范围内的Wi-Fi接收信号强度指标（RSSI）。然后用这个角度扫描RSSI来计算Wi-Fi AP的到达方向（DOA）。移动机器人上内置的超声波传感器被用来确定障碍物的DOA，然后用来避开轨迹上的障碍物。

2.2.2 软件

该软件模块包括路径规划算法，从室内AP的位置和名称组成的图中找到最短的路径2，以及信号跟踪算法，使机器人紧跟该路径，即使机器人跟踪指定的目的AP。

图4为路径规划算法示意图。从AP1到AP6的原始最短路径(红色虚线所示)不能使用，因为该路径实际上被墙壁挡住了，因此机器人将通过跟踪AP6并避开墙壁以蓝色虚线路径移动。显然，这些蓝色路径对于虚拟旅游场景来说是不可取的。此外，如果AP6距离起点太远，机器人无法检测到AP6并到达目的地。

因此，如果用户到目的地的距离太远，无法到达目的地，或者途中有很多障碍物，则通过其他AP创建一条次优路径到达目的地（如图4中绿色虚线所示）。我们通过让图中的边缘采用无线电信号传播模型[2]，并使生成更多的可行路径来实现，这些路径不易受到障碍物和物理阻塞的影响。因此，当路径损耗值越来越高时，边缘的成本就会增加。

无线信号跟踪法是测量AP在不同旋转角度(定向天线的)发射的信号强度，然后机器人向无线信号DOA的方向前进。这种方法性价比高，但如果AP不在视线范围内，无线信号的特性会被墙壁等障碍物反射或吸收（阴影和多路径衰减）。因此，DOA估计在本质上是有噪声的。本系统通过移动窗口平均法、概率滤波法和超声波传感器融合法的结合，解决了这些问题。

首先，移动窗口平均值和概率滤波对波动的RSSI值进行补偿。假设机器人只向前移动，定向天线得到的信号强度测量值(RSSIf(θi))从-90度到+90度范围(定向天线旋转的范围)。由于多路径效应，即使机器人静止不动，每次测量的RSSI值也不一致。因此，本方法利用RSSIf(θi){RSSI}^f(θ_i)RSSIf(θi)的平均值和方差的最小和来发现DOA，具体如下：
Θi~=arg⁡min⁡αVAR(RSSI(θi))+β∣AVG(RSS(θi))∣(1)−90<θ≤90\widetilde{Θ_i} = \arg \min αVAR(RSSI(θ_i))+β|AVG(RSS(θ_i))|(1)\\-90<θ\leq90 Θi=argminαVAR(RSSI(θi))+β∣AVG(RSS(θi))∣(1)−90<θ≤90

其中Θi~\widetilde{Θ_i}Θi 是估计的DOADOADOA，RSSI(Θi)RSSI(Θ_i)RSSI(Θi)是第i个角度的RSSIRSSIRSSI测量值，VAR(⋅)VAR(\cdot)VAR(⋅)是RSSI(θi)RSSI(θ_i)RSSI(θi)的方差，AVG(⋅)AVG(\cdot)AVG(⋅)是RSSI(θi)RSSI(θ_i)RSSI(θi)在nnn个测量值上的移动窗口平均值，ααα和βββ是正收益。

机器人在定向天线每次角度扫描后估计DOA（我们大约每秒钟获得一次扫描）。此外，机器人还使用声纳传感器值来避开障碍物。虽然Wi-Fi DOA提供了机器人移动位置的一般指示，但超声波传感器提供了本地信息，以动态地防止碰撞。

3. 执行方面

本节讨论实现的系统，并对界面进行演示和截图。Oculus Rift[17]和OpenVR SDK用于构建用户界面。先锋3-AT(P3AT，使用四轮差速驱动机构)作为移动代理，导航生成路径。开发的系统如图5（a）所示。

如图5(b)所示，用户可以通过VR控制器与UI组件交互观看UI的HMD上显示的机器人360度视图，选择和改变目的地。此外，UI有一个固定的画布，只显示当前位置可到达的目的地，并将选择的目的地信息发送给机器人，用于AP节点的路径规划和跟踪。

信号跟踪方法可以有效地找到合理的路径，跟踪目的地，并避开障碍物，同时保持最佳的DOA。表1表示机器人发布和订阅的ROS主题。客户端订阅了’DOA’主题，以了解每次RSSI扫描的DOA值。另一个已发布的主题’cmd_vel’向P3AT机器人广播线性和角速度。订阅的主题，如 ‘RosAria/sonar’、‘RosAria/motors_state’ 和 ‘RosAria/pose’，分别返回声纳传感器测量值、电机状态和里程表值的当前值。另外，'Pathwaypoints’和’isMoving’是自定义的主题，用于同步机器人与客户端的运动。例如，'Pathwaypoints’主题传递目的地AP的名称。

图5：提出的基于360 VR的虚拟游览机器人远程操作界面。

4. 结论和未来工作

我们提出了一种直观的基于VR界面的机器人远程呈现系统，用于远程游览场景。具体来说，本文主要开发了一个系统，该系统集成了360度视频流、基于VR的用户界面和一个移动机器人，用于导航远程环境。所提出的架构可以用来增强和实现一个沉浸式的远程呈现系统，与现有的令人厌烦的方法相比，它的控制体验更加轻松。

由于360摄像机视频的特点，需要传输一帧较大的画面，因此在正常的网络环境下，会出现明显的延迟。在测试时，我们观察到视频播放过程中出现了几次掉帧现象。这个问题受流媒体服务器的性能和状态的影响，发现在本地网络中，有线连接的情况下，这个问题会消失。目前，我们正在努力改善无线网络的体验，主要是在保持VR的高分辨率360度视频的同时，实现合理的延迟。

未来，我们计划进行用户研究，定性比较使用360度摄像头的VR界面与现有的telerobot界面的控制环境之间的差异。根据用户研究的结果，我们将结合用户的反馈，建立其他必要的功能来增加。

鸣谢

作者要感谢Eric Matson博士允许我们使用他的移动机器人设备进行这项研究，并感谢Wonse Jo为这项工作的不同方面提供协助。

参考文献

[1] J Bosch, P Ridao, R Garcia, and N Gracias. 2016. Towards omnidirectional immersion for ROV teleoperation. Proceedings of Jornadas de Automática, Madrid, Spain (2016).
[2] Atreyi Bose and Chuan Heng Foh. 2007. A practical path loss model for indoor WiFi positioning enhancement. In Information, Communications & Signal Processing, 2007 6th International Conference on. IEEE, 1–5.
[3] Daniel Bug. 2014. Oculus Rift Control of a Mobile Robot: Providing a 3D Virtual Reality Visualization for TeleoperationorHow to Enter a Robots Mind. (2014).
[4] Junshen Chen, Marc Glover, Chenguang Yang, Chunxu Li, Zhijun Li, and Angelo Cangelosi. 2017. Development of an Immersive Interface for Robot Teleoperation. In Towards Autonomous Robotic Systems, Yang Gao, Saber Fallah, Yaochu Jin, and Constantina Lekakou (Eds.). Springer International Publishing, Cham, 1–15.
[5] Paulo José Costa, Nuno Moreira, Daniel Campos, José Gonçalves, José Lima, and Pedro Luís Costa. 2016. Localization and Navigation of an Omnidirectional Mobile Robot: The Robot@ Factory Case Study. IEEE Revista Iberoamericana de Tecnologias del Aprendizaje 11, 1 (2016), 1–9.
[6] M Diana and J Marescaux. 2015. Robotic surgery. British Journal of Surgery 102, 2 (2015), e15–e28.
[7] Jan Egger, Markus Gall, Jürgen Wallner, Pedro Boechat, Alexander Hann, Xing Li, Xiaojun Chen, and Dieter Schmalstieg. 2017. HTC Vive MeVisLab integration via OpenVR for medical applications. PloS one 12, 3 (2017), e0173972.
[8] Muga Linggar Famukhit, Lies Yulianto, and Bambang Eka Purnama Maryono. 2013. Interactive application development policy object 3D virtual tour history Pacitan District based multimedia. IJACSA) International Journal of Advanced Computer Science and Applications 4, 3 (2013).
[9] Juan C García, Bruno Patrão, Luís Almeida, Javier Pérez, Paulo Menezes, Jorge Dias, and Pedro J Sanz. 2017. A natural interface for remote operation of under-water robots. IEEE computer graphics and applications 37, 1 (2017), 34–43.
[10] Jarosław Jankowski and Andrzej Grabowski. 2015. Usability evaluation of VR interface for mobile robot teleoperation. International Journal of Human-Computer Interaction 31, 12 (2015), 882–889.
[11] Tomáš Kot and Petr Novák. 2014. Utilization of the Oculus Rift HMD in mobile robot teleoperation. In Applied Mechanics and Materials, Vol. 555. Trans Tech Publ, 199–208.
[12] Joseph Lee, Yan Lu, Yiliang Xu, and Dezhen Song. 2016. Visual programming for mobile robot navigation using high-level landmarks. In Intelligent Robots and Systems (IROS), 2016 IEEE/RSJ International Conference on. IEEE, 2901–2906.
[13] Jeffrey I Lipton, Aidan J Fay, and Daniela Rus. 2018. Baxter’s Homunculus: Virtual Reality Spaces for Teleoperation in Manufacturing. IEEE Robotics and Automation Letters 3, 1 (2018), 179–186.
[14] Matjaž Mihelj and Janez Podobnik. 2012. Haptics for virtual reality and teleoperation. Vol. 67. Springer Science & Business Media.
[15] Byung-Cheol Min, Eric T Matson, and Jin-Woo Jung. 2016. Active antenna tracking system with directional antennas for enhancing wireless communication capabilities of a networked robotic system. Journal of Field Robotics 33, 3 (2016), 391–406.
[16] Byung-Cheol Min, Ramviyas Parasuraman, Sangjun Lee, Jin-Woo Jung, and Eric T. Matson. 2018. A directional antenna based leader-follower relay system for end-to-end robot communications. Robotics and Autonomous Systems 101 (2018), 57 – 73. https://doi.org/10.1016/j.robot.2017.11.013
[17] VR Oculus. 2015. Oculus rift. Available from WWW:¡ http://www. oculusvr. com/rift (2015).
[18] Alexander Owen-Hill, Ramviyas Parasuraman, and Manuel Ferre. 2013. Haptic teleoperation of mobile robots for augmentation of operator perception in environments with low-wireless signal. In 2013 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). IEEE, 1–7.
[19] Morgan Quigley, Ken Conley, Brian Gerkey, Josh Faust, Tully Foote, Jeremy Leibs, Rob Wheeler, and Andrew Y Ng. 2009. ROS: an open-source Robot Operating System. In ICRA workshop on open source software, Vol. 3. Kobe, Japan, 5.
[20] I Santana, Manuel Ferre, E Izaguirre, Rafael Aracil, and L Hernandez. 2013. Remote laboratories for education and research purposes in automatic control systems. IEEE transactions on industrial informatics 9, 1 (2013), 547–556.
[21] Stephen Wessels, Heinz Ruther, Roshan Bhurtha, and Ralph Schroeder. 2014. Design and creation of a 3D Virtual Tour of the world heritage site of Petra, Jordan. Proceedings of AfricaGeo (2014), 1–3.
[22] YouVisit. 2018. Virtual Tour - Undergraduate Admissions - Purdue University. (2018). https://www.admissions.purdue.edu/visit/virtualtour.php

论文笔记（八）：360 VR Based Robot Teleoperation Interface for Virtual Tour相关推荐

小样本论文笔记5：Model Based - [6] One-shot learning with memory-augmented neural networks.
小样本论文笔记5:Model Based - [6] One-shot learning with memory-augmented neural networks 文章目录小样本论文笔记5:Mod ...
论文笔记 A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting
0 abstract 空间时间序列预测问题出现在广泛的应用中,如环境和交通问题.由于存在特定的空间.短期和长期模式,以及维度的诅咒,这些问题具有挑战性. 在本文中,我们提出了一个用于大规模空间时间序列 ...
【论文笔记】Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network
LR-GCCF 1. Abstract 2. Introduction 3. LR-GCCF 3.1 模型总体结构(Overall Structure of the Proposed Model) 3 ...
【论文笔记】基于 VR 的移动机器人真实环境三维建模系统
文章目录摘要关键词 1 引言 2 系统框架 2.1 点云地图与重定位 2.2 生成模型地图 Step 1: 去噪声和降采样 Step 2: 计算每个点的法线 Step 3: Possion 曲面重 ...
【论文笔记】Revisiting graph based collaborative Filtering:一种线性残差图图卷积网络方法
Revisiting Graph based Collaborative Filtering:A Linear Residual Graph Convolutional Network Approac ...
java毕业论文云笔记_《毕业设计指导的系统设计与实现》论文笔记(八)
一.基本信息标题:毕业设计指导的系统设计与实现时间:2019 来源:浙江理工大学信息学院研究方向:基于 UML 的毕业设计管理系统的研究与设计关键词: UML ,面向对象,毕业设计管理系统,软 ...
【虚拟试衣论文笔记】CP-VTON+: Clothing Shape and Texture Preserving Image-Based Virtual Try-On
论文地址:http://users.cs.cf.ac.uk/Paul.Rosin/resources/papers/CP-VTON+.pdf 项目地址:https://github.com/minar ...
论文笔记目录（ver2.0）
1 时间序列 1.1 时间序列预测论文名称来源主要内容论文笔记:DCRNN (Diffusion Convolutional Recurrent Neural Network: Data-Dr ...
论文笔记（六）：A VR Teleoperation Suite with Manipulation Assist
A VR Teleoperation Suite with Manipulation Assist 文章概括摘要 1. 介绍和相关工作 2. 系统概述 2.1 硬件 2.2 软件 2.3 物体位姿跟 ...

论文笔记（八）：360 VR Based Robot Teleoperation Interface for Virtual Tour